如遇到章节错误,请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,稍后尝试刷新。
要说现场能勉强跟得上周昀思路的,除了早就看过论文的邓永华和林院长,那就只有车伟强和那位浙大的答辩老师了,
至於其他三位老师,也听不明白的,但是却他们不得不硬著头皮去听,因为他们是答辩老师,等会儿可能需要提问题,
这就让他们有点汗流浹背了,他们也担心等会儿自己提的问题会不会闹出笑话,更別说林院长还坐在后面旁听。
当ppt放到最后一页的时候,周昀朝台下微微鞠了一躬。
“以上就是我的主要研究內容,请各位老师批评指正。”
顿时,整个会议室陷入了一种诡异的寂静,有点大学课堂上老师请学生站起来回答问题,然后大家都默不作声的感觉。
台下第一排,三位没听懂的老师都很有默契的互相对视了一眼,露出了尷尬的微笑。
终於,那位浙大老师打破了沉默,让另外三位答辩老师如释重负:“周昀同学,你的毕业论文非常优秀,
我对你的分成最优传输框架很感兴趣,你提到使用gromov-wasserstein距离来处理模態间的几何不一致,
但能否更深入地解释一下在非欧几里得度量空间中,为什么又要通过fused gromov-wasserstein变体来平衡內容和结构对齐?
此外,在高维嵌入中,你如何通过谱正则化来確保求解的数值稳定性?”
此时的周昀已经完全地进入了状態,他点了点头:“非常好的问题,gw距离確实擅长捕捉跨域结构相似性,
但对於多模態语义对齐,我们需要同时考虑特徵內容和关係结构,因此我採用了fgw,它结合了经典ot的內容传输和gw的结构匹配。”
他说著走到讲台旁边,拉过一旁的白板,拿起笔开始边写边讲:“fgw的定义为:fgw_α(μ,ν, c_x, c_y, d)=(1-α) ot(μ,ν, d)+α gw(μ,ν, c_x, c_y),
其中α∈[0,1]是融合参数,d是內容成本矩阵(如||x-y||^p),c_x和c_y是各自模態的內部相似矩阵,
在非欧几里得空间中,比如视觉嵌入的球面流形或语言的超双曲空间,我將度量泛化为riemannian度量
......
不知道这是否能解决您的第一个问题?”
浙大老师点点头:“可以了。”
周昀点点头,將白板上的內容擦去:“好,那接下来我回答您的第二个问题。”
马克笔不断在白板上写下各种奇怪的符號,至少在一些旁听的老师和学生眼里是这样的。
“对於高维嵌入的数值稳定性,维度灾难会导致c_x和c_y的谱不稳定,我引入了谱正则化:对相似矩阵施加核范数罚项,min ||c||*+λ||c - k||f^2
......
这样就能这確保了在噪声环境下,fgw的梯度下降不会发散,实验中在imagenet-1k上的鲁棒性提升了15%。”
浙大老师並没有第一时间回答,而是重新翻到了论文的对应页面,看了一会儿才朝著周昀点了点头,眼里满是对周昀的欣赏:“我没问题了。”
此时,车伟强也放下了手里的笔,朝周昀笑了笑:“周昀同学,你的论文写得非常扎实,理论深度就算是我都有些自愧不如,
不过你能否解释一下关於你在多模態融合中提到的schr?dinger桥框架,在高维嵌入中,你如何处理sb路径优化的非凸性问题以保证收敛?”
旁听学生中有车伟强的学生,当他们看到老师脸上的笑容时,心中浮现出三个字——科幻片!
入学一两年以来,他们从来没见过车伟强在他们面前笑过。
本章未完,点击下一页继续阅读。