
[本站讯]3月31日,南京理工大学计算机科学与工程学院杨杨教授访问软件学院,为学院师生作题为“面向模态失衡数据的鲁棒表示学习研究与应用”的学术报告,深入剖析了开放环境下多模态数据所面临的核心挑战,包括模态缺失、模态噪声以及模态竞争等模态失衡问题。针对这些挑战,提出了一系列多模态可靠表征学习方法,例如基于伪视觉提示的微调策略、类别标签干预拟合方法以及跨模态发散自适应融合的单/多模态预测策略,有效提升了下游分类和检索任务的性能,并在多模态目标检测相关实践中应用。此外,他还结合自身研究经验,分享了在多模态竞赛中的参赛经验,并与现场师生围绕相关前沿问题展开了深入交流。