当前您的位置: 首页 > 新闻中心 > 科研动态 > 正文
实验室3篇论文被国际顶会顶刊收录
2026-06-17

论文1标题:Harmonious Parameter Adaptation in Continual Visual Instruction Tuning for Safety-Aligned MLLMs(CVPR 2026)

论文作者:王子奇(博士生),车畅,王琦,马绘,时增林,Cees G. M. Snoek, 汪萌

通讯作者时增林

论文概述

近年来,多模态大语言模型在图像理解、视觉问答、图文推理等任务中表现出强大的能力。为了适应不断变化的任务环境,持续视觉指令微调(Continual Visual Instruction Tuning, CVIT)成为提升模型长期适应能力的重要方向。然而,现有研究大多以未经安全对齐的多模态大模型为对象,其主要目标是缓解任务遗忘问题,而较少考虑真实部署中安全对齐模型在持续微调后的安全保持问题。针对这一问题,该研究提出 Harmonious Parameter Adaptation(HPA)方法,该方法由三个核心模块组成:基于聚焦性的参数划分、和谐平衡的参数选择和正交参数调整。首先,方法根据模型微调前后参数对安全保持和任务适应的敏感性差异,识别安全聚焦参数与任务聚焦参数,从而判断哪些参数更关键地影响模型安全性或当前任务性能。其次,针对安全聚焦参数与任务聚焦参数可能重叠的问题,HPA 通过平衡分数综合考虑安全重要性与任务重要性,并结合层间差异动态调整参数保留比例,以避免单方面追求安全保持或任务学习。最后,方法通过正交参数调整降低新任务参数更新对已有知识空间的干扰,进一步缓解持续微调过程中的灾难性遗忘。实验结果表明HPA在不改变原有训练流程的前提下,对微调后的模型参数进行选择性适配,从而兼顾新任务学习、旧任务保持与安全能力维护。



论文2标题Seeing the Abstract: A Benchmark for Visual-Only Metaphor Understanding in Multimodal Large Language Models(CVPR 2026F)

论文作者:赵山、杨照、闫天伟、龚榆淞

通讯作者闫天伟

论文概述

视觉隐喻理解是衡量高阶认知能力的关键,但现有研究多依赖图文交互,导致语言先验掩盖了模型真实的视觉推理水平。为此,本文构建了首个纯视觉隐喻理解基准VisMet-Bench,采用“图-图”范式彻底剥离语言线索,设计了包含相似性判断、隐喻识别与解释的三层五任务渐进式评估框架。该基准包含754组经精细标注的高质量图像对,旨在量化评估多模态大模型(MLLMs)在脱离文本辅助下的跨域映射与抽象推理能力。实验结果显示,当前最优模型Gemini-2.5-Flash得分仅为56.4,远低于人类基线87.7,且消融实验证实模型仍高度依赖外部语义脚手架而非真正的视觉抽象逻辑。本工作填补了纯视觉隐喻评测领域的空白,揭示了现有模型在从“识物”迈向“悟意”过程中的核心短板,为推动AI抽象视觉认知发展提供了关键的数据基础与评测标准。



论文3标题Breaking the “Provable Security”: Detecting Finite-Precision Artifacts in LLM-based Steganography via Low-Probability Vanishing(ACL 2026 Findings)

论文作者:曹文钊、王垚飞、胡东辉

通讯作者王垚飞

论文概述

大语言模型生成式隐写术能够在AI生成文本中嵌入秘密信息,并通过分布保持实现较强的隐蔽性。然而,现有区间式隐写方法通常依赖“无限精度”这一理想假设,声称隐写文本分布可与普通模型生成文本分布保持一致,难以被有效检测;但在真实系统中,有限精度计算会导致低概率词元在区间量化过程中被系统性截断,从而形成可被捕捉的统计侧信道。为此,本文提出一种基于代表性随机数与假设检验的隐写检测框架(RRNs-HT),其核心为面向采样机制的统计审计:首先利用参考语言模型对待检测文本进行逐位置概率估计,并将离散词元反映射到累积分布函数空间,构造代表性随机数序列;接着分析有限精度区间量化造成的低概率消失现象,计算每个位置的丢弃概率质量;最后通过Z-score假设检验判断代表性随机数是否显著偏离标准均匀分布,从而识别由隐写采样引发的统计异常。该方法不依赖语义特征分类,而是直接审计文本生成过程中的概率空间痕迹。在多个模型及数据集上的实验表明,RRNs-HT能够有效检测AC和Meteor等代表性区间式隐写方法,检测效果显著优于传统语义型隐写分析模型。本工作揭示了大模型隐写“可证明安全”在有限精度实现中的实际缺口,为生成式隐写安全评估、AI生成内容治理和可信大模型系统审计提供了新的技术路径。




情感计算与先进智能机器安徽省重点实验室

2026年6月17日