项目名称：复杂视频的精准描述关键技术研究

项目批准号：62020106007

依托单位：合肥工业大学

参与单位：杭州电子科技大学、新加坡国立大学

执行期限：2021.01-2025.12

随着人工智能快速发展并纳入国家战略，视频已成为信息传播的主流载体。然而，面对海量、多源、动态的复杂视频，现有技术在深层语义理解与长时序描述方面存在显著不足。为此，本项目紧密围绕“复杂视频精准描述”这一核心科学问题，遵循“精细智能感知→精准智能认知→精益认知演化”的研究逻辑，开展了系统的理论与应用研究。在具体技术攻关上： 1）在精细感知层面，针对复杂场景下多模态信息混淆难题，提出了多层级对比学习与动静协同感知网络，构建了集约式协同语义表征模型，有效提取了具有高判别力的时空特征，为语义解析奠定了坚实基础。2）在精准认知层面，突破了单一模态限制，研发了意图引导的风格化描述生成与层级化先验知识建模技术，实现了视频与自然语言的双流可回溯推理，显著提升了生成文本的逻辑性与丰富度。3）在认知演化层面，面向开放动态环境，创新设计了跨模态神经元搜索与实体行为引导机制，成功解决了在线应用中的自适应与泛化难题。在应用验证与成果方面： 项目构建了包含精准检索、语义摘要及在线问答的综合验证平台，已在视频检索、在线视频问答及多媒体内容服务等应用场景中得到验证。本项目成果丰硕，在TPAMI、TIP等IEEE/ACM汇刊发表论文56篇，CCF-A类会议/期刊论文30篇，授权发明专利43项。在项目执行期间，项目参与人积极推进学术交流、人才培养和平台建设，举办多场多媒体相关的学术会议，培养了国家杰青及多名国家级青年人才，负责人获第十七届中国青年科技奖并连续五年入选全球高被引科学家。

主要参与者

代表性成果