多模态内容资产，包括以“视频、图像”为主要形态的商业传播内容与广告等，不仅是中国品牌的宝贵资产，也是其出海传播，讲述品牌故事、输出情感文化的载体。这些内容能否被全球消费者们所正确理解，是企业亟待解决的问题。

一方面，中国品牌成功出海，需要理解品牌内容在不同文化背景下所产生的情感反应，并采用全球消费者可以接受的方式，讲述中国品牌和中国故事。

另一方面，中华文化走向世界，也需要借助国际受众易于理解的方式，对外讲述和传播我们的文化精髓。

要实现上述的目标，中国品牌已经开始应用生成式人工智能 (GenAI) 技术，构建面向全球的多模态内容的生产能力，但由于目前 AI 在解读人类的主观情感方面有较大空白，在全球化的传播应用中，仍面临着现实中的技术挑战。最基础的问题是缺少中国品牌全球化的“内容资产数据集”。

目前缺乏这方面的研究，没有可以进行评测的基础，大多数现有的基准都存在几个缺点：1）模态数量有限，题目多为选择题，难以测量逻辑推理过程；2）视频中的内容和场景过于单调，仅涉及对视频内容的客观描述；3）对于视频的理解停留在客观层面，无法量化评估人在观看视频时的主观感受。

为了弥合与实际应用的差距，明略科技引入大规模的视频主观多模态评估数据集 Video-SME。通过收集不同人群在观看相同视频内容时脑电图（EEG）和眼动追踪区域的真实变化，设立了新的任务和协议，分析和评估不同受试者对相同视频内容的认知理解程度。

技术层面上，目前国内外对于 AI 的研究大多停留在解析客观事物的层面，比如解析视频中的人物、场景、故事情节等，但是缺乏有效的手段让 AI 理解人的主观感受，比如年轻人观看某段视频时会产生何种情绪，老年人观看某段视频时是否能够准确理解内容，不同国家用户观看某段视频时是否能够理解文化含义等。让 AI 理解和模拟人类的主观感受，是 AI 产生自我意识的开端，是通用人工智能（AGI）重要的组成部分。在该领域投入科研力量，探索能够让 AI 感知到人类主观感受的有效手段，有机会实现对于国外 AI 技术的弯道超车。

依托于新的评测标准，明略科技创新研发了超图多模态大语言模型（HMLLM），探索不同人口统计、视频元素、脑电图和眼动追踪指标之间的关联。HMLLM 可以弥合丰富模态之间的语义差距，并集成帧与帧之间的信息以执行逻辑推理，我们在 Video-SME 和其他基于视频的生成性能基准上设计了实验，大量实验评估证明了该方法的有效性。

演讲提纲：

无论有多少亿个参数，大语言模型都无法具有主观感知能力
- 什么是主观感知能力
- 机器模拟人的主观感受有什么意义
Video Subjective Multi-modal Evaluation Benchmark(Video-SME)
- 现有公开多模态视频评测标准的局限性
- 真实采集人的脑电、眼动模态
- 数据集构建与评测标准制定
超图多模态大模型
- 超越Foundation Model
- 超图多模态大模型构建
评测主观指标
- Video-SME实验结果
- Video-MME实验结果
- 其他多模态与情感类数据集实验结果
机器模拟人类主观感受的应用
- 实际应用效果展示
- 未来工作介绍

听众收益：

走进多模态视频理解全新的未知领域
探索机器具备主观感受的全新课题

专题演讲嘉宾：pengsong

华为HarmonyOS开发技术架构师

by pengsong

华为

关注主办方（InfoQ）

联系我们

交通指南

北京丰大国际大酒店