内容创作理解中的视觉、多模态情感计算探索

所属专题:计算机视觉实践

嘉宾 : 赵寅 博士 | 阿里巴巴大文娱优酷内容智能算法专家

会议室 : 泰晤士厅

讲师介绍

专题演讲嘉宾:赵寅 博士

阿里巴巴大文娱优酷内容智能算法专家

博士毕业于清华大学自动化系,曾就职于硅谷独角兽公司,后加入阿里巴巴,有多年建模与最优化、计算机视觉、机器学习等经验。现负责优酷内容智能团队视觉智能与决策智能方向,在计算机顶会如 ACM MM,KDD,控制优化顶会 ICRA,CASE 等以及 SCI 期刊发表多篇论文。

议题介绍

演讲:内容创作理解中的视觉、多模态情感计算探索

内容(剧集、电影、综艺)质量是内容行业的核心竞争力,内容数智化是辅助内容质量判断、沉淀经验规律的核心。

我们针对长视频内容,利用视觉、多模态 AI 算法,打造了 AI 内容创作理解,辅助内容数智化和质量提升。AI 内容创作理解的核心之一是情绪识别,不仅包括内容中角色的个体情绪表达,还包括角色交流体现的情绪关系,以及视频整体给观众带来的情绪。

为此我们开发了一系列情绪计算模型,包括静态表情识别、镜头级 ID-agnostic 情绪识别,交互情绪识别与观众情绪模拟等模型。模型分别从视觉、视听、视听台词等多模态视角,自动识别内容中的单人情绪波动,人物关系,以及观看影片时观众的情绪波动,并形成了角色张力、关系演进、高潮点等内容质量数字化指标。

情感计算模型成功应用于剧集、网大、院线等内容播前质量诊断与提升,具有潜在的商业价值。

演讲提纲:

  1. 背景:内容创作行业与内容平台的痛点与需求
  2. 基于 AI 的内容创作理解框架介绍
  3. 模糊表达的人脸情绪识与镜头级多模态 ID 解耦情绪识别
  4. 多模态用户观影情绪识别方法,从多模态时空融合到强化学习
  5. 多模态人物交互情绪关系识别
  6. 情绪识别在内容创作质量诊断中的应用

你将获得:

  1. 内容(剧综)视频理解与通用视频,监控视频理解的问题特殊性与解法特殊性
  2. 基于视觉的人脸情绪识别的行业难点与创新做法
  3. 有别于传统 FER,GER 等的基于多模态的新情绪分析任务与方法
  4. 情绪识别在内容创作领域的应用概况
  • 电话咨询

    联系电话:+86 13269078023
在报名过程中如有任何问题,欢迎微信扫描二维码联系我们的票务经理