本次分享将基于混元多模态基础大模型，深入探讨腾讯在多模态技术领域的最新研发进展。混元多模态大模型技术覆盖文本、图像、视频和音频理解与生成多种技术。特别值得一提的是，图像到文本模型包含三个关键组件：视觉变换器（ViT）用于视觉编码、视觉-语言适配器，以及采用专家混合（MoE）架构的大型语言模型。团队高度重视数据质量和多样性，开发了一套高效的自动化数据处理管道。选择MoE架构得益于其在性能和可扩展性方面的卓越表现。通过分阶段训练和推理优化技术，模型的能力得到了进一步加强。为确保模型满足用户需求，团队在强化学习中对偏好进行了对齐，并采用真实用户的A/B测试。目前，该模型已在司内多个业务场景中部署应用。展望未来，计划扩展模型能力，覆盖更多模态，并进一步提升智能性和可靠性。

演讲提纲

1. 混元多模态模型发展概况
   • 模型架构：视觉变换器（ViT）、视觉-语言适配器、专家混合（MoE）架构
   • 支持的模态：文本、图像、视频、音频
   • 关键技术特点与创新点​
2. 混元多模态模型技术实践与挑战
   • 数据处理：高效的自动化数据处理管道
   • 训练优化：分阶段训练与推理优化技术
   • 用户反馈机制：强化学习对偏好对齐、A/B测试
   • 面临的技术挑战与解决方案​
3. 混元多模态模型应用探索
   • 图像与文本理解提升推荐系统准确性
   • 多模态内容的自动生成与审核
   • 其他业务场景中的应用实例​
4. 未来展望
   • 模型能力的扩展方向
   • 提升智能性与可靠性的策略

您认为，这样的技术在实践过程中有哪些痛点？

• 模型输出暂未达到绝对的准确，例如存在幻觉等问题。

您的演讲有哪些前沿亮点？

• 介绍大模型实践的经验与思考。

听众收益

• 了解多模态大模型的实验经验
• 了解在实际业务中的应用场景