专题演讲嘉宾：刘广

Aquila-VL-2B 是 2B 级别 SOTA 的多模态模型。该模型基于 Llava-onevision 的训练思路，引入多分辨率来提升对图像内容的理解。在本次分享中，主要介绍了模型数据集的构建和处理过程，包括多种数据来源数据的格式统一以及数据选择，针对弱项的数据合成等。此外，还讨论了对训练效率和框架的提升，在 FlagScale 框架上实现了相对 Deepspeed 训练效率 1.7 倍的提升。Aquila-VL-2B 的创新之处在于系统化的构建了多模态模型的数据，训练以及评测的 pipline。

演讲提纲：

1. 多模态模型挑战 
   • 缺乏大规模高质量开源数据 
2. Aquila-VL-2B效果 
   • SOTA性能展示 
   • 推理能力分析
3. 流程概览 
   • 架构与思路 
   • 训练关键步骤
4. 数据处理 
   • 格式统一与数据选择 
   • 数据合成技术
5. 模型训练 
   • 多分辨率理解 
   • 训练效率提升
6. 效果评估 
   • 量化评估方法 
7. 总结与展望

听众收益：

• 多模态数据集构建以及数据合成的先进方法
• SOT A多模态模型的训练方法