专题：大模型训练

演讲提纲：

1. 整体介绍挑战：涵盖数据处理、训练和调度、云服务
2. 介绍海量数据处理的关键挑战和解决方案：
   •  认知、图像、语音领域数据的技术解决方案
   •  数据清洗方案基于集群的处理方案
3. 大模型训练的挑战
   •  大模型训练关键挑战：算力墙、内存墙、效率墙
   •  超大模型解决方案：算力上多维并行
   •  非计算的效率优化
     •  数据离线处理
     •  权重加载和报错
     •  通信建链优化
   •  基于框架+平台的超大训练的容错和稳定性保障
4. 基于国产生态的训练优化技术
   •  算子的高性能优化：针对精度和 Shape 的极致优化
   •  结合国产芯片通信特点优化-优化通信和计算掩藏
   •  训练算子融合 
5. 模型的低比特量化方案

听众收益：

• 了解讯飞模型训练踩坑经验

分享内容主题为 GenAI LLM 在工程化的过程中所面临的挑战，以及对应的解决方案。LLM 模型参数量近些年呈指数型发展，远远超过单个硬件加速设备（GPU/TPU）的发展速度。从工程的角度上看，这种发展速度无论对模型的训练和推理都造成了严重的挑战。以大模型的训练为例，分布式训练基本上成为了标配，然而这种复杂的技术架构给实践者带来了很大的挑战。例如：

1. 如何选择开源框架与技术工具
2. 如何构建大规模的分布式训练集群、如何优化存储与网络的设计
3. 如何做到基础设施的自动化与扩展能力，并在不同的场景下最优化成本
4. 如何集成开发与运维工具，端到端自动化模型训练的工作流程（MLops），持续地优化和改进模型，同时提高模型的发布效率。

本次分享，带着以上几个问题，与参会者详细分享如何在公有云上，通过利用云服务的特性，同时结合开源工具解决大模型在工程化上所面临的挑战。

演讲提纲：

1. LLM 发展历史回顾与模型架构概览
2. LLM 模型预训练与 Fine Tune 的流程以及对硬件要求
3. 模型的分布式训练原理与云上实践
4. 利用开源工具与公有云服务构建 MLops 工作流，端到端加速 GenAI 模型工程化

听众收益：

• 系统了解大模型的内部结构与训练方式
• 了解大模型分布式训练的原理与主流框架（tensor parallelism/pipelineparallesim/data parallesim、Lora、量化、deepspeed/FSDP 等）
• 了解大模型在不同云上基础设施的训练方案以及基础设施自动化方案（GPU/TPU，Vertex AI/SageMaker/Ray）

大语言模型的对齐技术在过去两年中迅速发展。除了 InstructGPT 所采用的 Supervised Fine Tuning 和 Reinforcement Learning with Human Feedback 方式之外，Rejection Sampling、Direct Preference Optimization、Identity-Preference Optimization 等方法纷纷涌现，为各种目标和条件下的行业落地提供了丰富的工具。但想要用好这些对齐工具，不仅需要对了解各种方法的底层数学原理，而且需要辅以坚实的工程支持。本次分享从对齐技术的理论图景开始，深入对齐技术的工程实践进行讨论，以展望对齐技术的未来收尾。通过对对齐技术全景式的回顾和讨论，帮助听众了解对齐技术的挑战并在业务场景落地。

演讲提纲：

1. Theoretical Landscape of Alignment
2. Practical Data-Centric Process
3. Scaleable Oversight and Beyond

听众收益：

• 了解大语言模型对齐技术的全景和最新前沿
• 了解百川智能在RLHF技术上的落地实践