大语言模型的对齐技术在过去两年中迅速发展。除了 InstructGPT 所采用的 Supervised Fine Tuning 和 Reinforcement Learning with Human Feedback 方式之外，Rejection Sampling、Direct Preference Optimization、Identity-Preference Optimization 等方法纷纷涌现，为各种目标和条件下的行业落地提供了丰富的工具。但想要用好这些对齐工具，不仅需要对了解各种方法的底层数学原理，而且需要辅以坚实的工程支持。本次分享从对齐技术的理论图景开始，深入对齐技术的工程实践进行讨论，以展望对齐技术的未来收尾。通过对对齐技术全景式的回顾和讨论，帮助听众了解对齐技术的挑战并在业务场景落地。

演讲提纲：

1. Theoretical Landscape of Alignment
2. Practical Data-Centric Process
3. Scaleable Oversight and Beyond

听众收益：

• 了解大语言模型对齐技术的全景和最新前沿
• 了解百川智能在RLHF技术上的落地实践