大模型在百度推荐场景的工程实践探索

所属专题：大模型应用架构的探索与实践

嘉宾 : 施刘远 | 百度资深工程师

会议室 : 天山厅

讲师介绍

专题演讲嘉宾：施刘远

百度资深工程师

百度Feed推荐架构资深研发工程师，负责百度App Feed推荐在线架构。在系统稳定性方面，推动Feed在线系统的柔性架构体系建设，从系统风险规避、故障感知、降级完备度、突发事件保障等多维度进行稳定性保障。在系统工程架构上，主导内容包括基础的调度框架、模型推理框架到业务框架、通用服务的搭建&优化，支持超大规模分布式推荐系统持续演进。同时主导建设包括延迟、稳定性、性能、推荐漏斗等多维度的可观测能力，保障推荐系统持续稳定健康发展。近年来随着大模型技术爆发，也参与到大模型技术在推荐多场景的工程化落地，更好的利用大模型能力提升推荐场景的用户体验。

议题介绍

地点：天山厅

所属专题：大模型应用架构的探索与实践

演讲：大模型在百度推荐场景的工程实践探索

随着大模型技术的迅猛发展，其相关探索应用如雨后春笋般涌现，也在逐步地改变了我们获取信息的方式。深度学习理念在推荐的各个环节中，如召回、排序、融合以及用户和资源向量表示等，都发挥着举足轻重的作用。大模型所带来的卓越理解、总结和推理能力，为推荐系统的各个环节以及用户消费推荐流的各个场景注入了新的活力。在推荐中的召回与排序方式、信息描述与展示、以及用户交互形式等方面，已经出现了众多结合大模型的创新尝试。

本次演讲将以实际业务场景为切入点，涵盖推荐排序、信息交互、推荐内容建设等场景，结合真实的业务应用案例，深入剖析大模型在各类场景落地时所面临的技术挑战，并分享我们的解决方案。涉及大模型与大规模实时推荐系统结合落地的工程化实践经验，以期为大家提供有益的参考与借鉴。

演讲提纲：