在互联网广告领域，大模型能力的渗透越来越深入，并且在过去一年有大量新技术、新业务、新玩法不断涌现。京东广告团队也在过去一年中针对生成式大模型技术做了大规模迭代和演进，包括垂域模型、智能体技术、知识工程建设、广告算法工程等。本次演讲将分享京东广告在过去一年对大模型探索和建设的思考和实践。

演讲大纲

1. 广告营销领域大模型的近期发展和挑战
   • 广告营销领域大模型近期发展
   • 过去一年我们又面临了哪些新挑战
2. 生成式大模型助力广告算法代际突破
   • 从通用到专用的业务演化
   • 从理解到决策上核心突破
   • 从算法到算力的技术演进
3. 生成式算法工程知识工程实践
   • 从基于通用智能体到基于知识的智能体
   • 从数据特征体系到知识工程体系演进
   • 从传统训推系统到深度定制的模型系统
4. 总结与展望
   • 内容理解到环境感知技术前瞻
   • 端到端生成式技术就足够了吗？

听众收益

• 了解广告营销领域大模型的最新发展与挑战；
• 学习京东广告在生成式大模型与知识工程方面的实践经验；
• 获取广告智能化与模型体系未来发展的前瞻思考。

推荐算法经历了从协同过滤到深度特征交互，再到序列推荐的演进。推荐效果依赖于特征工程和特征交互的方式，推荐算法的迭代主要围绕特征选择（senet）、特征交叉（dcn）、注意力机制（attention）等方向构建。这种推荐范式存在过度依赖大量特征工程、中长期行为难以捕捉、冷启动效果不佳等问题。而随着LLM快速发展，scaling laws极大提升其预测能力和泛化能力，也为推荐算法的迭代带来新的启示。荣耀在LLM的早期开始，持续投入构建推荐大模型，并积累了丰富的经验。
本次分享将从推荐算法模型构建的特征工程、训练、推理三个环节，探讨如何与大模型相结合，解决传统深度推荐模型存在的问题，并结合荣耀实际的推荐和广告场景，分享应用实践案例和实际业务效果。最后，总结和展望推荐大模型的未来发展方向。

演讲提纲

1. 荣耀的推荐场景介绍
2. 推荐算法模型和大模型的特点分析
   • 推荐算法结构演进及特点
   • 大模型与推荐的结合方式
3. 基于LLM的特征工程
   • 基于LLM的多模态内容理解
   • 基于LLM的Embedding构建
   • 游戏推荐场景案例分析
4. 基于大模型的训练与推理
   • 基于LLM和对比学习的模型训练
   • 基于HSTU的模型训练与推理
   • 广告场景案例分析
5. 总结与展望
   • 总结：快速落地推荐大模型
   • 展望：生成式推荐覆盖推荐全链路

您认为，这样的技术在实践过程中有哪些痛点？

• 训练样本和模型结构的设计，如何与业务场景相结合并带来收益
• 让推荐模型出现scaling laws的同时，保证线上推理性能

您的演讲有哪些前沿亮点？

• 推荐全链路与大模型结合的方式和实践案例
• 生成式推荐落地的技术难点和迭代方向

听众收益

1. 有助于从推荐特征工程、模型训练和推理全链路出发，分析推荐和大模型结合的方式
2. 了解生成式推荐落地的技术难点和迭代方向，便于用户构建适合自己场景的推荐大模型

随着Meta在2024年发布基于HSTU架构的GR范式，生成式推荐系统正逐步得到越来越多的关注。许多公司纷纷跟进，字节，美团，快手，百度等公司在此方向上均取得了显著进展。本次演讲将介绍我们基于昇腾NPU针对生成式推荐的探索，包括推荐系统Performance Law的研究，生成式排序系统以及昇腾亲和的网络架构等技术。

演讲提纲

1. 关于生成式推荐
   • 生成式推荐定义
   • 生成式推荐发展趋势洞察
2. 生成式推荐进展介绍
   • 高质量数据生成
   • 生成式推荐大模型架构
   • 生成式推荐学习策略
3. 生成式推荐昇腾实践
   • 昇腾亲和的算法演进
   • 昇腾亲和的系统演进
4. 总结和展望
   • 总结
   • 下一步计划

您认为，这样的技术在实践过程中有哪些痛点？
生成式推荐系统如何有效scaling，训推系统如何优化以满足模型实时性和线上严格时延要求。

听众收益

• 基于昇腾npu的生成式推荐实践经验
• 生成式推荐的洞察和未来展望