大模型应用架构的探索与实践

会议室:天山厅
出品人:颜林

随着大模型技术的不断发展,它已广泛应用于多个业务场景,包括搜索、广告、推荐系统、... 展开 >

专题出品人:颜林

百度主任架构师,信息流推荐架构负责人

拥有近二十年互联网及AI领域经验,现担任百度App信息流推荐架构负责人。在大规模推荐系统架构、AI Native 应用架构、数据湖仓平台、AB 实验平台和机器学习服务方向有多年深厚积累。先后在百度、蚂蚁集团等多家公司任职,积极推动AI技术在各领域的应用,并拥有数十项机器学习及AI领域的国家专利。他毕业于北京航空航天大学,获学士及硕士学位。

地点:天山厅

专题:大模型应用架构的探索与实践

随着大模型技术的不断发展,它已广泛应用于多个业务场景,包括搜索、广告、推荐系统、游戏、电商和视频等领域。在本专题中,我们将邀请业界资深专家,分享他们在大模型应用中的宝贵经验,深入解析大模型在产品设计中的架构模式与方法论。同时,将探讨如何应对大模型在实际应用中面临的挑战,如成本控制、性能优化、效果提升及效率提高等问题。通过经验交流与思维碰撞,共同推动大模型技术在应用架构中的创新与实践。

by 施刘远

百度
资深工程师

随着大模型技术的迅猛发展,其相关探索应用如雨后春笋般涌现,也在逐步地改变了我们获取信息的方式。深度学习理念在推荐的各个环节中,如召回、排序、融合以及用户和资源向量表示等,都发挥着举足轻重的作用。大模型所带来的卓越理解、总结和推理能力,为推荐系统的各个环节以及用户消费推荐流的各个场景注入了新的活力。在推荐中的召回与排序方式、信息描述与展示、以及用户交互形式等方面,已经出现了众多结合大模型的创新尝试。

本次演讲将以实际业务场景为切入点,涵盖推荐排序、信息交互、推荐内容建设等场景,结合真实的业务应用案例,深入剖析大模型在各类场景落地时所面临的技术挑战,并分享我们的解决方案。涉及大模型与大规模实时推荐系统结合落地的工程化实践经验,以期为大家提供有益的参考与借鉴。

演讲提纲:

  1. 推荐系统简介
    • 推荐场景介绍
    • 推荐系统发展阶段
    • 现代推荐系统基本架构
  2. 大模型在推荐系统的应用场景
    • 大模型给推荐带来的什么?
    • 大模型『改造』推荐发展阶段
    • 推荐结合大模型问题和挑战
  3. 推荐结合大模型工程实践介绍
    • 大模型+推荐排序
    • 大模型+信息交互
    • 大模型+内容建设
  4. 总结展望

听众收益:

  • 了解大模型在推荐系统落地一些前沿的技术和成果
  • 了解大模型在工程落地面临的挑战和解决思路
  • 获得大模型与信息获取相结合的新启发

by 张泽华

京东
算法总监

在京东广告的大模型应用架构中,召回环节至关重要。传统召回方式在规则灵活性和用户需求捕捉上存在局限,而大模型带来了新的契机,但也面临训练成本和隐私保护的挑战。京东广告的生成式召回体系包括:基于世界知识和电商平台的数据体系、多模态商品内容理解与用户意图识别,以及高效的生成式模型训练和推理架构。在实践中,通过商品内容语义量化、生成式商品解码召回和模型推理性能优化,显著提升了召回效率。

本次演讲将分享京东广告在大模型应用实践中的解决思路与经验教训,期待为广告技术从业者带来启发。

演讲提纲:

  1. 大模型时代广告领域发展的契机和挑战
    • 场景介绍和核心问题
    • 发展契机和挑战
  2. 生成式算法体系
    • 基于世界知识与电商平台构建的结构化数据体系 
    • 模态商品内容理解与用户意图识别 
    • 推荐领域生成式模型训练与推理架构 
  3. 生成式算法工程实践 
    • 商品内容语义量化 
    • 生成式商品解码召回 
    • 生成式模型推理性能优化 
  4. 总结与展望 
    • 电商平台基座模型 
    • 端到端生成式推荐

听众收益:

  • 了解具备普适性的生成式推荐算法大规模应用方法,并借鉴推理优化和业务优化的示范性实践,提升自身推荐系统的效果和效率

by 张红兵

枫清科技(Fabarta)
AI 负责人

大模型在企业精准场景落地时,有 Model Centric 和 Data Centric 两种范式。相较于大模型厂商提升模型能力,Data Centric 更关注如何从数据出发,解决实际大模型落地的痛点。

本次演讲将深入探讨企业在大模型结合场景落地过程中面临的技术挑战与困境,以及如何基于以数据为中心的大模型落地范式和架构,将企业内部外部数据转换为知识,构建统一语义层,结合知识引擎与 Hybrid RAG 技术,做到大模型落地应用效果好、过程可解释、结果可追溯。

演讲提纲:

  1. 大模型在企业级精准场景落地中的困境与技术挑战
  2. Data-Centric 大模型落地范式和架构
  3. 企业数据转知识的技术路径
  4. 企业统一语义层的构建
  5. Hybrid RAG 的实际应用
  6. 落地案例解析

听众收益:

  • 了解 Data Centric 核心要点,以及如何利用此范式助力提升大模型落地效果

by

研讨话题:

  1. 大模型和互联网传统应用(如搜广推等)的结合,到底是“新瓶装旧酒”还是“范式的革新”?
  2. 大模型在大型企业落地有哪些挑战?应该如何应对?
  3. 如何看待可穿戴设备与大模型的结合?应用架构上会产生哪些变化
  4. 大模型时代到来,哪些传统任务和算法值得升级和用大模型技术重新改变?

by 谢皓

火山引擎
边缘智能技术负责人

整个行业开始商业化应用探索的背景下,我们看到了从“百模”到“千体”的变化。通过定义智能体实现大模型应用的落地已被广泛接受。同时随着智能体应用的加速,相关应用场景早已不局限在虚拟世界,通过与物理世界设备的集成,可以有效扩展大模型、智能体应用场景的边界。边缘计算凭借在延时、隐私上优势,特别是现场边缘在设备接入能力上独有优势,可以帮助智能体更好的与物理世界联通,实现与物理世界的感知和操作。

本演进将介绍智能体在“边”、“端”智能的探索与实践,并分享解决方案,并对未来如何更好的实现“边”、“端”智能的协同和融合提出我们的思考。希望借此给大家提供有益的参考与借鉴。

演讲提纲:

  1. 边缘云简介
    • 现场/近场/远场边缘的定义及各自优势
    • 边缘智能提供端-边智能解决思路
  2. 智能体在边缘智能平台的实践
    • 智能体在“边”智能的实践
    • 智能体在“端”智能的实践
    • 大模型网关助力“边”、“端”智能融合
  3. 探索与思考
    • 边缘云分布式推理的探索
    • 边缘云分布式智能体的探索

听众收益:

  • 了解火山引擎边缘智能在“端"、"边"侧与智能体结合的实践
  • 共同探索边缘云在大模型推理,智能体应用的未来方向

交通指南

北京丰大国际大酒店

Beijing Fengda International Hotel
地址:北京市大兴区荣华中路20号
  • 微信咨询

  • 电话咨询

    联系电话:13269078023

领取往期热门演讲视频

领取往期热门演讲视频二维码
如您在购票过程中遇到问题,请扫码咨询票务小助手