专题演讲嘉宾:唐飞虎

月之暗面高级研发工程师 开发者关系负责人

前谷歌工程师、ACM/ICPC 亚洲赛区金牌、微软编程之美挑战赛冠军、第一届万向实验室通证经济设计大赛冠军。
 

by 唐飞虎

月之暗面
高级研发工程师 开发者关系负责人

Long-Context 模型是否有潜力替代 RAG(Retrieval-Augmented Generation)是在人工智能领域备受关注的话题。在这次演讲中,我们将深入分析两种技术的发展历程、性能对比、以及如何在实际应用中找到最佳的平衡点。

本次演讲将回顾 Long-Context 技术的发展。这种技术旨在处理和理解长文本数据,通过增强模型的上下文理解能力,使其能够更好地处理复杂的语言任务。接着,我们将比较 Long-Context 与 RAG 技术的性能。RAG 模型通过检索相关信息来辅助生成,而 Long-Context 模型则直接在模型内部处理长文本。我们将讨论这两种方法在不同场景下的优势和局限性。然后,我们将介绍 KV Cache 技术,这是一种优化 Long-Context 模型推理性能的关键技术。KV Cache 通过缓存关键信息,显著提高了模型处理长文本时的效率和速度。最后,我们将探讨在实践开发中如何权衡这两种技术。我们将讨论在不同的应用场景和需求下,如何综合使用 RAG 和 Long-Context 技术来优化产品性能。这将涉及到对两种技术的深入理解,以及如何在实际项目中做出明智的技术选择。

演讲提纲:

  1. 大模型 Long-Context 技术的发展
  2. Long-Context 与 RAG 技术的性能比较
  3. KV Cache 技术是什么?如何帮助 Long-Context 优化推理性能问题
  4. 实践中的 trade-off,如何综合使用两种技术优化产品。

听众收益:

  • 了解 RAG 和 Long-Context 技术各自的背景与挑战
  • 了解 Long-Context 技术的优化技术
  • 了解实践开发大模型产品中如何在两种技术中进行权衡

交通指南

北京乐多港万豪酒店

Beijing Marriott Hotel Changping
地址:北京市昌平区南口路29号
  • 微信咨询

  • 电话咨询

    联系电话:13269078023

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小助手