大模型应用落地效果好坏的关键是知行合一，既要对业务场景和模型能力有正确的认知，又需要一套能够跟业务系统很好融合同时支持实验全生命周期的工具帮助认知落地。在车损互助的加入定价、日常服务、理赔定损等关键业务环节，我们构建了多个 Agent，以远超出业务专家水平的解决了车辆准入、精准报价、智能定损等关键问题；在 ChatBot 里通过 AQG、RAG 等技术极大解决了真实金融场景里对内容回答真实性很高的难题；在续费管理、销售管理等强依赖数据产品的场景里，也提前探索了 text2index、text2sql 等技术路线，做了足够的技术储备。这背后其实就是一个 4 人团队，能做到这点，很重要的一点是我们依 Dify、DSPy、LangChain 等工具搭建了一个完善的快速迭代和实验平台，在这个过程中对 LLMOps 的降低门槛、提高可集成性、提高可观测性、提升效果和效率也有了一点思考。

演讲提纲：

1. 车损互助业务背景介绍 
2. LLM 落地实践介绍
   • VIN 匹配
   • ChatBot
   • AI 定损
   • text2index & text2sql
3. LLMOps 的个人思考
   • 降低门槛
   • 提高可集成性
   • 提高可观测性
   • 提升效果&效率

​听众收益：

• 了解大模型应用的思路
  • 对业务系统里的专家系统或者 Rule based system 如何用大模型替代有更深入的思考；原来效果不好，不是大模型的锅？
  • 对 ChatBot 这个看似最常见的大模型应用有更深入的理解；原来这个问题在真实场景在一些约束下是可以接近解决真实性的问题的？ 
  • 对如何在数据产品里使用大模型解决 Ad Hoc Query 问题，彻底打开思路；原来一直在走弯路？
• 了解一些关于 LLMOps 的思考
  • 如何降低开发门槛？到底什么是门槛？
  • 可集成性为什么这么重要？
  • 什么是可观测性？
  • 当前效果和效率都有哪些问题？都有哪些角度可以去解决问题？在这里LLMOps的定位是什么？
     

演讲提纲:

1. 企业如何玩转 LLM
2. RAG or Finetune: 云原生 LLMOps 的最佳实践
3. AML 及其开源项目 Kubeflow-chart

听众收益：

• 了解企业如何通过大型语言模型（LLM）来优化其业务流程和决策制定。
• 掌握在企业级应用中选择和实施 LLM 的最佳方法，包括模型的调整（RAG）和微调（Finetune）。
• 学习如何通过云原生 LLMOps 实现模型的持续集成和持续部署（CI/CD），以及如何通过自动化工具提高模型的稳定性和可扩展性。
• 深入了解 AML 如何提供全栈 LLMOps 能力，以及如何利用开源项目 Kubeflow-chart 来构建和管理企业级的机器学习平台。
• 通过实际案例分析，了解企业如何成功部署和应用 LLM，以及在此过程中遇到的挑战和解决方案。

演讲提纲：

1. 安克创新公司介绍
2. 安克创新LLM应用典型实践
   • AI+客服
   • AI+营销
   • AI+研发
3. LLMOps 让人人玩转 AI
   • AI Playground，在 LLMOps上 小白也能做开发
   • AI 应用商店，用 LLMOps 低成本构建开箱即用的AI应用
   • 赋能业务系统，LLMOps 助力AI Native系统 关于AI未来展望

听众收益：

• 了解安克创新公司在 AI 领域的探索实践
• 思考人和系统的 AI 含量提升对企业的重要意义
• 思考在 LLMOps 上即使是技术小白也能进行AI应用开发的可能性
• 了解 LLMOps 落地会遇到哪些问题，关键点是什么，如何帮忙业务成功