从 RAG 到微调：企业知识问答大模型演进之路

所属专题：RAG 落地应用与探索

嘉宾 : (1) 王元 | PayPal高级 ML 科学家(2) 马泽宏 | PayPal 算法工程师

会议室 : 钻石厅 D

讲师介绍

专题演讲嘉宾：王元

PayPal高级 ML 科学家

王元，PayPal 高级 ML 科学家，国际注册特许工程师。毕业于英国帝国理工大学，双硕士学位，时任中国互金协会移动专委会技术委员。他长期专注于人工智能前沿技术的研究与实践，拥有 10 多项国家发明专利，曾率队获得江苏省人工智能学会技术创新奖、中国银保监会优秀研究成果奖等科技奖项；接受过环球时报、人民日报等知名媒体采访，参与编写书籍《互联网金融反欺诈的艺术》和《金融科技：江苏的创新和实践》。

专题演讲嘉宾：马泽宏

PayPal 算法工程师

马泽宏，PayPal 算法工程师，专注于搜索和对话相关应用，拥有丰富的人工智能和机器学习经验。

议题介绍

地点：钻石厅 D

所属专题：RAG 落地应用与探索

演讲：从 RAG 到微调：企业知识问答大模型演进之路

越来越多的企业利用大模型构建专属领域的知识问答型机器人。通过使用 RAG 和提示工程技术，企业可以快速基于预训练大模型构建功能和产品，但随着业务量和场景的增加，其性能受到多种因素制约，比如大模型调用成本、多场景支持、法务合规等。本次演讲将介绍我们通过大模型微调，完成 GPT-3.5 /开源模型完全替换 GPT-4 的实践和经验，并展望未来发展方向。

演讲提纲
1.系统架构的演进
2.RAG 系统的问题
3.子模块的指标设计
4.数据问题及解决方案
5.微调技术实践
6.微调后调优与测试
7.总结与展望

听众收益
1.了解 RAG 和微调的异同与适用场景
2.了解大模型微调的技术难点和实践经验
3.了解微调的副作用以及微调后调优策略