大型组织往往聘用了大量的员工并积累了海量的数据，如何帮助员工快速的找到“人”和“有效数据”，让信息正常有序的流转就变成了一个非常重要的课题。企业办公助手作为员工提升工作效率的重要工具，其重要性不言而喻。但是在大型企业场景下，企业办公助手存在数据来源多（行政、HR、IT、法务等相关政策）、场景多（知识问答、办事、找人）的特点，因此在和大模型的结合中，不可避免地出现了指令意图无法准确判断，检索准确率差，大模型幻想严重等问题。本次演讲将主要分享阿里巴巴企业内部办公助手“橙蜂晓蜜”在落地大模型技术中遇到的挑战，以及相应的技术方案。

演讲大纲
1. 阿里巴巴企业办公助手背景介绍

• 橙蜂晓蜜背景介绍
• LLM 企业内部办公助手应用特点及挑战

2. 橙蜂晓蜜大模型应用技术方案

• 企业文档问答 RAG 优化实践
• 多数据源多场景企业办公助手落地实践

3. 橙蜂晓蜜企业私域大模型微调方案
4. 企业办公助手未来展望

听众收益

1. 了解在大型企业落地落地大模型相关技术的难点和挑战。
2. 了解大模型相关技术在大型企业落地的最佳实践和探索经验。

大模型在解释代码、回答代码问题、写单元测试等方面表现很不错，但这些只是辅助任务，真实项目需求开发中的设计及实现任务才是核心任务，这方面尚未有成熟的方法。一些AI Developer工具也能演示从零创建小应用的能力，但放到真实项目中就无法忍受了。

本分享结合在多类项目中借助GPT4开发完整需求的实践经验，介绍针对复杂度持续增加的编码任务，如何准备上下文？如何区别对待设计任务和实现任务？如何加工经验知识并利用它大幅提升生成效果？如何分步完成复杂的开发任务？同时，我们还会探讨组织或企业该如何建设知识工程，以便有力支撑工程师在核心开发任务中利用大模型提效。

演讲大纲

1. 利用大模型开发真实需求面临的挑战

2. 开发依赖项目代码的编码任务

3. 开发依赖经验知识的编码任务

4. 开发项目约束下的设计类任务

5. 形成完整的开发模式

6. 知识的分类及提示词框架

7. 如何加工任务经验知识

8. 组织需要开展知识工程建设

听众收益

1. 利用大模型开发真实需求的实用经验

2. 个人如何建设属于自己的知识工程

3. 组织开展系统性知识工程建设的内容和方法

基于 Transformer 和衍生的 GPT、BERT 出现，AI 对自然语言的上下文推理、一词多义理解能力有了重要的质变。这种质变让场景契合的辅助编程领域有了大的突破。以 Code LLama 为首的 Code LLM 带动了智能编程产品快速发展。但是目前的 Code LLM 测评工具非常简单，有的几年没有更新。测评只关注到性能和少部分运行结果，没有全面从实际编程场景看提效和辅助能力。同时，现在大模型评分公开的造假，需要更科学的方式评判 Code LLM 真实效果。本次演讲将从编程场景出发，结合真实的测评，比较市面上的工具产品，并分享落地案例及未来的发展趋势判断。

演讲大纲

1. 以 HumanEval、MBPP 代表代码模型评测标准十分落后

• 评分造假：行业大模型普遍都有水分、现场从底层源代码演示如何造假
• 评测标准局限在性能，无法反映实际编程场景辅助能力

2. 一套原创测试集，从缺陷查找、代码调优、报错排查、代码解释等进行实际测评

• 行业主流工具进行测评结果自动化打分和结果分析
• 语言特性纳入测评：细分前后端、考虑不用语言特性

3. 从API文档、单元测试、代码注释、工具类等辅助生成能力进行实际测评

• 偏主观判定，采用不记名随机抽样人工标注的方法判断结果打分
• 业务辅助编程：SQL 建模的能力、RAG 检索本地代码库能力 

4. 真实企业提效现状，如何最高做到 30%，未来的发展空间

• 企业提效充分条件：必须要团队协作，按照一定 Sop 项目拆解、开发分工 
• 具备低代码平台的项目构建能力：辅助编程提效如何达到 50-70%  (现场举几个辅助编程贡献通用项目 80-90% 代码量的实际案例)

听众收益

1. 了解智能编程大模型、通用大模型的一些前沿的技术和成果
2. 开拓一些新思路，用新方法利用智能编程给企业和研发团队提效和个人技能成长
3. 目前领域相关的挑战，对未来智能编程产品、技术发展的展望