专题：AI全栈解决方案及行业实践

在过去的两年中，无论是开源还是闭源的大型语言模型，都在多种任务上展现出了卓越的性能。这些模型为了充分发挥其潜力，通常依赖于配备了大量显存的GPU，以便最大化硬件的计算资源。然而，GPU显存的物理限制经常迫使开发者采取复杂的软件设计策略，以提高模型的训练效率和推理速度。此外，在当前国际环境的复杂多变背景下，GPU资源可能并非总是可用或可靠。在这种情况下，Xeon CPU作为一种广泛可用的计算资源，成为了一个实用的备选方案。虽然CPU在原始计算能力上可能不及GPU，但是通过精心设计的优化技术，CPU同样能够有效地执行大型语言模型的推理任务，确保在缺乏GPU的情况下，这些强大的模型依然可以得到广泛的应用。
在本次演讲中，我们将深入讨论如何根据Xeon CPU的特性进行优化，并展示一系列策略，以高效地在Xeon CPU上部署和运行大型语言模型。通过这些优化技术，我们旨在最大化CPU的特性，以支持复杂的大型语言模型，为缺乏GPU的环境提供强有力的技术支撑。此外，我们还将探索在CPU与GPU混合计算环境中，如何有效地利用CPU辅助GPU，以最大化整个系统的资源利用率和提升计算效能。

演讲提纲：

1. 引言 
   • 当前大型语言模型的发展动态
   • 大型语言模型对软硬件的挑战
2. 针对Xeon CPU的优化策略
   •  Xeon CPU架构特点
   • 并行计算优化：包括并行化、向量化、矩阵化等
   • 内存管理优化方法
   • 如何在混合计算环境中最大化CPU性能
   • 优化前后性能的比较分析
3. 在Xeon CPU上部署和运行大型语言模型
   • 最佳部署实践
   • 性能调优案例分析
   • 优化成果演示
4. 结论与展望
   • 优化Xeon CPU对大型语言模型推理的重要性
   • 对未来硬件和软件设计优化的前瞻

听众收益：

1. 学习到如何针对特定硬件平台（如Xeon CPU）进行性能优化
2. 获得实际操作的最佳实践和优化建议
3. 了解行业内的最新研究成果和发展趋势
4. 对如何评估和提升自己项目中的模型性能有具体的指导意义

虽然人工智能技术发展迅速，尤其是生成式人工智能应用井喷式的涌现。但是企业生成式人工智能落地面临众多挑战，包括异构加速计算的优化带来的复杂性，基础设施扩展性和并发处理能力的矛盾，数据（提示词、向量数据库）和模型从传输到使用的安全问题，以及中台和应用社区的碎片化等。这些阻碍了企业采用 GenAI 及其为企业带来的巨大价值。英特尔与其他几家行业合作伙伴合作，在Linux基金会组织中推出了企业 GenAI 开放平台 (OPEA) 。以创建开放、多提供商、强大且可组合的 GenAI 解决方案，从而利用整个生态系统中的最佳创新。
本次演讲介绍了企业Gen AI开放平台(OPEA) 架构的高效、开放、安全和可扩展性。并针对具体的落地场景比如GenAI检索增强的对话探讨了软硬全栈落地的若干问题比如服务编排，并发处理，性能指标收集等。从而在解决了算力焦虑的基础上，进一步释放了产品运维焦虑。

演讲提纲：

1. 生成式人工智能应用井喷
2. 企业GenAI落地的挑战
3. 企业 GenAI 开放平台 (OPEA)
4. 结合案例的全栈架构介绍（安全，扩张性，编排，指标）
5. 期待和总结

听众收益：

1. 深入了解Gen AI在企业产品化中的痛点
2. 深入了解开放式企业GenAI平台的特点、使用场景及设计思路，以便快企业使用OPEA加快自身的Gen AI应用转型

电子病历是电子医疗系统的重要组成部分，在提高医疗服务质量和效率方面发挥着重要作用。电子病历文本的质量质控已成为医疗机构信息管理的关键工作。但是大多数医院依靠人工抽样(通常为3％-5％)来监控电子病历文件的质量，这种方法效率低下、费力、缺乏全面的覆盖，而且结果严重受审稿人在质量控制法规方面的专业知识的影响。随着人工智能与大语言模型技术的飞速发展，自然语言处理算法特别是大语言模型在这一领域得到了广泛的应用。然而，直接使用商业或者开源大模型做病历质控，对于需要多步推理和专业医疗知识的质控规则识别效果不佳。通过大模型微调策略与大模型prompt工程的优化方法，在需要复杂的医疗知识推理质控规则效果有大幅度提升。本次演讲从大模型病历质控的问题出发，揭秘了惠每大模型针对这些识别问题是如何解决的，以及背后的技术内幕，以及实践的效果展示。

演讲提纲：

1. 病历质控背景介绍
   • 病历质控的重要性
   • 病历质控识别问题
2. 惠每质控大模型优化策略
   • 业界中大模型的优化策略介绍
   • 大模型微调策略：医疗知识注入sft+dpo
   • prompt工程优化：自动化找出最优few-shot的示例
3. 优化策略效果展示
   • 优化效果与优化示例展示
4. 总结与展望

听众收益：

1. 了解医疗病历质控背景和遇到挑战
2. 了解最新的大模型微调策略和prompt工程
3. 了解医疗领域大模型优化策略

人工智能技术的发展正在推动医疗信息化进行新的升级和变革。垂直领域的大语言模型会是新一代信息化系统的有力帮手。然而如何将大模型同系统结合，推演至临床可用的医疗系统，需要解决从模型构建、集成、系统结合和应用设计的一系列问题。
在基于基础模型的微调，我们需要更多地关注数据质量，使用包括数据工程、偏好对齐的方法来优化我们的大模型，同时也要关心部署成本。
为了更好的将大模型同HIT系统进行结合，我们设计了copilot，实现全医疗场景的赋能，并能加快临床场景的开发和建设。
本次演讲将展开介绍目前在全国多家医院率先试运行的场景和运行效果。

演讲提纲：

1. 大模型时代让AI可及
   • AI技术迭代：从规则驱动到大模型驱动
   • GenAI：大语言模型的三大特点
   • 模型：医疗垂直领域大模型训练核心关注点
   • 训练：医疗数据多样性和指令丰富度是模型能力基本要素
   • 实践：大语言模型评测和开源推广
   • 部署：技术持续提升，让本地化低成本部署成为可能
2. 大模型带来AI应用新范式
   • Copilot：大模型与应用系统之间的衔接器
   • Copilot：赋能医疗全场景
3. 场景增强的大模型应用实践
   • AI Augmented：AI增强的医疗场景
   • 医技：影像报告助手
   • 医技：超声质控助手
   • 临床：基于LLM增强CDSS
   • 临床：病历文书助手
   • 临床：智能语言查房助手
   • 管理：AI Agent（智能体）

听众收益：

1. 深入了解医疗行业大语言模型的训练重点和关键要素
2. 了解目前大模型应用和HIT系统结合的场景和未来发展方向