随着国产大模型技术的快速发展，如何利用国产算力芯片高效部署和运行这些模型成为关键问题。当前，FP8 精度模型的推理高度依赖英伟达 Hopper 架构 GPU，这使得国内企业在部署时面临硬件成本高昂、依赖进口芯片等困境。为解决这一问题，清程极智与清华团队联合开源了赤兔推理引擎，本次演讲将分享赤兔推理引擎如何通过底层技术革新，实现了在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，并确保模型精度无损。

演讲提纲

1. 赤兔推理引擎的诞生背景
   • 问题的提出
   • 合作与开源
2. 赤兔推理引擎的核心技术革新
   • 介绍赤兔推理引擎的底层技术框架
   • 如何实现对不同架构芯片的适配
3. 关键技术创新点
   • 在非英伟达 Hopper 架构 GPU 上的优化策略
   • 针对国产芯片的定制化开发
   • 确保 FP8 精度模型的无损运行
   • 通过技术手段降低硬件成本，提升部署效率
4. 赤兔推理引擎的实践与效果
   • 在非英伟达H系列GPU芯片上运行 FP8 精度模型的案例
   • 对比使用赤兔推理引擎前后的性能提升和成本降低
5. 行业意义和未来规划
   • 对国产大模型部署的推动作用
   • 对自主可控算力生态的贡献
   • 未来技术发展方向和行业合作倡议

您认为，这样的技术在实践过程中有哪些痛点？

• 适配不同国产芯片需要时间。

听众收益

• 有限硬件资源下的大模型推理取舍
• 赤兔软FP8方案：软件工程优化弥补硬件不足