大模型推理是大模型应用的重要一环，随着模型尺寸越来变大，应用越来越普及，如何构建一个开发者用得起的模型服务至关重要，为此硅基流动设计了多模态和大语言模型的加速套件，并基于此构建了大模型推理云 SiliconCloud，以提供高性能低成本的推理服务。本演讲分享高性能低成本的大模型推理云的设计思考和最佳实践。

演讲提纲：

1. 大模型推理加速背景与挑战
2. 硅基流动大模型推理云 SiliconCloud 加速方案
   • 多模态加速
   • 大语言模型加速
   • 云上的演化
3. 总结与展望

听众收益：

• 了解 AI Infra 中推理加速的价值和常用方案
• 了解 AI Infra 推理云的实践方案