专题演讲嘉宾：王天庆

随着大模型的广泛应用和种类的增加，企业对 GPU 算力的需求日益增长。然而，GPU 资源的异构性、跨多云及跨地域部署的复杂性，使得资源利用效率面临严峻挑战。企业亟需解决如何高效分配算力资源并提升利用率的问题，以支持大模型的快速发展和业务场景的实际落地。

为应对这一挑战，我们基于云原生技术，以 Kubernetes 为核心，构建了一个支持多租户的一站式机器学习平台。该平台不仅实现了统一的资源调度和存储管理，还能方便用户快速获取多种算力资源，同时支持用户将闲置资源出借以创造额外收益。从技术运营和技术深度两个层面，这一方案全面提升了算力资源的利用效率，为企业提供了强有力的支撑。

本次演讲将从两个方面展开，一是多租户环境下的算力分配策略，二是提升算力利用率的方法。

演讲提纲：

1. 贝壳机器学习平台AIStudio背景介绍
   • 产品定位与核心功能
2. 算力效率低下的元凶
   • 算力资源壁垒
   • GPU利用率低并长期闲置
   • GPU资源碎片化
3. 多租户下算力分配
   • 分配机制
   • 算力的精细化分配（机器维度、卡维度、算子)
   • 算力运营
4. 多角度提高算力利用率
   • 统一资源池化调度
   • 数据调度（基于JuiceFS的存储底座、数据编排和亲和性调度）
   • 联邦调度（训练任务、推理服务）
   • 闲时复用（虚拟节点、潮汐调度）
   • GPU碎片资源优化
5. 总结与展望

听众收益：

• 提供了一种适用于企业内部的高效算力分配方案，从技术运营的视角提出了促进算力循环利用的策略，显著降低企业算力成本
• 针对大模型应用场景，阐述其与传统流量调度的核心差异，并明确优化方向，为资源调度提供更具针对性的解决方案