多模型推理与算力调度实践

会议室:待定

模型数量持续增加,开源与闭源模型并存,云端、私有和异构算力共同承载企业AI任务,... 展开 >

专题:多模型推理与算力调度实践

模型数量持续增加,开源与闭源模型并存,云端、私有和异构算力共同承载企业AI任务,推理工程正在成为影响性能、成本和稳定性的关键环节。本专题聚焦多模型路由、KV Cache、批处理、并发调度、GPU利用率、弹性伸缩与故障切换,讨论如何根据任务质量、延迟、成本和安全要求选择模型与部署方式,构建稳定、灵活、可替换的企业推理基础设施。

交通指南

北京新云南皇冠假日酒店

Crowne Plaza Beijing Sun Palace
地址:北京市
  • 微信咨询

  • 电话咨询

    联系电话:13269078023

微信联系我们

如您在购票过程中遇到问题,请扫码咨询票务小助手