构建兼容多元加速卡的大模型基础设施

所属专题：大模型基础设施构建

嘉宾 : 崔慧敏 | 中科加禾创始人 & CEO

会议室 : 会议室 7+8

讲师介绍

专题演讲嘉宾：崔慧敏

中科加禾创始人 & CEO

现任中科院计算技术研究所研究员，处理器芯片全国重点实验室副主任，是中科院计算所编程与编译方向的学术带头人。长期从事面向国产处理器芯片的编译软件研究工作，在国产芯片编程语言、编译技术和系统软件方面取得了一系列的科研成果，发表包括ASLPOS、MICRO、PLDI、PPoPP、OSDI、SC、TOCS、TPDS、TACO等编译和系统领域的顶级国际会议和期刊上论文40余篇，先后担任PLDI、ISCA、PPoPP、SC、CGO、PACT等多个国际会议的程序委员会委员或外部审稿人，JCST青年编委。先后承担科技部、自然基金委、jun委kjw等多项国家级项目，目前是2030新一代人工智能重大专项中某编程语言项目的首席。

议题介绍

地点：会议室 7+8

所属专题：大模型基础设施构建

演讲：构建兼容多元加速卡的大模型基础设施

目前以通用大模型为代表的AI技术高速发展，带来了对高性能智算算力需求的爆发式增长；而各厂商围绕自身硬件特性构建相对独立且排他的工具链系统，适配集成各类 AI 框架形成分支版本，构成“中间件/框架+工具链+硬件”紧密协同的长链条式智算生态，并且厂商间互不兼容，致使上层智算应用与特定系统的锁定，难以在多个竖井生态系统间迁移部署，无法形成系统的整体运用效能。

为了实现大模型基础设施对多种加速卡的兼容，以统一的编程模型和范式为基础，以跨架构编译优化技术为依托，首先通过多层次统一编译器IR为上层应用提供“性能+编程”的归一化抽象，其次通过归一化的代码生成将上层应用翻译到多层次统一编译器IR，并通过芯片虚拟机支持跨多种国产芯片的执行，最后借助编译技术针对大模型应用的特性进行多层次全局优化，确保跨硬件执行的性能。

演讲提纲：