超大规模多模态预训练模型M6实践

所属专题：认知智能的前沿探索

嘉宾 : 林俊旸 | 阿里巴巴达摩院智能计算实验室算法专家

会议室 : 莱茵厅A+B

讲师介绍

专题演讲嘉宾：林俊旸

阿里巴巴达摩院智能计算实验室算法专家

2019年毕业于北京大学。目前主要研究领域包括自然语言处理及多模态表征学习，侧重于多模态预训练及其应用，曾在自然语言处理、机器学习等领域以第一作者和共同作者的身份在多个顶级会议，包括ACL、KDD、EMNLP、NeurIPS、ICML等发表30余篇论文，引用量近800。曾打造全球最大规模的十万亿参数多模态预训练模型M6，广泛应用于下游应用如图像生成、自然语言生成、跨模态检索等，并研究大模型的低碳训练、提示学习、轻量化应用等问题。M6服务化平台在集团内部服务40余个业务场景，包括但不限于服装设计、自动文案生成、搜索推荐、自动驾驶等，日均调用量超5亿，推动预训练大模型的商业化落地及普惠AI的发展。

议题介绍

地点：莱茵厅A+B

所属专题：认知智能的前沿探索

演讲：超大规模多模态预训练模型M6实践

互联网时代为深度学习提供了海量的数据存储、强大的计算芯片，研究人员试图利用更通用的模型来统一不同数据类型和任务类型的建模方法。随着Transformer、Bert、GPT、VIT这一类预训练模型的发展，人工智能的发展逐渐从特定模型处理特定任务，走向了使用通用模型处理一大类任务的处理方式。我们在过去一段时间里研发了超大规模的多模态预训练模型M6，能够处理图和文之间的各类理解和生成任务。

演讲将介绍M6的设计与实现、下游任务、大模型应用实践经验以及m6的服务化平台。

演讲提纲：