在无监督的语料上进行语言模型（如BERT、GPT）的预训练（Pre-Training），并在下游 NLP 任务上微调（fine-tuning），已经成为自然语言处理的新范式。诺亚方舟实验室语音语义团队在预训练语言模型上进行了研究和探索，推出了哪吒（NEZHA）预训练语言模型，包含中文、英文及多语言版本，在多项下游 NLP 任务上达到了 SOTA 效果。此外，由于语言模型的规模较大，无法高效地在线上或端侧设备上使用，我们研发了基于 Transformer 结构的预训练模型压缩技术 TinyBERT，能够将模型大小压缩 7.5 倍，推理速度提升 9.4 倍，并很大程度保持了在下游任务上的精度。 哪吒和 TinyBERT 已经在华为的产品中落地应用，同时我们也开源了代码和模型。

本次演讲将会重点介绍华为诺亚方舟实验室在预训练预言模型及其小型化方面的技术探索，希望可以给大家带来一些启发和思考。

内容大纲

1. 华为诺亚方舟实验室总体介绍

• 华为诺亚方舟实验室的研究方向
• 诺亚方舟实验室在语音语义领域的研究简介

2. 预训练语言模型基础

• BERT/GPT 模型
• 多语言预训练模型

3. 哪吒预训练模型

• 在 GPU 集群训练大规模的预训练模型
• 在华为昇腾 AI 计算集群训练大规模的预训练模型

4. 预训练模型小型化

• TinyBERT 蒸馏压缩技术
• TinyBERT 量化压缩技术

5. 总结

听众收益

• 了解预训练语言模型的最新进展；
• 了解大规模预训练模型如何在真实业务上落地。