Google于2018年发布预训练语言模型BERT ，并在11项自然语言处理（NLP）任务上取得最好成绩，OpenAI也在前后不久的时间发布了GPT和GPT2 ，在自然语言生成任务上带来了惊人表现，自此，预训练语言模型开始得到学术界和工业界的极大关注，被认为是开启了自然语言处理的新篇章。各个公司和高校的研究团队陆续推出了新的预训练语言模型，并不断刷新NLP任务上的记录，如近期CMU和Google推出的XLnet ，Facebook AI推出的RoBERTa ，百度推出的ERNIE 等。华为诺亚方舟实验室语音语义团队与海思图灵、云BU等团队合作，共同研究大规模预训练模型的训练技术，取得三项杰出研究成果，分别对应中文自然理解任务、生成任务以及模型小型化：1. 发布了自己的中文预训练语言模型“哪吒”，在中文自然语言理解任务上达到先进水平；2. 推出基于预训练语言模型的诗歌生成“乐府”，在中文诗歌生成任务上取得惊人表现；3. 预训练语言模型的小型化工作“TinyBERT”，在压缩BERT参数8倍的前提下，远超BERT的表现并且将推断加速10倍，此工作受到了MIT Technology Review的报道，并且已经成功应用在华为手机及合作运营商的多项业务上。

本次演讲将介绍华为在预训练语言模型的研究和实践的以上三项工作，以及预训练语言模型在华为业务成功落地的应用分享。

演讲提纲：

1. 预训练语言模型背景介绍

    1.1 模型简介

    1.2 发展历程

    1.3 最新进展

2. 哪吒模型技术剖析

    2.1 技术分享

    2.2 效果展示

3. 乐府模型介绍与效果展示

    3.1 模型简介

    3.2 云端落地案例

    3.3 生成效果展示

4. TinyBERT的技术分享与案例展示

    4.1 华为端侧需求分析

    4.2 基于知识蒸馏和数据增强的压缩

    4.3 落地案例分析

5. 预训练语言模型在华为的落地应用

    5.1 用户观点挖掘

    5.2 序列化推荐

6. 结论与展望

听众收益：

1. 对预训练语言模型研究的最新进展有一个概观的认识，学习其中的关键技术

2. 对预训练语言模型在自然语言理解和生成任务上的惊人表现有一个直观的认识

3. 为大规模深度学习模型的研发和落地提供一些案例与经验分享