NLP一直是人工智能领域最难的问题之一，被誉人工智能领域皇冠上的明珠。近些年，随着技术不断发展，应用的边界正在加速拓宽。而技术发展与应用的繁荣需要业界共同创新与开拓。百度将多年来对NLP核心技术的研发和实践经验，通过百度大脑向开发者开放。创新地推出持续学习的语义理解框架，并以开源、服务与平台为载体，为开发者构建先进、完整、灵活、高效的生产环境，携手开发者一起加速AI+产业变革。

本次分享将会介绍NLP最新的技术进展，并从开发者的角度出发，对于当前热门的NLP应用给出落地实践的经验，同时针对开发者在NLP相关项目中常见的问题和痛点，给出对应的技术解决方案。

一、AI大生产时代下的NLP技术需求洞察

      1. AI大生产时代下的产业需求特点

      2. NLP技术应用面临的挑战

二、面向产业需求的NLP的技术能力

      1. NLP开放平台：通用好用的NLP服务

      2. NLP场景化方案：智能创作平台与智能对话平台

      3. NLP定制化训练：领先的预训练模型ERNIE及平台化训练

      4. NLP开源技术：PaddleNLP

三、产业应用实践案例

      1. 媒体智能编辑部解决方案

      2. 企业服务评分智能化方案

      3. 基于ERNIE的数据蒸馏方案

听众收益：

1. 了解NLP技术产业化落地的需求和挑战

2. 了解百度NLP最新的技术进展和最全面的技术布局

3. 了解几个真正从产业需求出发的NLP技术实践方案

NLP在小米具有十分丰富的应用场景，一方面要为大量智能硬件的AI赋能服务(如语音交互、多语言支持)，另一方面也要为搜索、推荐、广告等内容应用提供技术支撑。大量多样化的应用场景也给NLP技术提出了技术通用性与跨领域俱备、云端与设备端并存等挑战。针对这些挑战，小米AI实验室NLP团队进行了大量技术研究和应用落地工作。

本次报告将会结合小米实际业务需求，介绍小米在NLP平台构建、内容过滤、人机对话、机器翻译等方面的探索和实践工作。

大纲：

1. 小米NLP总体介绍

   小米NLP相关需求

   小米NLP总体架构

2. 小米NLP技术面临的挑战

   技术通用性与跨领域俱备

   云端和设备端并存

3. 小米NLP技术的介绍

    MiNLP平台

   查询意图的理解

   内容的过滤

   多轮对话技术

   离线机器翻译技术

4. 小米NLP技术的落地

    智能问答

   人机对话系统

   机器翻译系统

5. 总结

听众受益：

1. 让听众了解NLP技术如何落地工业界；
2. 了解工业界产品中规则方法和统计方法的结合方式；
3. 了解设备端技术落地的难点和解决方法；
4. 多项具体NLP技术的落地实践。

预训练模型BERT基于深度迁移学习的思想，目前已经成为业界NLP领域的主流技术。百分点科技在各种NLP任务中也广泛使用BERT技术，并进行持续的优化和改进，包括采用Google TPU解决算力的瓶颈、采用BERT和上层神经网络进行联合参数调优、采用BERT的各种扩展模型和数据增强进行效果提升等等。另外，我们在NLP方面有多年的技术和业务实践经验，服务了几百家企业级客户，并且成功采用深度迁移学习技术解决各个行业客户的NLP实际业务问题。本讲座将分享深度迁移学习模型在各种NLP任务中（包括智能问答、智能校对、情感分析等）的应用实践，具体内容包括模型的技术原理、Google TPU的使用经验、模型的参数调优和数据增强等优化技巧，同时展示对应的使用场景、业务案例和应用价值。

提纲：
1）NLP中的深度迁移学习模型原理
2）Google TPU的实际使用经验
3）模型的参数调优、数据增强等优化实践
4）各种模型的效果对比
5）多个行业客户的使用场景及案例

听众收益：

听众将会了解深度迁移学习在各种NLP业务场景中的应用和实践经验，包括如何采用Google TPU解决算力的瓶颈、如何采用BERT和上层神经网络进行联合参数调优、如何进行数据增强等技术，同时，听众还可以了解多个行业（包括媒体出版、公检法、快消零售等）客户的NLP实际使用场景和业务案例。

前言亮点：

1、预训练模型的各种优化和实际使用经验；
2、Google TPU的实际使用经验；
3、数据增强的实践经验。

听懂我的演讲，需要具备这些知识储备：

1、自然语言处理的技术基础
2、深度学习的技术基础

Google于2018年发布预训练语言模型BERT ，并在11项自然语言处理（NLP）任务上取得最好成绩，OpenAI也在前后不久的时间发布了GPT和GPT2 ，在自然语言生成任务上带来了惊人表现，自此，预训练语言模型开始得到学术界和工业界的极大关注，被认为是开启了自然语言处理的新篇章。各个公司和高校的研究团队陆续推出了新的预训练语言模型，并不断刷新NLP任务上的记录，如近期CMU和Google推出的XLnet ，Facebook AI推出的RoBERTa ，百度推出的ERNIE 等。华为诺亚方舟实验室语音语义团队与海思图灵、云BU等团队合作，共同研究大规模预训练模型的训练技术，取得三项杰出研究成果，分别对应中文自然理解任务、生成任务以及模型小型化：1. 发布了自己的中文预训练语言模型“哪吒”，在中文自然语言理解任务上达到先进水平；2. 推出基于预训练语言模型的诗歌生成“乐府”，在中文诗歌生成任务上取得惊人表现；3. 预训练语言模型的小型化工作“TinyBERT”，在压缩BERT参数8倍的前提下，远超BERT的表现并且将推断加速10倍，此工作受到了MIT Technology Review的报道，并且已经成功应用在华为手机及合作运营商的多项业务上。

本次演讲将介绍华为在预训练语言模型的研究和实践的以上三项工作，以及预训练语言模型在华为业务成功落地的应用分享。

演讲提纲：

1. 预训练语言模型背景介绍

    1.1 模型简介

    1.2 发展历程

    1.3 最新进展

2. 哪吒模型技术剖析

    2.1 技术分享

    2.2 效果展示

3. 乐府模型介绍与效果展示

    3.1 模型简介

    3.2 云端落地案例

    3.3 生成效果展示

4. TinyBERT的技术分享与案例展示

    4.1 华为端侧需求分析

    4.2 基于知识蒸馏和数据增强的压缩

    4.3 落地案例分析

5. 预训练语言模型在华为的落地应用

    5.1 用户观点挖掘

    5.2 序列化推荐

6. 结论与展望

听众收益：

1. 对预训练语言模型研究的最新进展有一个概观的认识，学习其中的关键技术

2. 对预训练语言模型在自然语言理解和生成任务上的惊人表现有一个直观的认识

3. 为大规模深度学习模型的研发和落地提供一些案例与经验分享