作为人工智能技术的一个重要子领域，自然语言处理（NLP）在最近几年得到了飞速的发展和进步，特别是在数字经济时代新零售背景下，在商品信息的抽取、营销内容的优化、商品标题详情的改写和翻译、用户画像和评论的归纳、智能客服等均有广泛的应用。这次分享，在简要介绍自然语言处理技术的整体框架和最近发展的基础上，将会重点介绍信息抽取、对话机器人、自动问答、内容管控、机器翻译等技术在阿里巴巴新零售中的具体应用，也会展示一些相关的技术在其他行业的应用场景。

听众受益

1. 了解近年来 NLP 技术发展趋势；

2. 了解 NLP 技术在阿里巴巴内部丰富的应用和价值；

3. 了解 NLP 技术在阿里经济体生态中的应用、挑战和机会。

自然语言生成（NLG）是自然语言处理领域的一个重要研究方向，被广泛应用于文本摘要、对话生成、诗歌生成、报表描述生成、新闻和天气预报生成等。在零售及电商领域，数百万的写作达人每天为商品创作卖点突出、风格多样的营销文案以促进用户下单，达人赚取佣金。为解决达人创作商品文案成本高、量产性差、质量参差不齐的问题，利用 NLG 技术为商品自动生成营销文案极具应用前景。

本次分享将介绍京东云与 AI-语音语义及对话实验室在商品营销文案自动生成方面的实践，包括实践过程中的挑战和解决方案，希望给关注文本生成技术的与会者带来启发和帮助。具体地，我们提出的融合商品多源（商品标题文本、商品详情介绍文本和商品知识图谱等）和多模态（文本和图片）信息的文本生成模型，通过提取商品的卖点、要素和属性，实现可控的商品营销文案生成，在文本多样性、流畅性和忠实度方面均得到显著提升。相关研究发表在 AAAI2020。

内容大纲

1、自然语言生成（NLG）前沿技术与应用简介

2、商品营销文本自动生成面临的挑战

• 商品营销文本自动生成的任务定义
• 商品营销文本自动生成的模型框架
• 挑战1：文本多样性问题
• 挑战2：文本流畅性问题
• 挑战3：文本忠实度问题

3、文本多样性问题解决方案

• 融合商品图片的多模态文本生成
• 基于商品要素的文本生成
• 强化商品卖点的文本生成
• 模型效果

4、文本流畅性问题解决方案

• 基于 N-Gram 语言模型的 beam search 重排序策略
• 基于句间流畅度模型的 beam search 重排序策略
• 模型效果

5、文本忠实度问题解决方案

• 文本生成模型的 Copy 机制
• 基于商品属性文本 Only-copy 的忠实度策略
• 模型效果

6、商品营销文本自动生成的算法实践

• 在京东发现好货的算法实践
• 在对话机器人京小智的算法实践
• 在搭配购的算法实践

7、展望和总结

• 千人千面的商品营销文本自动生成
• 面向点击率的商品营销文本自动生成

听众受益

• 可以全面掌握自然语言文本生成的前沿技术、研究动态等；
• 可以了解文本生成技术在电商领域的落地场景、面临的挑战、成功应用的经验及未来的机会；
• 为业内提供商品营销文案自动生成的新思路。

在无监督的语料上进行语言模型（如BERT、GPT）的预训练（Pre-Training），并在下游 NLP 任务上微调（fine-tuning），已经成为自然语言处理的新范式。诺亚方舟实验室语音语义团队在预训练语言模型上进行了研究和探索，推出了哪吒（NEZHA）预训练语言模型，包含中文、英文及多语言版本，在多项下游 NLP 任务上达到了 SOTA 效果。此外，由于语言模型的规模较大，无法高效地在线上或端侧设备上使用，我们研发了基于 Transformer 结构的预训练模型压缩技术 TinyBERT，能够将模型大小压缩 7.5 倍，推理速度提升 9.4 倍，并很大程度保持了在下游任务上的精度。 哪吒和 TinyBERT 已经在华为的产品中落地应用，同时我们也开源了代码和模型。

本次演讲将会重点介绍华为诺亚方舟实验室在预训练预言模型及其小型化方面的技术探索，希望可以给大家带来一些启发和思考。

内容大纲

1. 华为诺亚方舟实验室总体介绍

• 华为诺亚方舟实验室的研究方向
• 诺亚方舟实验室在语音语义领域的研究简介

2. 预训练语言模型基础

• BERT/GPT 模型
• 多语言预训练模型

3. 哪吒预训练模型

• 在 GPU 集群训练大规模的预训练模型
• 在华为昇腾 AI 计算集群训练大规模的预训练模型

4. 预训练模型小型化

• TinyBERT 蒸馏压缩技术
• TinyBERT 量化压缩技术

5. 总结

听众收益

• 了解预训练语言模型的最新进展；
• 了解大规模预训练模型如何在真实业务上落地。

自然语言处理是人工智能领域的重要方向之一。近年来， 在算法、算力、数据三驾马车的驱动下，取得了长足的进展。本次报告，将整体介绍百度在语言理解和生成等方面的最新进展，包括知识增强的持续学习语义理解技术 ERNIE 以及开发套件 TextOne，高质量、低时延的语音到语音同传系统等，并结合大规模产业化实践，介绍自然语言处理技术的落地应用。

内容大纲

1. 百度自然语言处理技术介绍及产业化应用；
2. 可持续学习的语义理解框架 ERNIE 及开发套件 TextOne；
3. 机器同传最新进展；
4. 总结与展望。

听众受益

1. 了解 NLP 最新技术进展；
2. 了解 NLP 产业化实践；
3. 了解功能丰富的 NLP 开发工具及平台。

智能语音语言技术旨在让机器“掌握”人类独有的语音和语言能力，包含语音识别、语音合成、机器翻译和语言理解等关键技术，近年来在深度学习的推动下取得了长足进步。多语种语音语言技术在人类语言互通、人机交互无障碍方面具有广阔的应用前景，受到业界的广泛关注。本次分享，在简要回顾多语种语音语言技术发展基础之上，重点介绍科大讯飞多语种最新技术进展和产业化应用实践，最后探讨多语种技术面临的挑战和未来的发展趋势。

听众受益

1. 了解多语种语音语言技术框架；

2. 了解科大讯飞在多语种技术上的最新进展和应用实践；

3. 了解多语种中技术面临的挑战和未来发展趋势。