专题演讲嘉宾:封江涛

字节跳动AILab 研究员

硕士毕业于复旦大学,随后加入字节跳动,主要从事于文本生成技术的研究和应用工作,致力于推动文本生成研究工作的落地。曾在IJCAI、AAAI、EMNLP上发表了多篇论文。

by 封江涛

字节跳动
AILab 研究员

文本生成是自然语言处理的重要方向之一,很多关键的下游任务包括机器翻译,人机对话,自动问答等都依赖文本生成技术。当前主流的文本生成模型主要遵循自左至右的生成范式,并使用Transformer 来参数化,在实践中取得了不错的效果。但是自左至右的自回归式生成会带来每个位置生成时互相等待,效率下降的问题。为此有研究者提出了并行(非自回归)文本生成技术,在损失生成准确率的前提下大大提高了生成的效率。

本次演讲将介绍字节跳动在大规模文本生成技术方面的探索,深入讨论高效且不损失精度的并行文本生成技术是否可行,并且尝试从理论和实践两个角度给出一些初步结果。

演讲提纲

  1. 背景介绍:自回归生成 vs 并行生成
  2. Glancing Transformer 具体内容介绍
  3. GLAT 在 WMT21 中的表现
  4. GLAT 在火山翻译的上线情况

你将获得:

  1. 了解生成模型的前沿进展
  2. 熟悉并行生成模型的理论和实践
  3. 了解在大规模线上系统中并行生成模型的具体效果以及应用场景
  • 电话咨询

    联系电话:+86 13269078023
在报名过程中如有任何问题,欢迎微信扫描二维码联系我们的票务经理