教育智能硬件是智能硬件+教育的融合，教育智能硬件最近几年得到迅速的发展，2020 年教育智能硬件市场规模为 343 亿元，2024 年有望接近 1 千亿元。AI 技术是教育智能硬件中的关键技术，然而由于智能硬件本地算力和内存等资源的限制，使得越来越复杂的 AI 算法迎来了众多的挑战。

本次演讲将首先介绍教育智能硬件面临的挑战——平衡质量、速度、内存、功耗、成本等指标，然后分别从算法和推理两个角度介绍我们常用的优化方法。算法优化将会介绍裁剪模型、共享参数、量化、知识蒸馏等方法。推理优化一是介绍我们自研的开源高性能端侧机器学习计算库 EMLL 的技术细节以及其在智能硬件中的应用效果，二是分享网易有道探索基于 CPU+NPU 异构计算平台的端侧 AI 落地实践。

演讲提纲：

1. 教育智能硬件上 AI 落地挑战——质量、速度、内存、功耗、成本等指标的平衡
2. 端侧 AI 算法优化
   • 模型压缩：裁剪模型、共享参数、量化、知识蒸馏
3. 端侧 AI 推理优化
   • ARM 上 AI 推理落地常用方法和面临的问题
   • 有道开源高性能端侧机器学习计算库 EMLL，EMLL 特点以及在智能硬件上的效果
   • CPU+NPU 异构计算部署 AI 推理——方法、效果
4. 有道教育智能硬件应用案例
   • 有道在教育智能硬件上的应用落地——词典笔、超级词典等
   • 教育智能硬件展望

你将获得：

• 了解智能硬件上 AI 落地面临的挑战
• 了解端侧 AI 算法优化方法
• 了解端侧 CPU 和 NPU 上实现 AI 推理的方法以及性能优化方法