模型量化通过降低权重精度减少计算量与内存占用，加速推理过程并降低能耗，对于提升大模型在资源受限设备上的部署效率至关重要。以往 PTQ 量化方法忽略不同层权重对量化精度的敏感性，且在超低比特量化下（2-3位）精度损失严重，论文针对这两个问题，提出 AMLQ( Adaptive Mixed precision and Low-rank Quantization error reconstruction) 量化方法，极大减少模型量化的精度损失，并提高推理速度。量化方案详情可参考：https://openreview.net/pdf?id=T5pGDydMkS

演讲提纲：

1. 大模型在推理实践中的挑战
2. 大模型量化技术
3. AMLQ：低比特无损量化
4. 大模型推理和量化展望

听众收益：

• 深入了解无损量化技术的最新进展
• 启发听众对于无损量化技术未来研究方向及应用场景思考