沐诩

2020-06-28

格灵深瞳开源量化算法 EasyQuant

深度学习给人工智能算法带来了跃阶式的突破,引领了近几年的AI繁荣发展。相应的,“AI+”和“+AI”落地应用在各产业领域遍地开花。而深度网络模型的嵌入式应用和加速,则是人工智能落地的重要方向。量化后需要的资源只有原来的1/4,这样就可以使用更多的并行指令,从而实现加速。量化是将原本用高精度float32表示的模型,转化成用低精度Int8或更低比特位表示的模型,并且要做到模型精度基本一致,而实现这一目标的算法即量化算法。Int8 量化已经被证明可以满足应用上对精度和速度的需求,但是形形色色的 Int8 量化算法要么是逻辑复杂难以实现,要么是精度保持差。那么是否存在一种低成本、无需训练、任务无关、易用简单且精度保持比较好的量化方法呢?格灵深瞳最近开源的量化算法 EasyQuant,就突破了量化算法鱼和熊掌不可兼得的瓶颈。