【精读AI论文】知识蒸馏

合集 · 【精读AI论文】知识蒸馏 (3)

  1. 1:04:22
    知识蒸馏算法原理+综述
  2. 2:04:13
    知识蒸馏开山之作论文精读:Distilling the knowledge in a neural network
  3. 8:34
    知识蒸馏Pytorch代码实战
Description
知识蒸馏是人工智能领域重要的模型压缩方法,在自然语言处理、计算机视觉、多模态学习、预训练大模型领域有广泛应用。通过师徒传授,将大规模教师模型的知识传递给轻量化学生网络,实现模型压缩和部署。
子豪兄将带领大家了解知识蒸馏核心算法,透视知识蒸馏机理,纵览知识蒸馏前沿热点,精读知识蒸馏开山之作:Distilling the knowledge in a neural network,通过Pytorch实现MNIST数据集的知识蒸馏,介绍开源算法库MMRazor、MMDeploy、RepDistill。

ReadPaper论文链接及论文十问解答:https://readpaper.com/paper/1821462560
OpenMMLab:https://openmmlab.com/
MMRazor:https://github.com/open-mmlab/MMRazor
MMDeploy:https://github.com/open-mmlab/MMDeploy
RepDistill:https://github.com/HobbitLong/RepDistiller