知识蒸馏开山之作论文精读:Distilling the knowledge in a neural network

合集 · 【精读AI论文】知识蒸馏 (3)

  1. 1:04:22
    知识蒸馏算法原理+综述
  2. 2:04:13
    知识蒸馏开山之作论文精读:Distilling the knowledge in a neural network
  3. 8:34
    知识蒸馏Pytorch代码实战
Description
NIPS2014论文:Distilling the knowledge in a neural network
知识蒸馏是人工智能领域重要的模型压缩方法,在自然语言处理、计算机视觉、多模态学习、预训练大模型领域有广泛应用。通过师徒传授,将大规模教师模型的知识传递给轻量化学生网络,实现模型压缩和部署。
子豪兄将带领大家了解知识蒸馏核心算法,透视知识蒸馏机理,纵览知识蒸馏前沿热点,逐句精读由图灵奖得主Hinton和谷歌传奇工程师Jeff Dean撰写的知识蒸馏开山之作论文:Distilling the knowledge in a neural network,通过Pytorch实现MNIST数据集上的知识蒸馏,并介绍模型压缩和部署工具箱MMRazor、MMDeploy、RepDistill等开源算法库。
ReadPaper论文链接及论文十问解答:https://readpaper.com/paper/1821462560