借助DeepSeek R1进行模型蒸馏，模型蒸馏入门实战！从零训练DeepSeek R1 Distill模型｜模型蒸馏技术实战

发型正确

♥ 11 ↩ 2

这个视频讲《DeepSeek R1提出的模型蒸馏实现路径》是不是搞错了，这难道不是Base -> R1_Zero -> R1的训练路径么，和蒸馏有啥关系？ 蒸馏应该就是用R1生产的数据，去QWen或Llama3.3做SFT ？

♥ 10 ↩ 3

老师，我想问下，如果要做垂直领域的具有CoT的大模型，那微调还是蒸馏ds比较好？

♥ 6 ↩ 2

学员点赞

♥ 3 ↩ 1

按你这图，这跟微调的区别是啥？

♥ 3 ↩ 9

有很多同学对于能否用SFT完成蒸馏感到困惑，实际上视频中介绍的蒸馏方法就是R1论文中介绍的方法：借助SFT进行模型蒸馏

♥ 3

老师，第6节09:37，用deepseek R1生成的蒸馏数据里有思考过程和最终结果，然后sft只用了最终结果？那不是白蒸馏了？deepseek R1生成的最终结果和原数据集的结果应该是一模一样的，不一样的会被拒绝采样掉吧。

♥ 3

[给心心]下图扫码加入【赋范大模型技术社区】，领取全套《Deepseek R1技术实战教程》，社区更有海量硬核独家技术干货内容+无门槛技术交流，期待你的加入[星星眼] ✅高质量公开课：30+套团队自研大模型学习课程； ✅新知速递：大模型重大技术突破&最新技术信息通报； ✅干货分享：每月2-3场硬核干货&前沿技术公开课； ✅独家团队自研高品质技术教程&追更最新技术内容； 感兴趣的小伙伴抓紧时间扫码入群吧～

♥ 3

才1.5B的模型~~ 就要4个4090 了。。。。普通人没法玩[笑哭]

♥ 2 ↩ 1

我的理解：软标签应该是用概率分布形式表示的标签，蒸馏本质上是让学生模型模拟教师模型内部标签分布，用KL散度等办法进行训练，进而缩小模型体积。而问答对并不是软标签，而是硬标签，常用于SFT（有监督微调）。感觉up讲的有点混啊

♥ 2 ↩ 2

请问在哪可以找到开源的deepseek-r1蒸馏其他模型的方法呢，论文中只是提了结果，好像没有看到在哪里有写细节的如何蒸馏的

♥ 2 ↩ 1

学起来

♥ 2 ↩ 1

数据集只有QA对，那蒸馏的软标签（概率分布）体现在哪里呢？

♥ 2 ↩ 2

看到赶紧划走把，直接浪费我1个小时。。。。。就讲了一些科普的废话，只是过了一遍流程而已，标题党

♥ 1

这个老师讲的不错，可惜你讲的是微调入门课可不是模型蒸馏。。。

♥ 1 ↩ 1

dP模型其实是ChatGPT蒸馏出来的，如果不直接预设这类问答的话，他会回答自己来自openai（转）

♥ 1 ↩ 1

明告诉你劳资用的小米加步枪，但是打法不输美式装备[doge]

♥ 1

问一下最后蒸馏数据Distill_data_17k-train.arrow是什么样，是shareGPT格式的吗？

♥ 1 ↩ 2