什么是蒸馏?DeepSeek如何蒸馏?

Comments

墨绿透镜 2025-02-09

别人在河边钓鱼 你在别人鱼桶里钓鱼就叫蒸馏[doge]

♥ 205 ↩ 12

脑袋要有光 2025-02-09

DeepSeek R1 能力强的核心原因不是蒸馏,是强化学习,这也是硅谷技术大佬们最惊讶的地方,所以因为有技术突破且开源,所以他们也非常推崇。[doge]

♥ 73 ↩ 2

antelown 2025-02-10

那么问题来了 OpenAI不是开源的,他的推理过程也是不公开的,如何能用OpenAI来蒸馏训练呢?

♥ 43 ↩ 42

天黑都不怕_ 2025-02-09

如果有其它公司蒸馏DeepSeek 就有意思了

♥ 23 ↩ 7

反战宣导员 2025-02-10

这就是这样蒸馏的!

♥ 22 ↩ 12

咕噜咕咕咕噜咕噜咕 2025-02-21

大师用半辈子时间研究出来的公式原理,我一个月的课就学会了。大概这种感觉?

♥ 21 ↩ 1

bili_57682 2025-02-10

[doge]感觉就是用大模型的输入输出作为小模型的训练数据来训练小模型

♥ 16

RB211- 2025-02-10

up能讲讲哥伦比亚尾部的凸起是什么东西吗?

♥ 14 ↩ 2

贲门与幽门间擂金鼓 2025-02-15

谁说deepseek没有蒸,都蒸了1万亿了[吃瓜]

♥ 14 ↩ 1

瑞雪北巷 2025-02-11

[辣眼睛][辣眼睛]讲的一言难尽啊

♥ 14

被自己亮瞎 2025-02-18

在DS出现之前,从没听说过所谓“蒸馏”技术,但是DS一出来,如果是欧洲公司也就罢了,如果是中国公司那必须是通过作弊手段赢得了胜利,不然这就与长期洗脑的结论不一致,有人浑身不舒服。

♥ 13 ↩ 2

溜达溜达溜走 2025-02-16

DS的核心不是 强化学习这部分吗

♥ 9

珍稀宠物兽医 2025-02-18

UP主的意思是deepseek用了蒸馏?  可是,可是,可是问题是deepseek没用啊。 这是不是属于造谣呢?

♥ 7 ↩ 10

小鸟弯弯 2025-03-02

骗傻波一用的噱头

♥ 5

旮旯给睦大王 2025-02-12

这个蒸馏是蒸馏一部分大模型还是全部?

♥ 5

蒸汽动力史莱姆 2025-02-12

可以有百花齐放的小模型可以专注在自己的行业学习来减少算力的重复浪费,并发挥不同模型的长处,直到更好的模型逐步替代。有没有一种大模型能对接各个小模型呢?[思考]

♥ 5

873940301 2025-02-15

马督工逮着蒸馏死骂deepseek呢

♥ 4 ↩ 1

-mkpp- 2025-02-09

AI教AI更好沟通

♥ 4

吃饭碎觉打六花 2025-02-09

你这个视频不会是AI合成的吧[doge]

♥ 4 ↩ 1

都是荷尔蒙闹的 2025-02-12

让ai用ai[doge][doge][doge]

♥ 3