什么是蒸馏、量化？为什么本地部署总是效果很差？
合集 · 华为 (21)
-
限时5分钟带大家做鸿蒙游戏！没人能通关！你敢试试吗？
7:34
-
程序员泪目了！30天的活18天搞定！再也不怕秃了！
1:54
-
别只看到鸿蒙系统的动效，我更关心它的三大黑科技
6:40
-
HDC现场体验全新鸿蒙应用开发，切身体会极致效率
9:35
-
开发者如何看待鸿蒙？破界，它注定生而不同！
5:47
-
新手教程：预装Linux的华为笔记本换装Win11+双系统
4:50
-
什么是蒸馏、量化？为什么本地部署总是效果很差？
6:39
-
同学，你这样写代码会被公司优化的！
6:38
-
这最不起眼的地方或许才能体现鸿蒙的价值
5:22
-
鸿蒙Next能干过IOS安卓吗，作为开发者的我如何看？
5:35
-
参加大学生编程训练营，明白我当年为何多人被劝退
7:45
-
数据说话：鸿蒙开发岗是否能成为新的就业风口？
5:26
-
价格真香！华为MatePad 11.5"S+华为MateBook 14上手体验
4:56
-
华为三折叠是如何造出来的？解密背后的超级产线！
4:27
-
当流氓头子遇到鸿蒙系统...
6:41
-
通宵改bug，下班吃早餐已成为历史！听我分享鸿蒙开发秘诀！
4:26
-
打工人离开电脑没有安全感？是时候帮你根治了！
5:33
-
跨越人生20年，60万字日记，我制作了我的数字生命
5:55
-
不拉明线的全屋Wi-Fi，技术难点在哪？
6:09
-
AI Coding之后，真正稀缺的能力是什么？这一次我找到了答案
13:01
-
HarmonyOS 7 新体验！碰一碰就能把会员送给朋友
9:58
Description
非满血本地部署的DeepSeek其实是蒸馏的，而且还做了量化，那么什么是蒸馏，什么是量化？为什么我认为跟风本地部署是浪费时间？ Dify模板： bbs.huaweicloud.com/blogs/446508 参考文献： 深入理解 DeepSeek 与企业实践（一）：蒸馏、部署与评测 blog.51cto.com/u_16807378/13285971
Comments
这是真的吗，第二次正面硬刚了哦[doge]
♥ 1236 ↩ 28
请问这是全网最尊重何同学的up主吗
♥ 464 ↩ 13
遇到涉Z材料需要总结和修改的时候，才知道本地部署的重要
♥ 400 ↩ 19
你我本无缘，全靠一句锻炼真诚和勇气[支持][支持]
♥ 306
说实话感觉真没必要本地部署 ds，有些人正经用别的不行吗[笑哭]
♥ 380 ↩ 63
也不是不可以部署，但你得把握好你得干什么 否则盲目跟风不可取。
♥ 165 ↩ 1
现阶段用处不大，但谁不想要一个能不受他人限制的ai呢
♥ 163 ↩ 6
如果是4060笔记本的话，本地部署只推荐qwen2.5 14B的4的量化版本[doge]当个人助手完全够用，而且不受制于人。
♥ 146 ↩ 16
3060ti本地部署ds用来应付政治敏感但应付差事的报告之类的玩意绰绰有余了[脱单doge]
♥ 117 ↩ 9
使用云厂商的最大缺陷是，隐私问题
♥ 93 ↩ 10
本地部署更建议使用 qwq 和 gemma3 比 deepseek r1 的蒸馏模型效果好
♥ 85 ↩ 12
好像有个up主在不到1w的预算内，搞定了满血deepseek的离线运行
♥ 66 ↩ 9
本地部署最大的优势是绕过限制
♥ 68 ↩ 4
爱何tv最新力作
♥ 57
我唯一觉得有必要搞本地部署的理由就是为了涩涩
♥ 56 ↩ 12
有条件可以尝试部署QwQ-32B，Q8版本，虽然比不上R1满血版，个人使用效果还是不错的。附上参考图。
♥ 43 ↩ 14
怼何同学说的太对了
♥ 38
本地部署DeepSeek对大多数人来说更像潮玩
♥ 28
正确地，那些各种天花乱坠地吹，一看让你部署7b模型的真的能把我气笑[辣眼睛]
♥ 27
[笑哭]本地部署过一个1.5b的，用来配合RAG。。效果稀烂，上传过去的pdf文档明明挺详细的，但是回答总是很精简。。。[辣眼睛]
♥ 27 ↩ 6