最低0显存，独家Unsloth动态量化部署满血DeepSeek｜纯CPU推理、CPU+GPU混合推理、纯GPU推理方案详解｜企业级最佳部署方案

ollama社区其实有合并好的模型，ollama pull secfa/DeepSeek-R1-UD-IQ1_S  这个命令就可以直接下啦

♥ 12 ↩ 6

至强8581c 384g内存+4080s，之前运行unsloth的2.51bit量化，刚好占用显卡15g多显存，不占用共享的，剩下的是cpu内存，之前ollama版本混合模式有5t每秒比纯cpu快，但最近ollama支持avx512了，发现纯cpu模式能有7t每秒了，混合模式反而慢了[藏狐]感觉是混合模式下cpu与显卡通信被pcie接口带宽限制了

♥ 4 ↩ 2

up里的DeepSeek，太高产了！

♥ 4 ↩ 1

[笑哭][笑哭] 内存不足

♥ 3

小白有个脑洞，unsloth技术有没有可能跟DS开源周发布的技术结合起来，小团队预算有限的情况下，同一套硬件设备，先用纯GPU把模型微调完，然后再加载到运用unsloth技术GPU+CPU混合推理来进行日常运转？

♥ 3

太高产了老师，一键三连奉上

♥ 2 ↩ 1

九天老师牛！！！[支持]

♥ 2 ↩ 1

不用看老师发什么，占完前排再跟着学就对了

♥ 2 ↩ 1

前排合影留念

♥ 2

九天老师，视频里提到【双卡A100吞吐量能达到140tokens/s,100并发单人能达到14tokens/s】。这里我不太理解，100并发时单人能达到的吞吐量不应该是140/100=1.4tokens/s吗？请指教一下呢。

♥ 2 ↩ 2

为什么我本地部署deepseek提问“你是谁”。调用的结果为： <｜begin▁of▁sentence｜>以下是描述任务的指令。 请写出一个适当完成请求的回答。### 指令： 请回答问题### 问题： 你是谁### 回答： 是您的，，，### 请： 告诉我 是您的 ，， ， ，， ，， ，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，

♥ 1 ↩ 1

这套方案就是能支持并行的意思吗？

♥ 1 ↩ 1

想请教一个问题，我通过ollama加载1.58bit,在加载模型的时候，明明内存还剩了30多g，为什么提示内存不足，最后加载失败，有的时候是cuda分配失败，显卡三章4060t16g内存128g

♥ 1 ↩ 2

九天老师YYDS[打call]

♥ 1 ↩ 1

可以简单说 满血版的最低多少钱，能到多少token

♥ 1 ↩ 2

unsloth不是只能在linux上跑吗？怎么我看视频是windows？

♥ 1

火钳留名

♥ 1

[滑稽]

♥ 1 ↩ 1

满血1.3T显存…这也太营销号了…