【保姆级】DeepSeek R1本地部署与调用指南｜transformer、Ollama、vLLM、LMDeploy、SGLang部署与调用R1与蒸馏模型组

这么好的内容怎么才这么点流量，推进这个好UP

♥ 3 ↩ 1

先奉上三连！看到有别的up主测出同模型下lmdeploy的token速度显著高于vllm的速度，请问up主方便测一下这四种本地部署的速度吗？

♥ 2 ↩ 1

讲得不错，就是头发少了点

♥ 1

pip install -r requirements.txt的时候，ERROR: Could not find a version that satisfies the requirement triton==3.0.0 (from versions: none)是什么鬼

♥ 1

首先使用sglang实现1.5b的部署，摸清楚了要部署32B

♥ 1 ↩ 1

正准备用ollama在A6000上跑，就搜到了[星星眼]

♥ 1 ↩ 1

[给心心]下图扫码加入【赋范大模型技术社区】，领取全套《Deepseek R1技术实战教程》，社区更有海量硬核独家技术干货内容+无门槛技术交流，期待你的加入[星星眼] ✅高质量公开课：30+套团队自研大模型学习课程； ✅新知速递：大模型重大技术突破&最新技术信息通报； ✅干货分享：每月2-3场硬核干货&前沿技术公开课； ✅独家团队自研高品质技术教程&追更最新技术内容； 感兴趣的小伙伴抓紧时间扫码入群吧～

♥ 1 ↩ 2

请问A卡可以本地部署DS吗

我使用ollama运行7b、1.5b版本的deepseek蒸馏模型，他就在页面一直转圈，不进入问答界面是为什么[笑哭]

老师，请问同一参数蒸馏模型，比如DeepSeek R1-Qwen 70B、DeepSeek R1-Lama 70B、DeepSeek R1原版蒸馏70B，谁的性能比较强？

linux下载ollama太慢了怎么办[笑哭]

↩ 3

大佬，我用本地和服务器安装了ollama ，然后下载了deepseek模型，在问答的时候GPU利用率不到10%，CPU直接升满。这是什么情况

各位大佬说说 这个up主是掌握了那些背景知识 他懂好多 而且也不浅薄

qwen14B FP16满血和qwen 32b q4km量化不知道哪个更好一点

4070 适合什么模型 求大佬

↩ 3

macmini m4用哪个模型？

4090适合用哪个蒸馏版本的r1？

↩ 1

ollama里吗有r1量化的版本

↩ 1

不是客服怎么不理人，而且课件网盘在哪

↩ 1