Unraid部署Deepseek-R1模型全攻略（含A卡、N卡加速以及纯CPU环境）

来一期捡垃圾部署deepseek 671b

♥ 130 ↩ 28

看了你的视频 我决定试一试全量671B

♥ 53 ↩ 10

本地部署的蒸馏模型也就能写些车轱辘话了，真要生产力，还得是671b全量+联网搜索

♥ 24 ↩ 1

所以 AMD 新出的那个 40CU 的 APU 是不是会变成一个个人部署本地模型的神器[doge]，毕竟可以直接配置 巨量显存[doge]。

♥ 10 ↩ 16

缩图，什么时候测一下tesla t10，1350元有2080ti核心16g显存150w功耗放unraid上跑llm或者sd岂不美滋滋

♥ 10 ↩ 7

说起来能在truenas scale里部署么，truenas本来就吃内存，装了768G的D5内存，按理说8通道D5带宽也接近显存了

♥ 10 ↩ 11

他居然回答我只有两个r,要不要给它两巴掌？

♥ 8 ↩ 1

deepseek 70b模型部署慢咋办啊，一开始还能跑到十几MB/S，但是越下载越慢，会下降到一两MB/S，原本两个小时就能下载好，现在需要差不多十个小时才能下完，有没有什么能提速的方法吗？（比如设置网络代理之类的）

♥ 6 ↩ 19

终于让一切都正常跑起来了[笑哭] 我的配置是CPU e5 2680v4，内存16G，没有显卡，目前遇到一点问题，就是跑deepseek r1的时候每次都只会使用大概一半的线程（2680v4是14核心28线程，每次运行都只能使用14个线程，每个核心一个线程），跑7b模型的时候速度还好，但是跑70b模型的时候速度慢到令人发指。有没有什么办法能让ollama在运行deepseek r1 70b模型的时候把剩下一半的线程也利用上吗？那样多少应该也能快一些。[笑哭]

♥ 5 ↩ 14

先给点赞收藏一下，司波图啊，别忘了垃圾佬的属性，最重要的是给我们上一期如何用垃圾佬的预算组装一台能勉强运行671b模型吧，最近的技术发展太快了，我都不知道该用什么方式去组这么一台服务器，最好能兼容家用和玩游戏的需求，同时还能运行deepseek671b的模型[吃瓜]

♥ 5

又虚度了20分钟， 关键没没睡着。[doge_金箍]

♥ 5

本地部署r1并不合适，本身deepseek只有671b的版本，所谓70b30b本质上都是qwen2或者其他模型，只是蒸馏了deepseek的回答，这种蒸馏只是一定程度上增强了qwen的推理能力，但其他能力反而弱了，而小模型推理能力本身也没多强，远不如api或者官网。非要本地部署ai服务的话，一些中等大小的特化模型可能更实用，比如日文特化的sakura7b、13b可以用来翻译一键游戏文本或者网页翻译，还有一系列专门训练用来特殊rp的模型玩酒馆，搞rag也有综合能力比较好的gemma2-27b

♥ 4 ↩ 1

已三连，求飞牛系统下部署deepseek[打call][打call][打call]

♥ 4 ↩ 5

UNRAID怎么自动备份微信聊天记录吗？   我现在用的6.12.5  要升级到7.0吗

♥ 3

up，我还遇到一个问题，open webui的加载速度非常慢，基本上输入网址回车之后网页就白屏了，需要好几分钟才能显示内容，这种情况该怎么解决啊[笑哭]

♥ 2 ↩ 4

最近发现fnos似乎挺好用，想要从unraid转到fnos，应该怎么转，数据能保留吗

♥ 2 ↩ 8

unraid感觉都没热度了[笑哭]

♥ 2

家人们我试过了，8 张 a100 671b 跑不了

♥ 2 ↩ 1