单卡4090 48g部署deepseek-r1:70b，同时兼具性价比和性能的选择？
Description
因为不是自己买的卡所以有些地方打码了。没来得及录a100 80g的生成速度，实际就比4090 48g快20%，不过价格贵了6倍多。对比l40s更是便宜一倍，速度一样，显存带宽更大。对比5090的话，5090显存不够都跑不起来🤣👉可怜的a100 40g刚好不够43g显存🤣👉后面会发多卡4090 48g部署671b的视频
因为不是自己买的卡所以有些地方打码了。没来得及录a100 80g的生成速度，实际就比4090 48g快20%，不过价格贵了6倍多。对比l40s更是便宜一倍，速度一样，显存带宽更大。对比5090的话，5090显存不够都跑不起来🤣👉可怜的a100 40g刚好不够43g显存🤣👉后面会发多卡4090 48g部署671b的视频
Comments
2.2w的卡，显存还得是高温无铅焊得，但我选择2080ti22g 两张nvlink 只要5000块[doge]
♥ 134 ↩ 88
主播主播，48g4090哪里领[初音未来_GKD]
♥ 61 ↩ 8
大哥，有这几万块钱。不如全上霄龙cpu➕Ddr5 512G内存直接跑个671B全量真R1弄个4比特量化，推理时也有10tk/s了，moe架构激活只有37B，可能推理压力比你这密集模型的qwen70b还要小
♥ 56 ↩ 16
等等党最失败的一集[笑哭]2022年4090发售，按理来说应该一路降价，结果遇上禁售，4090D黄牛炒得二手价都比4090首发还贵，虽然50系拼好帧5080超频打不过4090，但50系价格正常以后5080性价比绝对比1.6W的二手4090性价比高
♥ 54 ↩ 14
两年多了，4090还在C[笑哭]
♥ 22
4090真是一代卡皇呀[doge]
♥ 17 ↩ 4
大佬们 我纯外行不是很懂 有大佬说可以两张魔改2080ti拼出来44g显存 那我如果买一张魔改4090可以和我的3090拼出来72g显存吗 还是说显卡的带宽位宽显存不一样的话不能拼 眼馋魔改4090的48g显存 但又不太想把自己的3090给卖了 想继续用 要是能拼好存就好了[海虎武神系列 表情包_今日我手震]
♥ 15 ↩ 12
目前DEEPSEEK官网老崩，不如用硅基流动的满血deepseek-R1。 现在硅基流动注册即送2000万的Tokens，然后调用API就可以用啦~ 硅基流动链接：https://cloud.siliconflow.cn/i/nOsUCsfc
♥ 14 ↩ 5
8台macmini m4芯片。做集群，用exo框架不是可以跑671b的吗。8台成本也才3万多块钱
♥ 11 ↩ 10
白菜白菜 求求你赶紧想办法解除关键词吧[喜欢]
♥ 9 ↩ 19
本地部署纯好奇玩一下，谁的电脑天天跑大模型
♥ 8 ↩ 7
[笑哭]等本地能部署全量671的那一天吧 70b对于重度用户来说还是太傻了
♥ 6 ↩ 2
20tokens每秒很够用了，我在我7900xtx上试了下70B，感觉只有一两tokens每秒。32B的可用，大概十五六tokens。期待测试671B模型，打算多少张48G的4090？8张？10张？期待(✧∀✧)
♥ 5 ↩ 8
A6000 路过，4090 48G 和 A6000 48G 出token 没什么差距了 。
♥ 4 ↩ 6
70b基于llama微调，能力很差
♥ 4 ↩ 2
一张卡我拿去百度云腾讯云上买完用一辈子都够了
♥ 3 ↩ 4
现在 deepseek 官网很卡，大家可以用硅基流动 x 华为云联合部署的和671b的满血版： 1.搜索 硅基流动统一登录 的网页 2.进入后，登录注册的时候，可以填写邀请码LMPSAIUP然后就可以互得14r，即2000万的tokens啦。祝大家学习工作顺利、生活开心ʕ ᵔᴥᵔ ʔ！
♥ 3
不一定，大显存的i卡或a卡肯定比显存小的n卡快的[doge_金箍]因为不会爆显存
♥ 3
如果按聪明程度，推荐32b的openthink，yongr1强化学习过的。非常强，用来代码都足够。低得上千问的72b。。
♥ 2
我也用的Ollama,为什么我的显卡没在跑，CPU和内存顶满了，我4090？感觉ollama在用CPU跑ds啊
♥ 2 ↩ 5