我花了3700块，从闲鱼买了台双Tesla V100扩展柜，想一步到位玩转MoE，结果…

合集 · AI系列 (21)

Description

期双Radeon VII的视频，我们用2400块实现了百T/s的32B大模型推理，但唯独啃不动MoE模型。
这次我怒砸3700块，从闲鱼搞来一套带300GB/s NVLink的“双V100扩展柜”，以为N卡总不会翻车了吧？

实测下来，它猛得像头野兽：
🔥 **AI对决：** 跑14B大模型，速度2倍于4060Ti；跑32B大模型，更是把5070Ti打成幻灯片！
🎮 **游戏性能：** TimeSpy跑分12600，2K《赛博朋克2077》稳定70帧，堪比3060Ti！

然而，当我启动此行的终极目标——Qwen3 MoE模型时，现实却给了我沉重一击……
这期，我们就来硬核分析这台昔日王者的光辉与落寞，以及“捡垃圾”路上那些你不得不防的硬件和软件深坑！

（觉得视频有帮助，别忘了点赞、投币、收藏三连支持一下~）

Comments

bearqq 2025-09-19

友情提示，mi50 vllm-gfx906大佬已经支持moe架构，速度非常可观[呲牙]

♥ 134 ↩ 23

一猫之下科技 2025-09-19

[doge_金箍]

♥ 136 ↩ 16

RagnarokChan 2025-09-19

友情提醒，turing都快停经了。volta请别被js忽悠了

♥ 58 ↩ 21

mars98k 2025-09-19

用lmdeploy，可以跑awq，v100 2080ti都可以，单路输出130每秒

♥ 37 ↩ 5

吾乃天酱 2025-09-22

20系只适合跑int8模型以现在的模型生态，至少选择 30系/A架构以上的显卡，并且这个架构也只适合推理AWQ量化的模型。 40系/H架构以上的显卡，多一个 fp8精度的推理，也是现在国内模型很流行的推理精度。 50系/BW架构以上的显卡，再多一个 mxFP4精度的推理，也就是openai的gpt-oss使用的精度，也是可能是未来比较好的推理精度。

♥ 42 ↩ 1

JoveYu 2025-09-19

据小道消息，vllm-gfx906 作者买双 v100 不到两个月就卖卡跑路

♥ 36 ↩ 1

恐龙玩具 2025-09-19

²³³³³³³　　6666666666　　　太好看了 23333　　awsl ²³³³³³³³³³³　　　⁶⁶⁶⁶⁶⁶ 　 ²³³³³³³　 6　太牛了！！　　 ²³³³³³³　⁶⁶⁶⁶⁶⁶ 　　厉害了　　 ²³³³³³³³³³³ 　 66666　　太厉害了　　 66666　　 ²³³³³³³ UP牛批 ⁶⁶⁶⁶⁶ 这次一定太好康了 ² ⁿⁿ 牛批直接三连

♥ 31 ↩ 1

胡桃的C137服务器工坊 2025-09-22

没我的八卡好玩[doge_金箍]

♥ 34 ↩ 9

MinervaSSx 2025-09-19

up真的是yyds，以前玩nas的时候也看，现在玩ai了还看，哈哈。折腾区和捡垃圾区up主

♥ 22

CRComRade 2025-09-19

我第一次见到8*v100能做到2u就在想这是什么赛博坦压缩技术，打开才知道是这种形式

♥ 23 ↩ 8

松風まつかぜ 2025-09-19

感觉v100最大的两个问题就是cuda计算能力和hbm容易寄（一般来讲相对复杂推理/训练的框架往往只会支持到安培和往后的，很多东西只能用老版本跑，麻烦挺多的（这大概也是3090残值很高的原因之一吧）但还是感谢缩图老师帮我圆当时的梦了。当时很馋v100的价格和显存，但最后还是怂了.jpg （大概是第一次制裁导致3090涨价到7000的日子）[法里达_心虚]

♥ 17 ↩ 1