垃圾佬狂喜！300块的CPU+600块的计算卡？组装能跑70B模型的AI服务器是种什么体验？(浪潮SA5212M5 + 3x MI50)

合集 · AI系列 (21)

Description

哈喽大家好，我是热衷于“捡垃圾”和“瞎折腾”的司波图！ AI时代，本地服务器才是王道！这次我淘来一台二手浪潮SA5212M5服务器，搭配两颗300块的至强铂金8171M (52核104线程!) 和三张600块的AMD MI50 16G计算卡 (共48GB HBM2显存!)，目标是打造一台高性价比的NAS兼AI服务器！ 视频中你将看到：
二手服务器和配件的清洁妙招 (WD-40精密电器清洁剂立功！)
硬件组装、踩坑与排障过程 (内存、显卡点不亮？小问题！)
双路CPU性能展示 (多核性能起飞！)
三卡MI50 AI性能实测：流畅运行DeepSeek 70B (9 tokens/s)、Gemma3、QWQ、Mistral等大模型 (Ollama)；ComfyUI多实例图像生成。
Dify工作流整合应用演示 (本地AI刮削器！) 本期视频附带详细配置清单供参考！友情提示：服务器噪音功耗感人，矿卡有风险，入手需谨慎！WD-40精密电器清洁剂购买链接见评论区置顶！ 下期将演示部署细节，喜欢的朋友请务必【点赞、投币、关注】三连支持！

Comments

LV6点赞人 2025-04-15

前排提示：还是600没涨

♥ 291 ↩ 47

他的姬8岁了 2025-04-15

垃圾佬的快乐，几年间淘来的随随便便组个本地ai机器玩玩[樱花未来_哈哈哈哈][樱花未来_哈哈哈哈][樱花未来_哈哈哈哈][樱花未来_哈哈哈哈]

♥ 106 ↩ 19

傲倪枭落 2025-04-15

可惜家里没有地下室，不然搞一个机架放楼下就听不见噪音了。

♥ 103 ↩ 8

KC狐 2025-04-15

gemma3 谷咕噜自己发布了一套QAT_Q4_0量化版本,体积和计算压力和Q4_0一致但是推理精度直接超越Q5_K_S 谷咕噜自己原文写的"比肩BF16",可以直接在hf上搜到,目前只有gemma3有这个QAT 我用7900gre单卡,llama.cpp跑分可以达到25tps,实际应用因为上下文显存塞不下了只能放内存,推理速度在9-13tps左右

♥ 75 ↩ 8

杰Cisco 2025-04-16

[doge]

♥ 40 ↩ 1

jiadinglele 2025-04-15

怎么最近nas区的up都在推这个京东下单的wd40？洗主办啥的用这个其实也不是不行，但是专用的精密电子清洁剂会好很多，这个wd40太油了，会在板子上留下痕迹的

♥ 45 ↩ 12

恶人当道的时代 2025-04-15

mi50 已经涨过一次了

♥ 34 ↩ 13

天真-自在 2025-04-15

电表毁灭者（如果你没有相关方向的需求的话[doge]）

♥ 31 ↩ 5

深海爽朗 2025-04-17

一个月前左右看到这卡，搞了两张，但是这卡在部署的环境还是有很多坑，比如ESXI不支持，rocm版本被弃用，出现问题还没多少可供参考的解决方案，想用rocm不出问题，还得是最后一版的rocm5.7.1，要想跑AI可以直接安装显卡驱动再直接再安装ollama-rocm，我个人更推荐docker的ollama-rocm，之前折腾过好多版rocm和Ubuntu，有时候会输出乱码，这卡要折腾很多才能实际上能用，不会像NVIDIA那样那么简单[花园Serena_安详去世]

♥ 30 ↩ 19

K2O2233 2025-04-15

32g版本单卡的速度

♥ 26 ↩ 8

生僻字违规了吗 2025-04-15

弄两张mi 50 32g，是不是比三张16g的好

♥ 26 ↩ 13

1866886 2025-04-15

04:11 这玩意叫啥呀，啥都查不到，也买不着 ai推理加上这东西有用吗？等哪天降价了整4张32g来100多g显存不是嘎嘎乱杀

♥ 18 ↩ 23

我是灵梦蕾咪咲夜的狗 2025-04-15

我也是这台机器，目前喷到一个问题，我有两张显卡，一张无供电rx550给黑苹果用，一张rx560（后续换2070s）插在电源位上方的riser卡上，当rx550装在3槽的时候，第一次开机识别成功了，然后再重启就无法识别了，装在0槽且当中的riser卡上没有设备的时候才能识别，345槽一旦装pcle设备，显卡也无法识别，不过3.4.5槽的设备是能识别的，rx550显卡不识别是在浪潮的bmc里也看不到，而且主板也拆不下来，两个固定螺丝都拧掉了还是拆不动，cpu是两颗5120，有无大佬碰到过类似的情况

♥ 16 ↩ 4