899元6年前矿卡逆袭！双卡AMD RADEON VII暴跑70B大模型！

radeon VII, 当时三千多买的，10001¥卖的。收我卡的老哥说：至少你曾经拥有过它，而且以一个万里挑一的价格卖出去。

♥ 585 ↩ 34

[doge]各位臭打游戏的别激动 r7只有显卡和手办两种形态 挂掉几乎没有维修的可能性

♥ 426 ↩ 18

这卡hbm暴毙就g了

♥ 199 ↩ 2

笑死，前年几百块收的特斯拉p40拿来玩画画，现在两千多出掉了哈哈哈

♥ 153 ↩ 19

HBM又称一波全带走

♥ 136 ↩ 2

Radeon VII无感，但当初售价20000+的Radeon Pro VII实在是给我馋哭了。在当初所有消费卡专业卡都在砍双精度的情况下，这玩意直接给保留了完整的1:4 FP64，再加上它的计算卡底子（毕竟也是AMD的初代AI卡HI100同款核心）以及HBM显存，它当时在科学计算模拟方面几乎是无敌的。 唯一的问题——主要是我们的问题——是它高达2w+的价格。不过这卡现在价格也下来了，前几天查淘宝好像有人不到4k在卖，而且这卡没啥矿，矿老板都去买当时的3090去了，那个要便宜得多。我觉得大家也可以去找找看。

♥ 135 ↩ 29

为什么这么执着于本地跑个残血模型 效果既差又强制要显卡，不如整点在线大模型+本地RAG之类的个人知识库什么的更有用

♥ 104 ↩ 54

up还是给咱们来套高性价比跑满血671b的方案吧[吃瓜]

♥ 89 ↩ 36

千元价位可以看下前阵子新到的大船tesla t10 16g，现在价格是1370，可以改2080ti公版涡轮散热，我改散热的时候发现pcb板式可以加显存改24G的，目前用来炼丹很不错，功耗也才150w

♥ 71 ↩ 23

首先ollama双卡速度没有加成，需要用支持张量并行的vllm 其次linux推理环境配置用gpustack会方便很多，也能通过多副本直接对比不同框架性能 最后显卡通信带宽的问题，选择带plx芯片的主板会有非常大改善。比如华硕的x99-ws，这样卡间通信能直接走plx芯片

♥ 63 ↩ 6

图哥你早说啊，我给你优惠[吃瓜]

♥ 51 ↩ 10

我买这卡纯粹就是为了玩游戏，还有看中视频补帧毕竟是最后一代GCN架构的卡。买这张卡的时候应该是狗东最后一张XFX公版自营了。 最高有矿老板1.2W收我也没卖。 因为我把自己逼成矿工了，一张蕾7一张580，110算力半年时间挖了1.2W市值的ETH，刨去电费大概净赚7000多。目前靠币市赚了小1W大概有2W左右本金。 目前这张卡除了换过两组风扇（因为挖矿时候保证散热我都把风扇拉满3850转），还在正常服役中，玩玩网游单机足够了。

♥ 49 ↩ 3

猜对了，哈哈哈哈哈

♥ 37 ↩ 2

从16g的不稳定588换成了更不稳定的雷七[tv_doge]

♥ 30 ↩ 1

当年3600买的镭7，卖了8500，外带小赚了点eth，太值了[脱单doge]

♥ 27 ↩ 4

看来很多人还是对本地部署一词有着莫名的执念，就算量化成傻子了也一定要用消费级硬件跑个不如在线api一根的残血模型，似乎本地部署了什么限制都没了，什么都更加方便了，然而在实际应用中的区别只不过是把base url换成127.0.0.1罢了[呆]说什么无需联网、隐私安全，对于个人用户来说都是莫须有的需求，人家api供应商一天成百上千万的请求，谁在意你的隐私[吃瓜]企业？企业有需求的早上服务器了还需要我们来操心？

♥ 17 ↩ 18

UP，ollama对于双卡策略是将模型拆开两段，不能跑满双卡的性能（有一张再算的时候另一张在摸鱼），用那些什么张量并行的方案应该还能再快一点

♥ 17 ↩ 6

不用看，又是一波涨价潮，之前惠普的800g3把贩子们涨爽了[doge]

♥ 17 ↩ 1

VII要涨价了[doge][doge]

♥ 14 ↩ 3

挂个逆天@吞天鼠鼠 ：《锐评为不如四张P102》《帕斯卡架构连张量核心都没有怎么并行》《P102 70B模型35Token每秒》 我这3090、2060、P104、P106、P10、M40、3070Ti、4080、4090都用过，你觉得我可能没对比过就说这玩意纯垃圾吗？ 事实就是P字头、10和16系的帕斯卡架构除了卡皇P100之外都没有完整的FP16算力，全是软件驱动兼容的，缩水几十倍的算力，跑大模型自带巨大Debuff 而且P10X系列矿卡都被老黄恶意阉割过显示接口和PCIe通道，是从GPU内部阉割的 除了P106能补电容补到PCIe 1.1 x16通道，其他的都是x4，多卡超过三卡速度就下降到比单卡还慢 传统的多卡协作是接力式的，卡1算完自己的部分给卡2，一轮一轮传下去，速度等于单卡速度+传递“草稿纸”浪费的时间，这时候没有PCIe3.0x16还不算啥 张量并行指的是模型竖着劈开，各放一部分，全部都拉满一起算，多卡算力可以叠加，代价是直接把主板的PCIe吃满，卡和卡时刻都要互相核对数据，就P104和102那1.1x4的德行基本上就告别张量并行了 至于看价格就更爆笑了 600块钱的MI50，单卡16G的HBM显存，起手26.82 TFLOPS的FP16算力 你P102两张600块钱，单卡10G显存，FP16算力 168.3 GFLOPS，差160倍【注意单位是G，人家是T】，就加一起大了4G显存 你这70B模型35Token每秒，我双3090都不一定跑的出来，你确定你这速度不是扫描上下文的速度？ 你要是2080Ti拖P10X能跑出这速度，你直接开源，人类感谢你

♥ 13 ↩ 4