昇腾950pr单卡推理ds-v4-flash,高达208tps,已开源

Description
推理代码均已开源:
https://gitcode.com/baicai-1145/ops-nn
https://gitcode.com/baicai-1145/cann-recipes-infer
https://gitcode.com/baicai-1145/ops-transformer/tree/p6-fork-1e878a0c
https://github.com/baicai-1145/sglang/tree/ascend-dsv4-950
nputop也已开源:https://github.com/baicai-1145/nputop/tree/950pr-test3

Comments

古霉菌 14d ago

好羡慕未来的垃圾佬啊,过上几十年这些卡就能成平民卡了,随手入手就能部署现在费劲搞的模型

♥ 321 ↩ 36

火然木每 16d ago

封面的卡长这样

♥ 216 ↩ 6

TwinkYou 15d ago

华子什么时候再做个atlas300iduo产品啊[doge]我要求不高,只要便宜量大能跑50t/s就行,把那个300i的lpddr4x换成lpddr6或者5x

♥ 110 ↩ 15

到恋 15d ago

这么厉害,比910 强了都5倍不止了吧。产量上来,价格合适卖给c端也会有一堆人抢了。

♥ 57 ↩ 7

春来花鸟落枝头 14d ago

赛力斯把乱投的钱,拿来买华为卡建一座20万卡的算力集群,我都觉得他分手有远见。那这20万卡可以卖算力,可以自己训练自己的大模型当卖点( ̄▽ ̄)

♥ 42 ↩ 7

泪痕敷衍不了自己 13d ago

实名羡慕了,游戏卡16GB显存开个qwen3.8 27B Q4 128K上下文都心惊胆战的。[酸了]

♥ 52 ↩ 5

Dreampen 15d ago

这才是真的受AI影响。不像隔壁,只有价格在涨[doge]

♥ 30 ↩ 3

liso_ 15d ago

卖家市场啊,华子也算是喝到风口的汤了。

♥ 24 ↩ 14

龍騰-星夜 13d ago

真好啊,我们内部都很难拿到950(不过是dt)去训练[超辉夜姬表情包_气鼓鼓]

♥ 32

yalu_ 16d ago

几个意思? 华为卡也要被炒家抬价了吗?

♥ 94 ↩ 71

芝楼 16d ago

我之前申请通过了,但是不知道为啥950pr给我收回了[星空列车与白的旅行表情包_张口闭眼]

♥ 33 ↩ 2

无名可取啦啦啦 23h ago

不是你自己说我买不起4台,然后我发了4台照片,你破防删评论么?怎么反倒说我删评论了?

↩ 3

诺可力 13d ago

ds开源了晟腾,up再更新一期

♥ 16

神鸣泽佑树 15d ago

大佬适配4.1吧,好像还没有人弄

♥ 22 ↩ 3

Observecontrol 14d ago

告诉我这一张多少钱,让我死心。

♥ 15 ↩ 3

liyunbz 16d ago

昇腾950pr 哪买啊?

♥ 34 ↩ 17

桀桀桀还差一个亿 12d ago

带宽瓶颈了,你放个4060的核心来都是这速度,还得看950DT或者960DT,9.6TB/s的单卡带宽才牛逼

♥ 12 ↩ 5

Alpha_3F3D 2d ago

这个显存大小是不是可以跑 Qwen 3.8 flash next[思考]

♥ 1 ↩ 1

崔鹤cuihe 15d ago

一百万一台 8 卡都买不到,你怎么获得的

♥ 8 ↩ 2