5070Ti+4060Ti双卡llama.cpp本地部署Qwen-3.8-27B-Q6.gguf

走pp的话压力全在4060ti上了，老哥要不试试apex那个mtp，老哥现在卡pcie嘛[doge]

qwen3.8我试了几种量化，速度都差不多，不管是q2还是q3，我现在用的是q4，5070ti+3070双卡，平均40t/s，试过各种启动参数，对速度的影响微乎其微，最奇怪的是，即使是q2量化，单卡也会爆显存导致一部分进内存，速度奇慢无比。

卧槽我正好有一张5070ti和一张4060ti，量身定制了属于是

♥ 1

兄弟我是5080+4070Ti SUPER担心功耗会高，，你的配置在跑的时候会顶满功耗墙吗

↩ 4

双卡搭配，速度走的是低速的那个卡。所以你是在用4060ti跑，只是内存大了一些。不如用q4量化，5070ti单卡跑了

↩ 1

现在我是2080ti 22g + 5070ti  16g 大概35ts  27b 512k上下文

↩ 6

跟我比我 5070ti + 内存 快了5ts[笑哭]

↩ 1

相比单70ti有明显提升吗

[打call]

比up差一点，我的4060TI 显存8G [笑哭]

你快别部署了，把显卡寄到南宁来给我玩一下

↩ 1

由于受到oculink显卡坞PCIE4.0x4带宽和雷电3显卡坞PCIE3.0x4带宽的双向通信带宽限制，最终输出Tokens只有15.1个每秒，换成台式机满速的PCIE5.0x16插槽速度应该还可以快一倍

↩ 8