独家KTransformers技术实战，手把手跑通4090运行DeepSeek满血版，独家FastAPI脚本编写&Open-WebUI结合方案深度讲解

贴个复现效果。9654+4090+12*4800DDR5 8k上下文14tps

♥ 50 ↩ 23

我用6张RTX8000使用lmstudio没优化情况下粗略试了一下unsloth 的671B 2.51bit能输出13tokens左右！好像TK不支持这个版本？可以的话准备再试一下

♥ 16 ↩ 1

up能给几套推荐硬件配置吗？分别是高中低款的，并且给出大概运行速度。

♥ 11 ↩ 2

NUMA: NUMA node(s): 2 NUMA node0 CPU(s): 0-31,64-95 NUMA node1 CPU(s): 32-63,96-127 ^^^在AutoDL租的5卡VGPU,不然內存達不到450G lscpu 說是 NUMA nodes = 2, 是否該 export USE_NUMA=2 ? CPU: 60 vCPU Intel(R) Xeon(R) Platinum 8352V CPU @ 2.10GHz

♥ 10 ↩ 3

我认为还需要在不同上下文长度上测显存占用，不然16384到时候可以勉强跑，要完成32768任务的时候发现“要加钱”就尴尬了

♥ 7 ↩ 3

劳斯劳斯！能讲讲最新都NSA架构么？我看了一下top-k都选择性注意力模型很有意思！ 给每个token关联的地方赐上k值来计算k值的关联性，大幅度提高效率，准确性，大幅度降低性能！很有意思！ 而且稀疏化似乎很不错，能够有更强的纠正能力学习能力，以及强化特定的领域 我看了下觉得像是向量化模型的pro max版本和chatGPT的GPTs功能都pro max版本都集成到了一个大模型里面！[星星眼][星星眼][星星眼]

♥ 7 ↩ 1

按照清华的kt方案只能跑671b吗？比如我想跑70b小的模型，会不会kt方案没进行很好的优化呢？我想象中速度应该能快好多倍？

♥ 5 ↩ 2

非常感謝！我這幾天一直在嘗試複現ktransformers v0.3 部署R1，奈何官方建議的雙路Intel Xeon Gold 6454S價錢有點高，兩顆加起來$4W多...而且民用人家還不一定賣給你呢

♥ 4 ↩ 6

老师，我想请教一下，如果要部署671B满血版不量化的版本，用KT需要多大的显存和内存呢

♥ 4 ↩ 7

7900XTX可以本地跑满血版R1吗

♥ 3

学不完根本学不完[笑哭]老师慢点…

♥ 3 ↩ 2

并发能力怎么样

♥ 3 ↩ 2

哪位大佬给看看这个错误是啥原因？执行KTransformers的install.sh时报出来的。

♥ 2

请问一下，有没有入了他们的课的同学啊，靠谱不靠谱啊，就怕跑路了，感觉是个小公司呀

♥ 2 ↩ 2

Ktransforms团队最新版本的文档里说下一步的工作计划就是支持unsloth的动态量化，不知道什么时候能出来

♥ 2 ↩ 1

对Unsloth方案很感兴趣，Up可以出一期嘛[doge_金箍]

♥ 2 ↩ 1

机子已下单，教程来了牛逼

♥ 2 ↩ 6

老师，您好，我按照您的方法安装好后，加载到第42个进程的时候被杀掉了，我监控内存发现内存使用96.7%，使用了490G后加载被杀掉的，我想请问您一下是我部署出问题了还是这个ktransformers出的bug。

♥ 1

可以通过Vllm+ktransformer实现并发么

♥ 1