重写万行代码+重构项目结构，KTransformers最新V0.24版部署与调用实战！首次实现并发运行DeepSeek R1&V3+OpenAI风格API调用！

我跑：BUG满天飞 大佬跑：BUG给我乖乖站好

♥ 13

满血，你就说是不是 大于100b的吧

♥ 9 ↩ 5

40token，如果一个人用能跑满这速度，还是蛮爽的，就是这一套下来十万块以内能搞定么？

♥ 7 ↩ 6

技术才是第一生产力，自从学上大模型对这句话就深有感触。以前谁能想到硬件要求能那么低

♥ 5

之前刚在社群里求教学，现在就看到了！感谢九天老师！！

♥ 5 ↩ 1

40token是4个并发，平均一个10token

♥ 3 ↩ 1

老师我现在也是在应公司这边的需求想部署一个本地的DeepSeek，但是团队规模比较小（10人左右）也不会有太高预算（10w以内），但是需要做专业领域的推理，现在对KTransformers部署方案很感兴趣，想问一下KTransformers部署ds的话是不是不支持微调啊，然后在这样的需求下CPU需要用到什么级别的呢

♥ 3

哪位大佬看一下报错： from ktransformers.server.balance_serve.settings import sched_ext File "/home/liu/miniconda/envs/kt/lib/python3.11/site-packages/ktransformers/server/balance_serve/settings.py", line 13, in <module> import sched_ext ModuleNotFoundError: No module named 'sched_ext'

♥ 3 ↩ 9

优秀

♥ 3 ↩ 1

为什么这个版本对内存要求高了，之前不是60G内存就可以吗

♥ 3 ↩ 1

KT牛逼！九天老师牛逼！

♥ 3 ↩ 1

哇，沙发

♥ 3 ↩ 1

有用win10安装ktv0.24成功吗

♥ 2 ↩ 2

为什么我装不了libaio1这个包啊 Package libaio1 is not available, but is referred to by another package. This may mean that the package is missing, has been obsoleted, or is only available from another sourceE: Package 'libaio1' has no installation candidate

♥ 2 ↩ 1

您好 60g内存的那个在c++和python的接口处有问题 Python传递了6个参数 而c要接受7个 moe模块出问题了 在线等修改[脱单doge]

♥ 2

怎么情况？

♥ 1

可惜还不支持CPU-only的推理？想利用kTransformers的加速能力

♥ 1

老师团队里是有很多能人的[打call]

♥ 1