对游凯超3小时访谈：开源Infra、和模型Co-design 、从社区到公司、“如果vLLM失败，我们会后悔一辈子”

合集 · AI的淘金年代 (14)

Description

今天我们的嘉宾是游凯超，他是创业公司Inferact联合创始人兼首席科学家——这个公司很特殊，它是从伯克利一个校园开源项目vLLM演化而来。这个社区的维护者用了将近3年时间，把它从一篇算法论文变成了一个开源社区，又变成了一个公司的正常运营。

这些维护者们放弃了大量的个人诱惑，坚持着他们所相信的开源精神。

今年初，Inferact获得了1.5亿美元的种子轮融资。我们讨论了当一个寄托着社区情怀的开源项目，变成一个商业化的组织运营之后，它所面临的抉择、转变与思考。

另外一方面，我们也非常希望在AI Infra的技术前沿上，给大家带来一些新的思路。所以我也和游凯超聊了聊，在AI Infra、模型结构，甚至Harness Engineering都要联合设计的时代背景下，多方的联合设计应该怎么做？

接下来，就是我对游凯超的访谈。

OUTLINE:
00:02:18 从算法到机器学习系统 
00:37:56 开源项目vLLM的诞生
01:07:25 “如果vLLM失败了，我们会后悔一辈子”
01:20:11 “仁慈的独裁者” 
01:37:16 从社区到创业 
01:52:56 模型与Infra的Co-design 
02:15:10 Token VS 电力
02:35:41 技术预测

LINKS：
如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。

DISCLAIMER: 本内容不作为投资建议。
CONTACT: xiaojunzhang@lisw.ai
Jump into the new world-and explore with us!😉

Comments

vllm_project 29d ago

感谢小珺邀请，录播客的时候Kimi K3还没发布，我们也没有预料到Kimi K3会这么强，但是我们依然坚定地说出了“开源模型一定会赢”的bet💪🏻 本期播客刚好紧接着Kimi K3发布，也是非常应景了[呲牙]播客里面提到了很多首次公开分享的内容，希望大家喜欢这些vLLM与Inferact成长的故事【耶】模型与Infra co-design的观点，也是一家之言，欢迎大家一起来探讨[抱拳] 想说却还没说的，还很多，下次有机会再来分享。但现在最想说的，就是我们还在持续招人！ Delivering AGI to everyone token by token is no easier than producing AGI itself. vllm is a promising ecosystem to solve the problem, and inferact is doing it well. 推理优化、推理引擎、推理系统，与大模型推理有关的Infra人才，我们都需要！来 https://jobs.ashbyhq.com/inferact 投简历，或者联系 jobs@inferact.ai ，或者找我们私聊，都可以！前沿硬件、前沿模型、前沿推理挑战，加入我们，和优秀的同学们一起弄潮🏄🏻‍♂️🏄🏻‍♂️🏄🏻‍♂️

♥ 339 ↩ 6