“榨”出硅的极限：怎么让GPU不“闲着”？｜与SGLang、RadixArk深聊AI Infra技术与千亿美元市场

合集 · 人工智能专辑 (56)

Description

OpenAI、谷歌、Deepseek...各大AI前沿模型最近开始了一场"造芯大战"，市场依旧缺卡缺算力，如何让手里的GPU发挥出更大价值，正在成为硅谷AI Infra（基础设施）背后千亿级的热门赛道。
当推理成为AI的主战场，GPU看似满载，却仍把大量时间耗在重复计算、缓存搬运和任务等待上。AI Infra深处，一场围绕调度与系统优化的效率革命已经开始。
为什么最昂贵的GPU仍会“又忙又闲”？AI Infra还能榨出多少藏在“硅”里的性能？当算力增长不再只靠堆卡，AI竞争的尺度会被怎样改写？这期视频，我们与推理引擎开源社区SGLang孵化出的RadixArk团队一起，深入探讨这场算力效率变革。

采访嘉宾：
朱邦华，RadixArk联合创始人、英伟达前首席研究科学家
陈震林Richard，RadixArk Member of Technical Staff 
Ethan Xu，前微软能源战略经理、突破能源科研总监"

Comments

swing-一直在摇摆 3d ago

距离翁家翌的采访其实才过去半年多，那个时候他的观点还是说gpu算子这个领域数据太少，实际上写不过人类，但是半年一过，openai自己都在用ai来优化算法效率了，不禁感叹唏嘘。

♥ 86 ↩ 11

林祎梦萌 2d ago

频道多访谈点盛颖这类对象把、搞金融投资内类人访谈信息密度太低了都是口水话比如和美团投资kimi内期^_^

♥ 2

盗亦有道121 3d ago

看硅谷101炒股

♥ 20 ↩ 4

蓝色空間前进四 3d ago

勘误 17:15 串行(xíng)解码，串行与并行是计算机中的一对相对的概念

♥ 11 ↩ 1

chuaxiansku 3d ago

电厂或成最大赢家.

♥ 7 ↩ 1

总结猫 1d ago

@天行踺，喵，感谢召唤，总结猫来咯 [妙啊] AI行业焦点正从模型训练转向推理部署，推理需求爆发性增长与算力成本高企构成核心矛盾。全球科技巨头持续投入数据中心，但单纯增加硬件面临泡沫风险与物理限制，因此提升现有GPU利用率成为关键，催生了名为“AI基础设施（AI Infra）”的千亿级新兴市场。 GPU利用率低下的根源在于AI系统存在多级瓶颈。CMU研究显示，在推理场景中，约20%的执行时间与高达65%的能耗被浪费在等待上。这种闲置发生在四层架构中：电力与硬件（底层）的优化空间见顶且周期长，而系统软件与服务编排（上层）的工程优化能带来数倍性能提升，成为创新焦点。例如，一台400万美元的服务器若利用率仅50%，等同于浪费200万美元。当前优化主要针对四个问题：计算重复、等待、算力未满、资源未调度。核心策略包括：1）KV缓存复用，如SGLang的RadixAttention通过共享前缀树结构，实现跨请求缓存复用，大幅减少重复计算；2）采用连续批处理，使GPU保持满载，吞吐量提升2-4倍；3）预填充与解码分离（PD分离），让不同计算阶段使用最优硬件，互不干扰；4）通过低精度计算与投机采样，进一步释放算力潜力。这些优化高度依赖推理引擎。开源框架SGLang和VLLM成为中小团队的支柱，推动了行业效率革命。它们与芯片厂商进行深度联合调优，实现硬件发布即获得“Day Zero”支持，性能被挖掘至极致。这使得SGLang孵化出的公司Red Arch获得英伟达、AMD等芯片巨头及OpenAI联合创始人等顶级资本的青睐。同时，强化学习（RL）等新训练范式对基础设施提出新要求，需要在一个系统内协同训练与推理。由此诞生的训练框架如Mosé，与SGLang配合，形成了高效的后训练闭环。最终，开源推理引擎正演变为AI时代的“操作系统”，连接模型与芯片。其商业化降低了AI部署门槛，使得前沿模型能力不再是大公司的专属，为更多创新者提供了可能。这标志着AI基础设施正从私有资源转向可共享的公共品，其效率革命是支撑AI可持续发展的关键。 (提示：评论区字数有限，可在本条下继续追问。)

板面这一块嗷 3d ago

算力利用率这块确实被低估了设备端先吃红利我拿的南方信息创新重仓拓荆华海清科近一月跌得多但看的是国产替代长逻辑

♥ 5

GPT等AI订阅-可开票30 1d ago

❖AI最实用的是降低尝试成本❖

♥ 1

Ai好记总结助手 2d ago

📝总结一下：1. AI行业竞争焦点转向推理加速，模型部署阶段需解决更快、更便宜的运行需求，成为企业核心战场。 2. GPU利用率普遍偏低，研究显示近20%执行时间因系统瓶颈空转，推理场景能耗浪费高达65%。 3. AI基础设施四层架构中，软件层优化潜力最大，通过调度与算法改进可释放数倍性能提升。 4. 开源推理引擎（如SGLang、VLLM）通过KV缓存复用、连续批处理等技术，显著降低计算冗余与等待时间。 5. 强化学习需推理与训练协同，新框架（如MOS）解决资源竞争问题，提升后训练闭环效率。 6. 开源项目商业化加速，降低AI开发门槛，推动算力资源普惠化，激发更多创新应用。 7. 硬件厂商与软件团队深度绑定，联合优化成为释放芯片性能的关键路径。关注我，然后@我，即可总结！获取视频逐字稿和PPT就上Ai好记，aihaoji.com 使用【0sv4】邀请码注册可获得额外奖励哦

随机漫步的Jo哥 1d ago

infra的优化，在硬件性能提升面前，显得微不足道，性能优化的尽头是硬件性能提升与成本优化。

♥ 2

郄翮 16h ago

这么少的点赞关注，不合理啊

B沾官方 3d ago

3060 12g是不是有救了

♥ 3

于渊渔鱼晕 2d ago

最大的问题是对未来ai算法的升级的评估。你把架构写进硅片里，虽然省了电费但也锁死了算法的升级能力，别人用的通用架构可以随时升级算法性能很快就能超过你。如果性能升级超过了节省能耗的收益那这样做就是纯亏，哪怕节省性能的收益很高但覆盖不了硅片生产的费用也是亏。别人的通用芯片大规模生产成本可以压很低，这种小批量的ai硅片除非你能让其他ai也能用，不然就是白忙。这些ai硅片报废了都没残值只能当沙子。通用芯片服务器退役了起码我们垃圾佬还能捡来玩[doge]

♥ 2 ↩ 2