148. 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子”
播客收听
问这期播客
会先在本集摘要、章节、转录和笔记里找答案。
TL;DR · AI 摘要
开源项目vLLM的商业化与模型基础设施协同设计为AI领域提供了新思路，揭示了开源社区向企业转型的挑战与技术融合路径。
核心要点
- vLLM从论文到开源社区耗时3年，社区维护者放弃个人利益坚持开源精神。
- Inferact获得1.5亿美元种子轮，反映AI Infra领域商业化潜力。
- 模型与基础设施需联合设计，Token效率与电力成本成为关键考量指标。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 开源Infra与模型协同设计
- vLLM项目演化
- 论文→社区→公司
- 3年发展周期
- 商业化挑战
- 社区治理难题
- 技术商业化平衡
- 技术设计原则
- Token效率优化
- 电力成本控制
金句 / Highlights
值得收藏与分享的关键句。
如果vLLM失败，我们会后悔一辈子——社区维护者对项目成败的深切担忧。
仁慈的独裁者：社区治理中平衡技术决策与民主参与的特殊角色。
Token效率与电力成本的博弈：AI Infra设计需同时优化计算与能耗指标。
章节
从算法到机器学习系统
从算法到机器学习系统
开源项目vLLM的诞生
开源项目vLLM的诞生
“如果vLLM失败了，我们会后悔一辈子”
“如果vLLM失败了，我们会后悔一辈子”
“仁慈的独裁者”
“仁慈的独裁者”
从社区到创业
从社区到创业
模型与Infra的Co-design
模型与Infra的Co-design
Token VS 电力
Token VS 电力
技术预测
技术预测
转录
从算法到机器学习系统
开源项目vLLM的诞生
“如果vLLM失败了，我们会后悔一辈子”
“仁慈的独裁者”
从社区到创业
模型与Infra的Co-design
Token VS 电力
技术预测
节目笔记
148. 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子” - 张小珺Jùn｜商业访谈录 | 小宇宙 - 听播客，上小宇宙
今天我们的嘉宾是游凯超，他是创业公司Inferact联合创始人兼首席科学家—— 这个公司很特殊，是从伯克利一个校园开源项目vLLM演化而来。 这个社区的维护者用了将近3年时间，把它从一篇算法论文变成了一个开源社区，又变成了一个公司的正常运营。
这些维护者们放弃了大量的个人诱惑，坚持着他们所相信的开源精神。
今年初，Inferact获得了1.5亿美元种子轮融资。我们讨论了当一个寄托着社区情怀的开源项目，变成一个商业化的组织运营之后，它所面临的抉择、转变与思考。
另外一方面，我们也非常希望在AI Infra技术前沿上，给大家带来一些新的思路。所以我也和游凯超聊了聊，在AI Infra、模型结构，甚至Harness Engineering都要联合设计的时代背景下，多方的联合设计应该怎么做？
接下来，就是我对游凯超的访谈。
OUTLINE:
00:02:18 从算法到机器学习系统
00:37:56 开源项目vLLM的诞生
01:07:25 “如果vLLM失败了，我们会后悔一辈子”
01:20:11 “仁慈的独裁者”
01:37:16 从社区到创业
01:52:56 模型与Infra的Co-design
02:15:10 Token VS 电力
02:35:41 技术预测
LINKS：
我们的播客在 小宇宙 、 Apple Podcast 、Spotify等全音频平台播出；
我们的视频播客在 Bilibili 、 小红书 、视频号、抖音等全视频平台播出；
如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。
DISCLAIMER: 本内容不作为投资建议。
CONTACT: xiaojunzhang@lisw.ai
Jump into the new world-and explore with us! 😉