42章经播客47:29

一个人、两周、数百美元，如何训出登顶 Hugging Face 的模型 | 对谈研究员逯雨鑫

8.5内容质量
一个人、两周、数百美元，如何训出登顶 Hugging Face 的模型 | 对谈研究员逯雨鑫

播客收听

时长 47:29原播客页面

问这期播客

会先在本集摘要、章节、转录和笔记里找答案。

TL;DR · AI 摘要

逯雨鑫仅用2周和数百美元训练出登顶Hugging Face的模型，揭示个人开发者训练模型的可行性与主权AI的未来趋势。

核心要点

  • 个人开发者训练模型成本可控制在数百美元，无需AI Lab背景
  • 数据工程是模型训练最大的卡点，需解决Capacity Gap问题
  • 主权AI可能成为应用公司标配，AI Lab与应用公司分工将重构

结构提纲

按章节快速跳转。

  1. §引言

    介绍逯雨鑫用低成本训练模型并登顶Hugging Face Model Trending榜的背景。

  2. ·训练模型的实操经验

    详细解析训练成本、Pipeline设计、数据工程难点及蒸馏路线选择。

  3. ›数据工程挑战

    讨论数据来源、配比、Capacity Gap问题及合成数据的局限性。

  4. ·对主权AI的思考

    分析主权AI普及门槛、应用公司与AI Lab的未来分工及Local AI机会。

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • 个人开发者训练模型与主权AI
    • 训练实践
      • 低成本方案
      • 数据工程难点
      • 蒸馏路线选择
    • 未来趋势
      • 主权AI普及
      • 应用公司角色转变
      • Local AI机会

金句 / Highlights

值得收藏与分享的关键句。

章节

  1. 要点

    个人开发者训练模型成本可控制在数百美元，无需AI Lab背景

    个人开发者训练模型成本可控制在数百美元，无需AI Lab背景

  2. 要点

    数据工程是模型训练最大的卡点，需解决Capacity Gap问题

    数据工程是模型训练最大的卡点，需解决Capacity Gap问题

  3. 要点

    主权AI可能成为应用公司标配，AI Lab与应用公司分工将重构

    主权AI可能成为应用公司标配，AI Lab与应用公司分工将重构

转录

这期还没有可搜索转录。后续抓到带时间戳的内容后会自动补到这里。

#AI训练#Hugging Face#数据工程#主权AI

节目笔记

一个人、两周、数百美元，如何训出登顶 Hugging Face 的模型 | 对谈研究员逯雨鑫 - 42章经 | 小宇宙 - 听播客，上小宇宙

活动预告🥳：9 月 12 日，我们会请到雨鑫做一场线上活动，大家记得翻到 shownotes 末尾查看报名信息！

最近硅谷有了新热点：主权 AI 和 Personal Intelligence。简单来说，就是很多人开始相信，未来会有越来越多的应用公司和个人，训练自己的模型。

对绝大多数人来说，训练模型仍然是一件听起来遥不可及、门槛很高的事，但我们这期节目的嘉宾逯雨鑫却认为，它非常简单，简单到他此前没有 AI Lab 的经历，也不是 AI PhD，只用了 2 周和数百美元，就后训练出了两个登顶 Hugging Face Model Trending 榜首的小模型。

他具体是怎么做到的、摸索出了怎样的 Pipeline？过程中踩过哪些坑？以及无论对个人还是公司来说，训练模型最大的卡点都是数据，那么他是怎么攻克这个难题的？在蒸馏路线、数据来源上，又有哪些 secret sauce？

节目后半段，我们还进一步讨论了主权 AI、Personal Intelligence 和 Local AI 相关的各种问题，比如这些事情普及开来的门槛在哪里、未来 AI Lab 和应用公司的分工与价值会有什么变化等等。

就在一个月前，我们还在讲 AI 应用遭受的冷遇；但录完这期，我们好像又看到了应用的曙光。也许在不久的将来，越来越多的应用公司都会成为 Neo Lab，Local AI 也可能成为一个 PC 级别的机会。而拥抱模型训练和 Local AI，最好的时间可能就是现在。

希望雨鑫摸索出的实践路径，能给应用公司和个人带来一些启发。如果你还想了解更多，也欢迎报名 shownote 末尾的线上活动，来和雨鑫直接交流（尤其欢迎应用创业者！）

【人类博物馆】

导游：曲凯，42章经创始人

52 号珍藏：逯雨鑫，某知名 AI Lab 研究员；以个人开发者身份、数百美元成本微调的模型两次登顶 Hugging Face 热度榜；focus 在 post-training（蒸馏、SFT）与数据工程，近期方向为 continued pre-training

【时光机】

Part 1 训模型的实操经验

  • 01:33 非 PhD / AI Lab 背景，凭什么能训出榜一模型？
  • 03:23 训这两个模型的成本具体有多少？
  • 06:08 个人训模型的完整 Pipeline 和避坑经验
  • 11:33 最大的难点和卡点：数据 11:48 合成数据效果并不好？ 12:16 数据从哪来、具体要用多少、如何配比？
  • 15:34 数据难以提前预估效果的原因：Capacity Gap
  • 17:18 简评蒸馏的各种路线，以及到底什么叫「聪明地蒸」？
  • 20:01 自己训、自己用，性价比真的更高吗？
  • 22:10 坑最少的开源模型是？

Part 2 对主权 AI 的思考

  • 23:44 自己训模型会成为应用公司的标配吗？
  • 25:25 训模型可能会成为一件商品化的事情？
  • 27:01 应用公司反而可能会成为 Neo Lab?
  • 32:07 AI Lab 和应用公司之间的分工可能会有什么变化？
  • 33:39 现在 AI Lab 砸钱买数据，就有点像移动互联网早期字节砸钱买用户
  • 35:31 如果主权 AI 真的兴起，AI Lab 的价值会有什么变化？
  • 36:59 Local AI 会不会成为 PC 级别的机会？
  • 40:17 用户最终会不会还是希望用上 SOTA 级别的智能，而不是 Local AI？

【活动预告🥳】

9 月 12 日，我们会请到雨鑫做一场线上活动，感兴趣的朋友欢迎点击 链接 或扫描下面的二维码，一起来认识&交流！

【 The gang that made this happen】

  • 制作人：陈皮
  • 剪辑：陈皮
  • 片头：Mondo Bongo - Joe Strummer & The Mescaleros
  • 片尾：Spacemen 3 - Set Me Free (Reprise)