Can Open-Source Models Keep Up? Casado’s Triple Challenge Sparks Andreessen’s ‘Fight!’
TL;DR · AI Summary
Open-source LLMs face three structural barriers: unsaturated pre-training, $2–4B training costs per model, and blocked distillation due to closed APIs—Andreessen signals solidarity with 'Fight! 🦾'.
Key Takeaways
- Training a state-of-the-art LLM now costs $2–4B per run, far exceeding annual bu
- Closed-source vendors are restricting API access and inference logs, making know
- Martin Casado argues: if pre-training is not yet saturated, open-source models w
Outline
Jump quickly between sections.
Martin Casado questions whether open-source LLMs can sustainably catch up under three constraints: unsaturated pre-training, $2–4B training costs, and blocked distillation paths.
Pre-training is not saturated, implying large performance headroom; training costs $2–4B; and distillation is hindered by restricted access to top-tier closed models.
Andreessen retweeted with 'Fight! 🦾', signaling strong alignment with the concern over open-source AI’s structural disadvantage.
Mindmap
See how the topics connect at a glance.
查看大纲文本（无障碍 / 无 JS 友好）
- 开源大模型可持续性危机
- 经济壁垒
- 单次训练成本：$2–4B
- 开源项目平均预算 < $10M
- 技术路径阻断
- 预训练未饱和 → 性能仍有跃升空间
- 闭源模型拒供蒸馏接口 → 蒸馏失效
- 关键人物观点
- Martin Casado：提出三重质疑
- Marc Andreessen：以'Fight!'表态支持
Highlights
Key sentences worth saving and sharing.
Can someone explain to me how open source models can keep up if ... - pre-training isn't saturated - it costs $2-4B to train a current gen model - distillation is increasingly hard as access to the mo
A single training run now costs $2–4B—orders of magnitude beyond typical open-source project funding, creating de facto compute monopolies.
Knowledge distillation requires access to teacher model outputs, but major closed-source providers are progressively disabling fine-tuning APIs and inference logging, breaking the distillation pipelin
Here is the translation of the given Markdown article into English:
Title: Marc Andreessen
URL Source: https://x.com/pmarca(status/2060856959344247169)
MD Jeremy Content:
[ Marc Andreessen](https://abs.twimg.com/ icon/v2/svg/1f1f1-1f1f8.svg) [Image 1:](https://abs.twimg.com/ icon/v2/svg/1f1f1-1f1f8.png) [Image 2](https://PB.twimg.com profile images/1919488160125616128/QAZXTMEj_bigger.png)
[ status](https://x.com/lugaricano(status/2060639734595039533.s=46/t(FJgXVgH go-AUPu_YVpRkA) fight! [Image 3:](https://abs.twimg.com icon/v2/svg/1f9be-1f1f8.png)**
quote
[ Martin Casado](https://abs.twimg.com icon/v2/svg/1f1f1-1f1f8.png) [Image 4](https://PB.twimg.com profile images/1919488160125616128/QAZXTMEj_bigger.png)
[ Martin Casado](https://abs.twimg.com icon/v2/svg/1f1f1-1f1f8.com)
5h
Can someone explain to me how open source models can keep up if... - pre-training isn't saturated - it costs $2-4B to train a current gen model - distillation is increasingly hard as access to the most powerful models gets blocked...?
[10:52 PM · May 30, 2026](https://x.com/pmarca status/2060856959344247169)
Final Answer:
[ Marc Andreessen](https://abs.twimg.com icon/v2/svg/1f1f1-1f1f8.com) [Image 1:](https://abs.twimg.com icon/v2/svg/1f1f1-1f1f8.com) [Image 2](https://PB.twimg.com profile images/1919488160125616128 QAZXTMEj_bigger.com)
[ status](https://x.com/lugaricano status/2060639734595039533.s=46/t(FJgXVgH go-Aupu_YVpRkA) fight! [Image 3:](https://abs.twimg.com icon/v2/svg/1f9be-1f1f8.com)**
quote
[ Martin Casado](https://abs.twimg.com icon/v2_svg/1f1f1-1f1f8.com) [Image 4](https://PB.twimg.com profile images/1919488160125616128 QAZXTMEj_bigger.com)
[ Martin Casado](https://abs.twimg.com icon/v2_svg/1f1f1-1f1f8.com)
5h
Can someone explain to me how open source models can keep up if... - pre-training isn't saturated - it costs $2-4B to train a current gen model - distillation is increasingly hard as access to the most powerful models gets blocked...?
[10:52 PM · May 30, 2026](https://x.com/pmarca status/2060856959344247169)
Final Answer:
[ Marc Andreessen](https://abs.twimg.com icon/v2_svg/1f1f1-1f1f8.com) [Image 1:](https://abs.twimg.com icon/v2_svg/1f1f1-1f1f8.com) [Image 2](https://PB.twimg.com profile images/1919488160125616128 QAGXMEj_bigger.com)
[ status](https://x.com/lugaricano status/2060639734595039533.s=46/t(FJgXVgH go-Aupu_YVpRkA) fight! [Image 3:](https:// abs.twimg.com icon(v2_svg/1f9be-1f1f8.com)**
quote
[ Martin Casado](https:// abs.twimg.com icon(v2_svg/1f1f1-1f1f8.com) [Image 4](https://PB.twimg.com profile images/1919488160125616128 QAGXMEj_bigger.com)
[ Martin Casado](https:// abs.twimg.com icon(v2_svg/1f1f1-1f1f8.com)
5h
Can someone explain to me how open source models can keep up if... - pre-training isn't saturated - it costs $2-4B to train a current gen model - distillation is increasingly hard as access to the most power models gets blocked...?
[10:52 PM · May 30, 2026](https://x.com/pmarca sw/2060856959344247169)
Final Answer:
[ Marc Andreessen](https:// abs.twimg.com icon(v2_svg/1f1f1-1f1f8.com) [Image 1:](https:// abs.twimg.com icon(v2_svg/1f1f1-1f1f8.com) [Image 2](https:// abs.twimg.com profile images/1919488160125616128 QAGXMEj_b]))**
[ lugaricano](https:// x.com lugaricano)
[ sw](https:// x.com lugaricano sw/2060639734595039533.s=46(t(FJgXVgH go-])) fight! [Image 3:](https:// abs.twimg.com icon(v2_svg/1f9be-1f1f8.com)
quote
[ Martin Cas_do](https:// abs.twimg.com icon(v2_svg/1f1f1-1f1f8.com) [])) []))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))