freeCodeCamp.org视频
有多少开发者真正用过百万 token 上下文窗口？
7.2内容质量
可直接观看的视频资源打开原视频
TL;DR · AI 摘要
尽管 LLM 已支持百万 token 上下文两年，实际开发中几乎无人使用，主因包括上下文衰减、成本上升及企业级数据规模远超当前上限。
核心要点
- Gemini 两年前提出了百万 token 上下文窗口，但开发者普遍限制在 200k 以内。
- 上下文衰减（context rot）和成本随 token 数线性增长是主要限制因素。
- 企业级文档数据库可达 8 万亿 token，百万窗口在绝对规模上仍杯水车薪。
结构提纲
按章节快速跳转。
尽管 LLM 已支持百万 token 上下文两年，实际使用率极低，开发者普遍仍用 200k 以内。
输入上下文越多，模型输出质量越低，这种现象称为上下文衰减（context rot）。
用户需为每个上下文 token 支付费用，主动扩大上下文等于自增成本。
企业文档数据库动辄达 8 万亿 token，百万窗口在绝对规模上毫无竞争力。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- 百万 token 上下文为何无人用？
- 技术限制
- 上下文衰减（context rot）
- 输出质量下降
- 经济成本
- 按 token 计费
- 自增使用成本
- 规模鸿沟
- 企业数据达 8 万亿 token
- 百万窗口无实质提升
金句 / Highlights
值得收藏与分享的关键句。
两年来 LLM 已支持百万 token 上下文，但没人用——大家都卡在 200k 以内。
喂给模型的上下文越多，输出质量通常越低。
我的文档数据库有 8 万亿 token——你百万窗口的 100 倍提升对我毫无意义。
#LLM#上下文窗口#AI 工程#Gemini#RAG