Simon Willison's Weblog
ttok 1.0
8.5内容质量
TL;DR · AI 摘要
ttok 1.0发布，解决默认使用GPT-4 tokenizer问题，实验证明GPT-5/6可能共享相同tokenizer。
核心要点
- ttok 1.0默认切换为GPT-5/6 tokenizer
- GPT-5.5到6.0的7个模型token数均一致为44,794
- William Liu实验确认GPT-5/6 tokenizer兼容性
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- ttok 1.0发布
- 核心功能
- token计数与截断
- 技术细节
- GPT-5/6 tokenizer分析
- 44,794 token一致性验证
- 版本迭代
- 从GPT-4切换到GPT-5/6
金句 / Highlights
值得收藏与分享的关键句。
All seven GPT models... match each other on every one of the 31 fixtures.
I figured switching the default was a reasonable excuse to finally ship a 1.0.
GPT-6 introduces no input-count change on this corpus.
#ttok#tokenizer#GPT#AI工具
打开原文发布：ttok 1.0
Simon Willison的博客
通讯
#smallhead
由以下公司赞助：
Deepgram — Flux TTS能够记住对话内容，因此您的代理在第20次回复时依然准确无误。
试听演示
2026年10月9日
发布
ttok 1.0
— 基于token计数和截断文本
我发布了ttok 0.4，运行uv tool升级ttok，将文件导入新版本...然后意识到它默认使用了GPT-4的分词器，而显然应该默认使用GPT-5/GPT-6！
我认为切换默认设置是一个合理的理由，终于可以发布1.0版本。
OpenAI尚未确认GPT-6是否使用与GPT-5系列相同的分词器——对此有一个愤怒的issue——但我在William Liu的提交中发现了一个实验报告，确认分词器可能相同：
所有七个GPT模型（5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna）都报告了44,794个token，并在31个测试用例中的每一个上相互匹配。GPT-6在此语料库上没有引入任何输入计数的变化。
发布时间
2026年10月9日 00:34
最新文章
- Claude Haiku 5.5 - 2026年10月7日
- 我们需要在几乎所有事物上设置默认的硬预算上限 - 2026年10月3日
- OpenAI DevDay 2026实时博客 - 2026年9月29日
#primary
这是Simon Willison于2026年10月9日发布的一篇博客。
projects
556
ai
2,271
openai
474
generative-ai
2,013
llms
1,979
tokenization
15
月度简报
以每月10美元赞助我，您将获得本月最重要的LLM进展精选邮件摘要。
支付我以发送更少的邮件！
赞助并订阅
.metabox
#secondary
#wrapper
- 披露信息
- 附录
- ©
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026