# Introducing talkie: a 13B vintage language model from 1930

Canonical URL: https://www.traeai.com/articles/38e9712c-1ded-4c39-a989-6528a39dbf55
Original source: https://simonwillison.net/2026/Apr/28/talkie/#atom-everything
Source name: Simon Willison's Weblog
Content type: article
Language: 英文
Score: 9.0
Reading time: 4 分钟
Published: 2026-04-28T02:47:42+00:00
Tags: LLM, AI, NLP, 机器学习

## Summary

介绍 talkie，一个基于 1930 年前文本训练的 13B 语言模型，探索历史数据对现代 AI 的影响。

## Key Takeaways

- talkie 使用完全过版权保护期的数据训练，避免了数据污染问题。
- 研究目标包括预测未来事件、发明新概念以及学习编程能力。
- 通过现代 LLM 辅助微调，但团队希望最终实现完全自举的训练流程。

## Citation Guidance

When citing this item, prefer the canonical traeai article URL for the AI-readable summary and include the original source URL when discussing the underlying source material.