Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
Hugging Face Blog2485 字 (约 10 分钟)
85
NVIDIA与IIT Madras发布2.8万亿token印度语言预训练数据集，开源生成管道覆盖22种印度语言及罗马化文本。
入选理由：Nemotron-pretraining-Indic-v1包含2.8万亿token，覆盖印度宪法22种语言
FeaturedArticle#NVIDIA#IIT Madras#印度语言模型#预训练数据#开源工具英文