llamafile v0.10.5
Mozilla AI Blog709 字 (约 3 分钟)
85
llamafile v0.10.5支持本地运行6GB的Ternary Bonsai 27B和118B的Laguna-S-2.1模型,优化了量化和同步机制,提升性能与实用性。
入选理由:Ternary Bonsai 27B通过三元量化将模型压缩至6GB,保持90%以上精度
精选文章#llamafile#模型量化#MoE#本地运行#AI推理英文
模型
别名:Qwen3.6-27B
PrismML开发的三元量化模型,压缩至6GB
已跟踪 1 条高相关材料
最近变化
2026-08-05 · Ternary Bonsai 27B通过三元量化将模型压缩至6GB,保持90%以上精度
为什么值得关注
Ternary Bonsai 27B 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
已收录 1 条与 Ternary Bonsai 27B 相关的内容,按评分排序。
llamafile v0.10.5支持本地运行6GB的Ternary Bonsai 27B和118B的Laguna-S-2.1模型,优化了量化和同步机制,提升性能与实用性。
入选理由:Ternary Bonsai 27B通过三元量化将模型压缩至6GB,保持90%以上精度