T
traeai
登录

模型

Bonsai 27B

别名:Bonsai27B

270亿参数的移动端大模型,支持4GB内存部署

已跟踪 2 条高相关材料

TraeAI 观察

相关材料

已收录 2 条与 Bonsai 27B 相关的内容,按评分排序。

even your phone can now run a 27 billion parameter model. fully offline, no API, no bill, in under 4GB.

it is called Bonsai 27B, and it is the first model of its size to fit in your pocket.

here is how they pulled it off, and where it quietly breaks 👇

Bonsai 27B是首个可在手机上运行的270亿参数模型,通过量化与架构优化实现4GB内存部署。

入选理由:采用8位整型量化技术,模型体积压缩至4GB

精选推文#AI模型#移动端#模型压缩#量化技术英文
Hacker News Best 图标

Bonsai 27B: A 27B-Class model that runs on a phone

Hacker News Best1529 字 (约 7 分钟)
85

Bonsai 27B 是首个可在手机端运行的 27B 参数模型,通过三元和 1-bit 权重压缩技术实现 5.9GB/3.9GB 超小体积,保留 95%/90% 原始性能。

入选理由:三元 Bonsai 27B 在 5.9GB 体积下保留 95% 原始模型性能,支持完整推理与工具调用

精选文章#AI模型#手机端AI#PrismML#Bonsai 27B英文

跨材料问答 · Bonsai 27B

回答基于:Bonsai 27B 相关 2 条材料
    0 / 500

    AI 可能会生成不准确的信息,请核实重要内容