T
traeai
Sign in

公司

PrismML

发布 Bonsai 27B 模型的公司

已跟踪 3 条高相关材料

TraeAI 观察

相关材料

已收录 3 条与 PrismML 相关的内容,按评分排序。

1-Bit Bonsai Image 4B Image Generation for Local Devices

1-Bit Bonsai Image 4B: Image Generation for Local Devices

Hacker News Best1412 字 (约 6 分钟)
92

Bonsai Image 4B is the first 4B-parameter image model to run natively on iPhone, using 1-bit and ternary quantization to reduce memory by 6-8x and generate 512x512 images in 9.4s on mobile.

入选理由:1-bit Bonsai Image 4B 将扩散 Transformer 内存从 7.75GB 压缩至 0.93GB,压缩比达 8.3x,适合内存受限设备。

FeaturedArticle#Image Generation#Model Compression#Local Deployment#Quantization#Apple Silicon英文
将 600 亿参数大模型装进手机的瓶颈,终于被中国 AI 公司突破了

A Chinese AI company has broken the bottleneck of running a 60 billion parameter model on mobile devices using ternary quantization, saving 6x memory with minimal performance loss.

入选理由:三值量化可节省6倍显存,保留97%模型能力,支持在8GB内存手机运行600亿参数模型。

FeaturedArticle#AI Model#Ternary Quantization#Ascend Chip#Edge AI#Model Compression中文
Hacker News Best 图标

Bonsai 27B: A 27B-Class model that runs on a phone

Hacker News Best1529 字 (约 7 分钟)
85

Bonsai 27B 是首个可在手机端运行的 27B 参数模型,通过三元和 1-bit 权重压缩技术实现 5.9GB/3.9GB 超小体积,保留 95%/90% 原始性能。

入选理由:三元 Bonsai 27B 在 5.9GB 体积下保留 95% 原始模型性能,支持完整推理与工具调用

FeaturedArticle#AI模型#手机端AI#PrismML#Bonsai 27B英文

跨材料问答 · PrismML

回答基于:PrismML 相关 3 条材料
    0 / 500

    AI may generate inaccurate information. Please verify important content.