New @GoogleGemma 4 QAT (Quantization-Aware Training) checkpoints are here, so you can run models locally on consumer GPUs and mobile devices with minimal quality loss.
Google AI Developers(@googleaidevs)159 字 (约 1 分钟)
72
Google 发布了 Gemma 4 的 QAT 检查点,支持在消费级 GPU 和移动设备上以 Q4_0 GGUF 格式运行,内存占用低于 1GB,保持高质量推理。
入选理由:Gemma 4 QAT 检查点采用 Q4_0 GGUF 格式,兼容所有尺寸模型,提升本地推理性能。
精选推文#Gemma#QAT#GGUF#移动推理#量化中文
