产品
别名：General GPU Format
通用GPU格式模型文件标准
已跟踪 8 条高相关材料
最近变化
2026-08-29 · 使用MIX-STQ1_0量化方法可将1.5TB模型压缩至200GiB
为什么值得关注
GGUF 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
We compressed Hy4-preview from 1.5TB to ～200GiB GGUF and it still works well ! Meet MIX-STQ1_0.The...
Hunyuan(@TXhunyuan) · 8.5 分
腾讯团队通过MIX-STQ1_0方法将Hy4-preview模型压缩至200GiB，保持高性能且误差变化小。
A high-performance 125B model now running locally on just 75GB RAM! Thank you @UnslothAI for the day...
Qwen(@Alibaba_Qwen) · 8.5 分
Qwen3.8-Flash模型可在75GB RAM上本地运行，性能超越Claude-Opus-4.6。
EP223: Ollama vs vLLM vs SGLang
ByteByteGo Newsletter · 8.5 分
Ollama、vLLM、SGLang三大模型引擎各具优势：Ollama适合本地开发，vLLM擅长高并发服务，SGLang优化多轮对话，Claude水印技术通过概率筛选实现内容溯源。
已收录 8 条与 GGUF 相关的内容，按评分排序。
腾讯团队通过MIX-STQ1_0方法将Hy4-preview模型压缩至200GiB，保持高性能且误差变化小。
入选理由：使用MIX-STQ1_0量化方法可将1.5TB模型压缩至200GiB
Qwen3.8-Flash模型可在75GB RAM上本地运行，性能超越Claude-Opus-4.6。
入选理由：125B MoE模型通过GGUF格式实现75GB RAM本地运行
Ollama、vLLM、SGLang三大模型引擎各具优势：Ollama适合本地开发，vLLM擅长高并发服务，SGLang优化多轮对话，Claude水印技术通过概率筛选实现内容溯源。
入选理由：Ollama适用于本地开发，采用FIFO队列和GGUF压缩模型
本地AI模型在编码场景中具备可行性，但受硬件资源和工具链限制，需权衡模型规模与性能表现。
入选理由：15-25GB模型在Apple M3 Max/M5 Pro设备上运行时，RAM是核心性能瓶颈
基于Qwen3.5-9B模型的Qwythos 9B推理模型，通过5亿token的Claude思维链微调，支持1M上下文和多模态功能，量化后仅需5.2GiB显存。
入选理由：Qwythos 9B模型在5亿token的Claude思维链数据上完成全参数微调
2026年，本地运行的顶级编码模型已能胜任实际开发任务，无需依赖云端服务。
入选理由：Qwen3.6 27B MTP 模型可在 16GB-24GB VRAM 的 GPU 上运行，支持本地代理编程。
本地运行大语言模型（LLMs）可通过 llama.cpp、Ollama 和 LM Studio 等工具实现，兼顾隐私与学习。
入选理由：使用 llama.cpp 可在消费级硬件上运行大型模型，支持 4-bit 量化。
Google 发布了 Gemma 4 的 QAT 检查点，支持在消费级 GPU 和移动设备上以 Q4_0 GGUF 格式运行，内存占用低于 1GB，保持高质量推理。
入选理由：Gemma 4 QAT 检查点采用 Q4_0 GGUF 格式，兼容所有尺寸模型，提升本地推理性能。
