在配备24GB内存的M4芯片MacBook上运行本地模型
Hacker News Best1675 字 (约 7 分钟)
85
在M4芯片MacBook上使用LM Studio运行Qwen 3.5-9B(q4_k_s量化版本),可实现约40 tokens/秒推理速度,支持128K上下文和工具调用。
入选理由:Qwen 3.5-9B (q4_k_s) 在M4 Mac上以40 tokens/秒速度运行,支持128K上下文和工具使用
精选文章#LLM#本地推理#M4#Qwen#LM Studio英文
产品
别名:lmstudio
本地运行大型语言模型的桌面应用,支持多种格式如GGUF。
已收录 1 条与 LM Studio 相关的内容,按评分排序。
在M4芯片MacBook上使用LM Studio运行Qwen 3.5-9B(q4_k_s量化版本),可实现约40 tokens/秒推理速度,支持128K上下文和工具调用。
入选理由:Qwen 3.5-9B (q4_k_s) 在M4 Mac上以40 tokens/秒速度运行,支持128K上下文和工具使用