Hugging Face(@huggingface)
llama-server -hf ggml-org/gemma-4-26b-a4b-it-GGUF:Q4_K_M openclaw onboard --non-interactive \ --a...
4.0内容质量
TL;DR · AI 摘要
Hugging Face 推出在本地运行 Gemma-26B 量化模型的 llama-server 命令及 openclaw 配置示例。
核心要点
- 可通过 llama-server 加载 GGUF 格式的 Gemma-26B 量化模型
- openclaw 支持对接本地 llama.cpp API 服务
- 配置需指定自定义 API 密钥和 OpenAI 兼容模式
#llama.cpp#Gemma#GGUF#推理部署#Hugging Face
打开原文openclaw onboard --non-interactive \ --auth-choice custom-api-key \ --custom-base-url "http://127.0.0.1:8080/v1" \ --custom-model-id "ggml-org-gemma-4-26b-a4b-gguf" \ --custom-api-key "llama.cpp" \" / X
Hugging Face on X: "llama-server -hf ggml-org/gemma-4-26b-a4b-it-GGUF:Q4_K_M openclaw onboard --non-interactive \ --auth-choice custom-api-key \ --custom-base-url "http://127.0.0.1:8080/v1" \ --custom-model-id "ggml-org-gemma-4-26b-a4b-gguf" \ --custom-api-key "llama.cpp" \" / X
Don’t miss what’s happening
llama-server -hf ggml-org/gemma-4-26b-a4b-it-GGUF:Q4_K_M openclaw onboard --non-interactive \ --auth-choice custom-api-key \ --custom-base-url "http://127.0.0.1:8080/v1" \ --custom-model-id "ggml-org-gemma-4-26b-a4b-gguf" \ --custom-api-key "llama.cpp" \ --secret-input-mode plaintext \ --custom-compatibility openai \ --accept-risk
·
39
107
970
881
Read 39 replies