Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console

GitHub - cobanov/PS5LM：在越狱的PS5上运行llama.cpp：在主机上原生运行任何GGUF模型，从Qwen 3.8开始 · GitHub

PS5LM

你的PS5运行着语言模型。网络上的每台设备都可以使用它。在主机的GPU上运行llama.cpp，集成OpenAI和Anthropic API，并配有电视屏幕。

获取应用 · 官网 · 入门指南 · 问题反馈

新增功能：由Ollaya驱动的决策模型。现在PS5LM可以在GPU上运行类似Jev的决策模型（d1、Clef、OpenJev等），并通过与Ollaya相同的/v1/systemone API进行响应：在不到一秒的时间内生成带校准概率的文本和图像的类型安全决策。

PS5LM适合任何拥有越狱PS5并希望在家搭建私有模型服务器的用户。它将GGUF模型加载到主机的GPU上，并将其提供给你的笔记本电脑、手机和开发工具。运行时无需电脑、无需云端服务、无需账户。

Qwen 3.5 9B在PS5 Slim上响应来自笔记本电脑的请求。点击观看视频。

电视上的首页、模型、主机、API和设置。

你电视下的一台模型服务器

• 它在GPU上运行。基于llama.cpp的Vulkan后端，在主机的RDNA 2 GPU上运行，使用11.4 GB共享内存存储模型和上下文。所有llama.cpp支持的架构和量化方式均可使用。

• 它响应你的网络。支持OpenAI的/v1/chat/completions、Anthropic的/v1/messages（Claude Code可兼容）以及任意浏览器中的聊天页面。将客户端指向http://<console>:8081并使用任意模型名称：加载的模型将进行响应。

• 它也能做决策。加载决策模型后，主机可响应TypeSafe的/v1/systemone API：对文本和图像进行选择、评分和是非问题的决策，与PC上Ollaya提供的API相同。

• 它展示其工作过程。每个请求都会以聊天形式在电视上实时显示：哪个设备发起请求、请求了什么、以及正在生成的回复。按下Square键可发送演示，按下Triangle键可打开键盘，从而从沙发上直接体验主机。

• 它监控主机状态。控制台页面会绘制过去两分钟或过去一小时的温度、功率、GPU和CPU负载图表，并附有所有读数的表格。

• 它选择最合适的模型。规划器会读取每个GGUF模型，并为其分配最长的上下文和最佳的缓存，以适应可用内存。建议列表中包含在主机上测试过的模型，应用可自行从Hugging Face下载到内部存储、M.2驱动器或USB驱动器。

• 它能读取图像。带有图像投影器的模型（如Gemma 4、MiniCPM-V、d1）可在聊天和决策中处理图片。

模型 | 大小 | 在PS5 Slim上 --- | --- | --- Qwen 3.5 0.8B, Q4_K_M | 0.5 GB | 每秒207个token Qwen 3.5 9B, Q4_K_M | 5.3 GB | 每秒55个token Qwen 3.8 27B, UD-Q2_K_XL | 9.2 GB | 每秒约20个token，64k上下文 d1 Omni 600M（决策模型） | 1.1 GB | 0.3秒处理3个问题；2.9秒处理一张720p图片和7个问题

由Ollaya驱动的决策模型

Ollaya在PC上以与Ollama运行语言模型相同的方式运行开放决策模型。PS5LM将这一理念带入主机：决策模型读取状态，并在一次前向传递中回答类型安全的问题，无需生成任何文本。

curl http://
<
console
>
:8081/v1/systemone -H
'
Content-Type: application/json
'
-d
'
{
"state": "I was charged twice this month. Refund me or I cancel.",
"questions": {
"intent": {"type": "choice", "instructions": "What does the customer want?",
"criteria": {"refund": null, "information": null, "cancel": null}},
"angry":  {"type": "noul", "instructions": "Is the customer angry?"}
}
}
'

建议列表包含 d1 Omni 600M、d1 3B 和 Clef Flash。任何携带 llama.cpp 决策元数据的 GGUF 模型都会以相同方式加载，应用会将其标记为决策模型。

尝试使用

你需要 PS5 固件版本 7.00 至 13.60 的主机，已越狱并加载以下载荷：

| 载荷 | 用途 | |------|------| | kstuff-lite | 内核补丁，用于运行自制软件（必需） | | etaHEN | 自制软件支持 | | ShadowMountPlus | 将 PS5LM 添加到主屏幕（从 /data/homebrew） | | elfldr | (端口 9021) 通过 ps5-exporter 获取温度、电源和实际可用空间（推荐） | | ftpsrv | (端口 2121) 安装应用并从 PC 复制模型 |

• 从最新版本下载 ps5lm-app-vX.Y.Z.zip 并解压
• 通过 FTP 将 PPSA99575 文件夹复制到 /data/homebrew。ShadowMountPlus 会将 PS5LM 添加到主屏幕
• 打开 PS5LM，进入 Models > Suggested 获取模型。或复制 .gguf 到 /data/PS5LM/models，或连接 USB 设备到 PS5LM/models
• 加载模型。当 Home 显示 Ready 后，在浏览器中打开 http://<console>:8081，或使用 OpenAI/Anthropic 客户端连接

更新时只需覆盖旧文件夹。设置、模型和下载内容保留在 /data/PS5LM。通过编程工具（opencode, Codex, Claude Code）使用请参阅 docs/CLI.md

| 位置 | 按钮 | 功能 | |------|------|------| | 任何界面 | L1/R1 | Home、Models、API、Console、Settings | | Home | Cross | 切换模型 | | Home | Square/Triangle | 发送演示请求/输入消息 | | Models | D-pad/Cross | 选择分区和模型；加载、卸载或下载 | | Models, Search | L2/R2/Square | 修改搜索；检查文件匹配性 | | Models, Downloads | Cross/Square | 暂停/继续；取消（双击）或清除 | | Console | L2/R2 | 最近2分钟/最近1小时 | | Settings | 选择分类和行项；切换状态或从列表选择 | | Settings, Diagnostics | Square/Triangle | 应用日志/仅错误日志 |

想要深入研究？

基于 ps5-homebrew-ui 的 C++ 项目，使用 PS5_Vulkan 的 RADV 在 PS5 上运行 llama.cpp + ggml-vulkan，构建于 Linux 系统

构建指南 · 控制台说明 · 移植指南 · 研究资料 · 适配模型 · 开发路线图 · 更新日志 · 原始载荷

致谢

• abhi245y，开发了本项目所衍生的原生 GPU 应用（PS5LM Plus）
• llama.cpp 和 ggml，实际执行核心工作
• Mihawk-99，为 PS5 提供 PS5_Vulkan 和 RADV 支持，以及 patches/mesa 中驱动补丁的 PS5CEMU-HAR
• BlackBearReloaded，开发了 ps5-homebrew-ui、ps5-opengl 和 ps5-homebrew-dev-protocol；John Törnblom 提供了 SDK
• Marice，开发了应用所使用的 ps5-exporter
• Manrope（OFL）提供字体，PocketVibe 提供界面音效

遵循 GPL-3.0-or-later 协议（详见 LICENSE）。llama.cpp 保留 MIT 协议，Manrope 保留 OFL 协议。本仓库不包含任何 Sony SDK 文件、密钥、固件或模型权重

PS5LM 与 Sony Interactive Entertainment 无任何关联。"PlayStation" 和 "PS5" 是 Sony Interactive Entertainment 的注册商标