Chạy mô hình ngôn ngữ GGUF trên PlayStation 5 đã jailbreak với PS5LM

PS5LM là gì?

PS5LM là bản chuyển thể của llama.cpp dành cho PlayStation 5 đã jailbreak. Công cụ này cho phép chạy cục bộ các mô hình ngôn ngữ GGUF tương thích trên máy console thay vì thông qua dịch vụ suy luận từ xa.

Phiên bản 0.1 cung cấp một payload duy nhất có tên ps5lm.elf. Khi được nạp, payload mở thư viện mô hình trong trình duyệt PS5. Từ đó, bạn có thể tải xuống một mô hình được hỗ trợ, khởi chạy mô hình và mở cuộc trò chuyện tương tác bằng tay cầm DualSense.

PS5LM dành cho PS5 thuộc sở hữu của bạn. Bản phát hành hiện tại hỗ trợ các console đã jailbreak chạy firmware từ 7.00 đến 13.60.

Mục tiêu rộng hơn của dự án là đưa các kiến trúc và phương pháp lượng tử hóa của llama.cpp lên PS5, ban đầu sử dụng CPU Zen 2 và sau đó là GPU. Mô hình mục tiêu lớn đầu tiên là Qwen 3.8 27B, dù giới hạn bộ nhớ của payload hiện tại chỉ cho phép phiên bản 0.1 chạy các mô hình nhỏ hơn nhiều.

Tính năng chính

• Suy luận trên console: Các mô hình GGUF chạy cục bộ trên PS5.
• Thư viện trên trình duyệt: Tải xuống, khởi chạy và quản lý các mô hình được hỗ trợ từ trình duyệt của console.
• Trò chuyện tương tác: Mở giao diện trò chuyện và nhập bằng DualSense.
• Truy cập mạng: Sử dụng thư viện mô hình từ điện thoại hoặc máy tính kết nối cùng mạng.
• Dịch vụ tương thích OpenAI: Máy chủ trò chuyện trên cổng 8081 sử dụng API OpenAI.
• Tương thích llama.cpp: Bản chuyển thể được thiết kế để kế thừa khả năng hỗ trợ của llama.cpp cho các kiến trúc như Qwen, Llama, Mistral và Gemma, cùng các mức lượng tử hóa từ 1 bit đến 8 bit.
• Công cụ dành cho nhà phát triển: Kho mã nguồn bao gồm các công cụ kiểm tra bộ nhớ và luồng, tập lệnh thiết lập SDK, tập lệnh build chéo và các công cụ hỗ trợ triển khai payload.

Yêu cầu

Để cài đặt theo cách tiêu chuẩn, bạn cần:

• Một chiếc PS5 thuộc sở hữu của bạn.
• Firmware phiên bản từ 7.00 đến 13.60.
• Một phương pháp jailbreak hoạt động.
• Trình nạp payload, chẳng hạn Payload Manager từ WebKit Autoloader hoặc trình nạp ELF lắng nghe trên cổng 9021.
• Kết nối mạng nếu bạn muốn tải mô hình, nhận bản cập nhật hoặc truy cập PS5LM từ thiết bị khác.

Cài đặt PS5LM bằng Payload Manager

Payload Manager là cách cài đặt đơn giản nhất và cũng có thể cung cấp bản cập nhật PS5LM.

1. Mở Payload Manager trên console đã jailbreak.
2. Vào Settings.
3. Bật Multiple Payload Sources.
4. Thêm https://ps5lm.cobanov.dev/payloads.json làm nguồn payload.
5. Tìm PS5LM trong danh sách hiện ra.
6. Cài đặt và nạp payload.

Sau khi payload khởi chạy, trình duyệt PS5 sẽ tự động mở thư viện mô hình PS5LM.

Cài đặt payload thủ công

Nếu không muốn thêm nguồn Payload Manager, hãy tải ps5lm.elf từ bản phát hành PS5LM mới nhất.

Nạp tệp như cách bạn nạp các payload PS5 khác. Bạn có thể tải tệp lên thông qua Payload Manager hoặc gửi tệp đến trình nạp ELF như elfldr trên cổng 9021.

Tải xuống và chạy mô hình

Sau khi thư viện PS5LM xuất hiện trong trình duyệt console, quy trình cơ bản là:

1. Chọn một mô hình và nhấn Download.
2. Chờ mô hình tải xong xuống console.
3. Nhấn Run để khởi chạy mô hình.
4. Nhấn Open chat.
5. Nhập prompt bằng DualSense và gửi đi.

Các mô hình đã tải xuống được lưu tại /data/PS5LM/models.

Giới hạn mô hình và bộ nhớ hiện tại

Hiện tại, một payload chỉ có thể giữ khoảng 1,6 GB dữ liệu mô hình được khóa trong bộ nhớ mà không làm cạn kiệt tài nguyên của màn hình chính PS5. Vì vậy, danh mục tích hợp tập trung vào các mô hình nhỏ:

• Qwen3.5 0.8B: khoảng 13 đến 21 token mỗi giây.
• Qwen3.5 2B: khoảng 9 token mỗi giây.

Các mô hình lớn hơn cần một ứng dụng native thay vì kiến trúc payload hiện tại. Cụ thể, mục tiêu Qwen 3.8 27B chưa được payload phiên bản 0.1 hỗ trợ.

Truy cập PS5LM từ thiết bị khác

Bạn có thể vận hành thư viện mô hình từ điện thoại hoặc máy tính trong cùng mạng cục bộ. Trong trình duyệt, hãy mở địa chỉ IP của console trên cổng 8082. Ví dụ:

http://192.168.1.50:8082

Thay 192.168.1.50 bằng địa chỉ IP thực tế của PS5.

Dịch vụ trò chuyện chạy trên cổng 8081 và sử dụng API OpenAI. Nhờ đó, một ứng dụng tương thích OpenAI có thể giao tiếp với mô hình bằng cách sử dụng PS5 làm máy chủ, miễn là ứng dụng và console có thể kết nối với nhau qua mạng.

Thêm mô hình GGUF bằng FTP

PS5LM quét thư mục /data/PS5LM/models để tìm mô hình. Tệp GGUF được sao chép vào thư mục này qua FTP sẽ xuất hiện trong thư viện.

1. Khởi động payload máy chủ FTP trên PS5.
2. Kết nối với console từ ứng dụng FTP.
3. Tải tệp GGUF lên /data/PS5LM/models.
4. Quay lại hoặc làm mới thư viện PS5LM.
5. Chọn mô hình và chạy.

Hãy chọn các mô hình nằm trong giới hạn bộ nhớ hiện tại. Việc ở định dạng GGUF không đảm bảo mô hình đủ nhỏ để chạy trong giới hạn bộ nhớ khóa khoảng 1,6 GB của payload.

Build công cụ PS5LM từ mã nguồn

Các nhà phát triển muốn kiểm tra, chỉnh sửa hoặc triển khai bản port cần ps5-payload-dev SDK và một bản cài đặt LLVM trên máy chủ.

Cài đặt các phần phụ thuộc trên máy chủ

Trên macOS, cài đặt các gói cần thiết bằng Homebrew:

brew install llvm@21 lld socat cmake ninja

Trên Debian hoặc Ubuntu, sử dụng:

sudo apt install clang-18 lld-18 socat cmake ninja-build

Sao chép và chuẩn bị kho mã

Phần phụ thuộc llama.cpp được tích hợp dưới dạng Git submodule, vì vậy hãy sao chép kho mã theo cách đệ quy:

git clone --recursive https://github.com/cobanov/PS5LM
cd PS5LM
scripts/setup-sdk.sh
source scripts/env.sh

Tập lệnh thiết lập SDK, còn scripts/env.sh cấu hình môi trường shell hiện tại cho dự án.

Biên dịch probe và các công cụ llama.cpp

make -C probes/memprobe
scripts/build-llama.sh

Lệnh đầu tiên biên dịch probe bộ nhớ Phase 0. Lệnh thứ hai biên dịch chéo llama-cli, llama-server và llama-bench cho PS5.

Chạy bản dựng phát triển trên console

Đối với quy trình này, PS5 phải có trình tải ELF đang lắng nghe trên cổng 9021. Kho mã cung cấp các tập lệnh để lưu trữ trang khai thác, cấu hình payload hỗ trợ và gửi tệp ELF.

scripts/host-relapse.sh
export PS5_HOST=192.168.1.50
scripts/console-setup.sh
scripts/send.sh probes/memprobe/memprobe.elf

Đặt PS5_HOST thành địa chỉ IP của console. Probe bộ nhớ truyền kết quả về máy chủ, đồng thời ghi kết quả vào /data/PS5LM/memprobe.txt trên console.

Chạy các lệnh llama.cpp

Khi ftpsrv đang chạy trên cổng 2121, scripts/run.sh có thể tải lên một công cụ llama.cpp đã biên dịch và khởi chạy công cụ đó với các đối số.

Trước tiên, hãy sao chép một mô hình GGUF tương thích vào /data/PS5LM/models bằng FTP hoặc USB. Sau đó chạy prompt với llama-cli:

scripts/run.sh llama-cli -m /data/PS5LM/models/model.gguf -p "Hello from a PS5" -n 64

Để khởi động máy chủ trên tất cả giao diện mạng của console tại cổng 8081, hãy chạy:

scripts/run.sh llama-server -m /data/PS5LM/models/model.gguf --host 0.0.0.0 --port 8081

Mẹo nâng cao

Giữ mô hình trong giới hạn payload

Khả năng hỗ trợ kiến trúc mô hình và kích thước mô hình thực tế là hai vấn đề riêng biệt. llama.cpp có thể hỗ trợ một kiến trúc và phương thức lượng tử hóa, nhưng tệp GGUF tạo ra vẫn phải nằm trong giới hạn bộ nhớ khả dụng của payload. Hãy tham khảo tài liệu mô hình và danh mục hiện tại của dự án trước khi truyền các tệp lớn.

Sử dụng máy chủ cho các máy khách từ xa

Đối với các tích hợp, hãy chạy llama-server với --host 0.0.0.0 và kết nối qua cổng 8081. Giữ PS5 và máy khách trong cùng một mạng đáng tin cậy, đồng thời xác nhận rằng cài đặt mạng cục bộ không chặn cổng này.

Tách biệt quy trình cho người dùng cuối và nhà phát triển

Đối với việc sử dụng thông thường, thư viện trình duyệt là lựa chọn trực tiếp nhất. Quy trình probe, FTP, biên dịch chéo và scripts/run.sh chủ yếu hữu ích để kiểm thử bản dựng, thu thập thông tin console, benchmark hoặc thử nghiệm các công cụ llama.cpp.

Tìm hiểu cấu trúc kho mã

• third_party/llama.cpp chứa submodule llama.cpp thượng nguồn đã được cố định phiên bản.
• ps5/compat triển khai một số ít hàm libc bị thiếu trên console.
• patches/ chứa các thay đổi mã nguồn llama.cpp dành riêng cho PS5.
• probes/ chứa memprobe và threadprobe.
• scripts/ chứa các công cụ hỗ trợ SDK, biên dịch chéo, thiết lập và triển khai.
• docs/ chứa lộ trình, hướng dẫn về mô hình tương thích, ghi chú chuyển port, hướng dẫn cho console và các nghiên cứu.

Kết luận

PS5LM cho phép chạy cục bộ các mô hình ngôn ngữ GGUF nhỏ trên PS5 đã jailbreak được hỗ trợ thông qua giao diện trình duyệt thuận tiện. Hãy bắt đầu bằng cách cài đặt Payload Manager và duyệt danh mục mô hình. Nếu cần nhiều quyền kiểm soát hơn, hãy sử dụng bản dựng từ mã nguồn, FTP, các công cụ dòng lệnh, probe và máy chủ tương thích OpenAI để khám phá llama.cpp trên console.

PS5LM được cấp phép theo GPL-3.0-or-later, trong khi llama.cpp vẫn giữ giấy phép MIT. Dự án không bao gồm tệp SDK của Sony, khóa, firmware hoặc trọng số mô hình, và không liên kết với Sony Interactive Entertainment hay Alibaba.