Endesha Miundo ya Lugha ya GGUF kwenye PlayStation 5 Iliyofunguliwa kwa PS5LM

PS5LM ni nini?

PS5LM ni toleo la llama.cpp lililoundwa kwa ajili ya PlayStation 5 iliyofunguliwa. Huruhusu miundo ya lugha ya GGUF inayooana kuendeshwa moja kwa moja kwenye kiweko badala ya kutumia huduma ya mbali ya uendeshaji wa makisio.

Toleo la 0.1 linatoa payload moja inayoitwa ps5lm.elf. Inapopakiwa, hufungua maktaba ya miundo kwenye kivinjari cha PS5. Kutoka hapo, unaweza kupakua muundo unaotumika, kuuanzisha na kufungua gumzo shirikishi linalodhibitiwa kwa DualSense.

PS5LM imekusudiwa kutumiwa kwenye PS5 unayomiliki. Toleo la sasa linaunga mkono vikonzo vilivyofunguliwa vinavyotumia firmware 7.00 hadi 13.60.

Lengo pana la mradi ni kuleta usanifu na quantization za llama.cpp kwenye PS5, mwanzoni kwa kutumia CPU yake ya Zen 2 na hatimaye GPU yake. Lengo lake kuu la kwanza la muundo ni Qwen 3.8 27B, ingawa mipaka ya sasa ya kumbukumbu ya payload inaifanya toleo la 0.1 liwe na uwezo wa kutumia miundo midogo zaidi pekee.

Vipengele muhimu

• Uendeshaji kwenye kiweko: Miundo ya GGUF huendeshwa moja kwa moja kwenye PS5.
• Maktaba inayotumia kivinjari: Pakua, anzisha na udhibiti miundo inayotumika kutoka kwenye kivinjari cha kiweko.
• Gumzo shirikishi: Fungua kiolesura cha gumzo na uandike kwa kutumia DualSense.
• Ufikiaji wa mtandao: Tumia maktaba ya miundo kutoka kwenye simu au kompyuta iliyounganishwa kwenye mtandao huo huo.
• Huduma inayooana na OpenAI: Seva ya gumzo kwenye port 8081 hutumia API ya OpenAI.
• Uoanifu wa llama.cpp: Toleo hili limeundwa kurithi usaidizi wa llama.cpp kwa usanifu kama Qwen, Llama, Mistral na Gemma, pamoja na quantization za biti 1 hadi biti 8.
• Zana za wasanidi: Hazina hii inajumuisha zana za kuchunguza kumbukumbu na nyuzi, hati za kusanidi SDK, hati za uundaji wa mifumo tofauti na wasaidizi wa kupeleka payload.

Mahitaji

Kwa usakinishaji wa kawaida, unahitaji:

• PS5 unayomiliki.
• Firmware ya toleo la 7.00 hadi 13.60.
• Jailbreak inayofanya kazi.
• Kipakiaji cha payload, kama vile Payload Manager kutoka WebKit Autoloader au kipakiaji cha ELF kinachosikiliza kwenye port 9021.
• Muunganisho wa mtandao ikiwa unataka kupakua miundo, kupokea masasisho au kufikia PS5LM kutoka kwenye kifaa kingine.

Sakinisha PS5LM kwa kutumia Payload Manager

Payload Manager ndiyo njia rahisi zaidi ya usakinishaji na inaweza pia kutoa masasisho ya PS5LM.

1. Fungua Payload Manager kwenye kiweko kilichofunguliwa.
2. Nenda kwenye Settings.
3. Washa Multiple Payload Sources.
4. Ongeza https://ps5lm.cobanov.dev/payloads.json kama chanzo cha payload.
5. Tafuta PS5LM kwenye orodha inayoonekana.
6. Sakinisha na upakie payload.

Baada ya payload kuanza, kivinjari cha PS5 kinapaswa kufungua maktaba ya miundo ya PS5LM kiotomatiki.

Sakinisha payload mwenyewe

Ikiwa hutaki kuongeza chanzo cha Payload Manager, pakua ps5lm.elf kutoka kwenye toleo jipya zaidi la PS5LM.

Pakia faili hilo kama unavyopakia payload nyingine ya PS5. Unaweza kulipakia kupitia Payload Manager au kulituma kwa kipakiaji cha ELF kama vile elfldr kwenye port 9021.

Pakua na uendeshe muundo

Maktaba ya PS5LM inapoonekana kwenye kivinjari cha kiweko, mchakato wa msingi ni:

1. Chagua muundo na ubonyeze Download.
2. Subiri muundo ukamilishe kupakuliwa kwenye kiweko.
3. Bonyeza Run ili kuanzisha muundo.
4. Bonyeza Open chat.
5. Ingiza prompt kwa kutumia DualSense na uitume.

Miundo iliyopakuliwa huhifadhiwa chini ya /data/PS5LM/models.

Mipaka ya sasa ya miundo na kumbukumbu

Kwa sasa payload inaweza kuweka takriban GB 1.6 pekee za data ya muundo ikiwa imefungwa kwenye kumbukumbu bila kuinyima skrini ya mwanzo ya PS5 rasilimali. Kwa hiyo katalogi iliyojengewa ndani inalenga miundo midogo:

• Qwen3.5 0.8B: takriban tokeni 13 hadi 21 kwa sekunde.
• Qwen3.5 2B: takriban tokeni 9 kwa sekunde.

Miundo mikubwa inahitaji programu asili badala ya usanifu wa sasa wa payload. Hasa, muundo lengwa wa Qwen 3.8 27B bado hautumiki na payload ya toleo la 0.1.

Fikia PS5LM kutoka kwenye kifaa kingine

Unaweza kuendesha maktaba ya miundo kutoka kwenye simu au kompyuta iliyo kwenye mtandao huo huo wa ndani. Kwenye kivinjari, fungua anwani ya IP ya kiweko kwenye port 8082. Kwa mfano:

http://192.168.1.50:8082

Badilisha 192.168.1.50 na anwani halisi ya IP ya PS5 yako.

Huduma ya gumzo huendesha kwenye port 8081 na hutumia API ya OpenAI. Hii huruhusu mteja anayeoana na OpenAI kuwasiliana na muundo kwa kutumia PS5 kama seva yake, mradi mteja na kiweko viweze kufikiana kupitia mtandao.

Ongeza muundo wa GGUF kwa kutumia FTP

PS5LM huchanganua /data/PS5LM/models kutafuta miundo. Faili la GGUF lililonakiliwa kwenye saraka hii kupitia FTP litaonekana kwenye maktaba.

1. Anzisha payload ya seva ya FTP kwenye PS5.
2. Unganisha kwenye kiweko kutoka kwa mteja wa FTP.
3. Pakia faili la GGUF kwenye /data/PS5LM/models.
4. Rudi kwenye au onyesha upya maktaba ya PS5LM.
5. Chagua muundo na uuendeshe.

Chagua miundo inayotoshea ndani ya kikomo cha sasa cha kumbukumbu. Kuwa katika umbizo la GGUF pekee hakuhakikishi kuwa muundo ni mdogo vya kutosha kuendeshwa ndani ya kikomo cha takriban GB 1.6 cha kumbukumbu iliyofungwa na payload.

Jenga zana za PS5LM kutoka kwenye msimbo chanzo

Watengenezaji wanaotaka kukagua, kurekebisha au kupeleka port wanahitaji ps5-payload-dev SDK pamoja na usakinishaji wa LLVM kwenye kompyuta mwenyeji.

Sakinisha vitegemezi vya mwenyeji

Kwenye macOS, sakinisha vifurushi vinavyohitajika kwa kutumia Homebrew:

brew install llvm@21 lld socat cmake ninja

Kwenye Debian au Ubuntu, tumia:

sudo apt install clang-18 lld-18 socat cmake ninja-build

Clone na andaa hazina

Vitegemezi vya llama.cpp vimejumuishwa kama Git submodule, kwa hiyo clone hazina kwa kujumuisha submodule kwa kujirudia:

git clone --recursive https://github.com/cobanov/PS5LM
cd PS5LM
scripts/setup-sdk.sh
source scripts/env.sh

Script ya usanidi huandaa SDK, huku scripts/env.sh ikiweka mazingira ya sasa ya shell kwa ajili ya mradi.

Jenga probe na zana za llama.cpp

make -C probes/memprobe
scripts/build-llama.sh

Amri ya kwanza hujenga probe ya kumbukumbu ya Phase 0. Ya pili hujenga kwa mfumo lengwa llama-cli, llama-server na llama-bench kwa ajili ya PS5.

Endesha build za maendeleo kwenye console

Kwa mtiririko huu wa kazi, PS5 lazima iwe na kipakiaji cha ELF kinachosikiliza kwenye port 9021. Hazina hutoa script za kuhost ukurasa wa exploit, kusanidi payload za wasaidizi na kutuma faili za ELF.

scripts/host-relapse.sh
export PS5_HOST=192.168.1.50
scripts/console-setup.sh
scripts/send.sh probes/memprobe/memprobe.elf

PS5_HOST kuwa anwani ya IP ya console yako. Probe ya kumbukumbu hutuma matokeo yake kwa mwenyeji na pia kuyaandika kwenye /data/PS5LM/memprobe.txt kwenye console.

Endesha amri za llama.cpp

Wakati ftpsrv ikiendesha kwenye port 2121, scripts/run.sh inaweza kupakia zana ya llama.cpp iliyojengwa na kuianzisha ikiwa na hoja.

Kwanza, nakili modeli ya GGUF inayooana kwenye /data/PS5LM/models ukitumia FTP au USB. Kisha endesha prompt kwa llama-cli:

scripts/run.sh llama-cli -m /data/PS5LM/models/model.gguf -p "Hello from a PS5" -n 64

Ili uanzishe seva kwenye violesura vyote vya mtandao vya console kwenye port 8081, endesha:

scripts/run.sh llama-server -m /data/PS5LM/models/model.gguf --host 0.0.0.0 --port 8081

Vidokezo vya hali ya juu

Weka modeli ndani ya kikomo cha payload

Usaidizi wa usanifu wa modeli na ukubwa wa modeli unaowezekana kivitendo ni masuala mawili tofauti. llama.cpp inaweza kuunga mkono usanifu na quantization fulani, lakini GGUF inayotokana bado lazima itoshee kwenye kumbukumbu inayopatikana kwa payload. Tumia nyaraka za modeli za mradi na katalogi ya sasa kama mwongozo kabla ya kuhamisha faili kubwa.

Tumia seva kwa wateja wa mbali

Kwa miunganisho, endesha llama-server ikiwa na --host 0.0.0.0 na uunganishe kupitia port 8081. Weka PS5 na mteja kwenye mtandao mmoja unaoaminika, na uthibitishe kuwa mipangilio ya mtandao wa ndani haizuii port hiyo.

Tenganisha mtiririko wa mtumiaji wa mwisho na wa maendeleo

Kwa matumizi ya kawaida, maktaba ya kivinjari ndiyo chaguo la moja kwa moja zaidi. Mtiririko wa probe, FTP, cross-compilation na scripts/run.sh unafaa hasa kwa kujaribu build, kukusanya taarifa za console, kufanya benchmarking au kujaribu zana za llama.cpp.

Elewa muundo wa hazina

• third_party/llama.cpp ina submodule ya llama.cpp ya upstream iliyowekwa kwenye toleo maalum.
• ps5/compat hutekeleza seti ndogo ya vitendaji vya libc ambavyo havipo kwenye console.
• patches/ ina mabadiliko ya msimbo wa llama.cpp mahususi kwa PS5.
• probes/ ina memprobe na threadprobe.
• scripts/ ina wasaidizi wa SDK, cross-build, usanidi na upelekwaji.
• docs/ ina ramani ya barabara, mwongozo wa modeli zinazooana, maelezo ya porting, maagizo ya console na utafiti.

Hitimisho

PS5LM huwezesha kuendesha modeli ndogo za lugha za GGUF ndani ya PS5 iliyovunjwa ulinzi na inayooana, kupitia kiolesura rahisi cha kivinjari. Anza kwa usakinishaji wa Payload Manager na katalogi ya modeli. Ikiwa unahitaji udhibiti zaidi, tumia build kutoka kwenye chanzo, FTP, zana za mstari wa amri, probe na seva inayooana na OpenAI ili kuchunguza llama.cpp kwenye console.

PS5LM imepewa leseni chini ya GPL-3.0-or-later, huku llama.cpp ikiendelea kutumia leseni yake ya MIT. Mradi huu haujumuishi faili za Sony SDK, funguo, firmware au uzani wa modeli, na hauhusiani na Sony Interactive Entertainment au Alibaba.