Sophon-Realtime v1 Inafanya kazi

Sophon-Realtime v1 ni modeli ya sauti ya duplex kamili iliyotolewa kama chanzo huria na AI Adventists, inayoweza kusikiliza na kutambua zamu za mazungumzo kwa wakati mmoja, kukatizwa wakati wowote, kuelewa sauti ya usemi, vicheko na kuvuta pumzi, kisha kujibu kwa sauti yenye hisia. Sophon-Realtime v1 ina vigezo 32B na imepata alama 82.8 katika tathmini ya sauti ya VoiceBench, ikiwa ya kwanza kati ya modeli huria za duplex kamili. Sophon-Realtime v1 inapatikana katika matoleo matatu: Tag (yenye uwezo mkubwa wa kuonyesha hisia), Flash (mwitikio wa haraka) na E2E (hakiki ya utafiti). Inaweza kutumika kwenye GPU moja ya 80GB, imepewa leseni ya Apache-2.0 na inaweza kutumika kibiashara.

Mazungumzo ya duplex kamili: husikiliza kila wakati unapozungumza, huendelea mara tu unapositisha, na husimama mara moja unapokatiza ili kujibu swali jipya.
Kuelewa sauti ya usemi: hutambua kusita, mkazo, vicheko, kuvuta pumzi, kejeli na taarifa nyingine za ziada za mawasiliano, si maana ya maneno pekee.
Kuzungumza kwa hisia: wakati wa kujibu, sauti inaweza kucheka, kuvuta pumzi, kusafisha koo na kubadilisha upumuaji kwa kawaida, badala ya kusoma maandishi tu.
Uelewa wa aina nyingi za data: ukionyesha chati au picha ya skrini, inaweza kuielewa na kuieleza kwa mdomo.
Kuita zana: inasaidia miito ya zana ya hatua nyingi (Full-Duplex-Bench v3 Pass@1 ni 48%), hivyo inaweza kutekeleza kazi.
Hali ya Live: inaendana na itifaki ya OpenAI GPT-Live na inaweza kufanya kazi pamoja na mfumo wa nyuma wa modeli kubwa.
Usambazaji wa haraka: amri moja na GPU moja ya 80GB vinatosha kuanza huduma; toleo la Flash huanza kutuma kifurushi cha kwanza baada ya sekunde 0.31 pekee.
Inaweza kurekebishwa: kwa kutumia ms-swift na LoRA, unaweza kurekebisha haiba, mtindo wa usemi, maarifa ya kikoa na tabia ya kuita zana.

Mazingira ya usakinishaji: hakikisha mfumo ni Linux + CUDA + Python 3.12, kisha endesha pip install sophon-realtime.
Kuanzisha huduma: endesha sophon-realtime serve. Mara ya kwanza itapakua kiotomatiki uzani wa Tag wa takriban 42GB; baadaye huduma itasikiliza kwenye porti 8000.
Kuita kiolesura: wasiliana na modeli kupitia ws://HOST:8000/v1/realtime (duplex kamili) au POST /v1/chat/completions (sauti kuingia, maandishi+sauti kutoka).
Kujaribu mazungumzo: endesha python client_example.py --wav 我的问题.wav --lang zh --voice vivian_zh kutuma sauti na kusikiliza jibu.
Kuunganisha hali ya Live (hiari): endesha cd sophon-realtime/live && BUILD=tag PORT=8000 LIVE_PORT=8780 bash start_live.sh kando ya injini ili kuunganisha modeli yako ya nyuma kupitia itifaki ya OpenAI GPT-Live.
Kubinafsisha kwa fine-tuning (hiari): tumia ms-swift na LoRA kwenye GPU ya 80GB, andaa data ya mazungumzo katika umbizo la jsonl (andika sauti kwenye , na ongeza lebo kama [laughter] kwenye jibu), kisha endesha amri ya swift sft ili kubadilisha haiba na maarifa ya kikoa.

Ya kwanza katika duplex kamili ya chanzo huria: imepata alama 82.8 kwenye VoiceBench, sawa na GPT-4o-mini-Audio, na kuipita modeli nyingine huria za duplex kamili kama MiniCPM-o 4.5 (76.1).
Uwezo bora zaidi wa kufikiri kwa sauti: kwenye maswali 1,000 ya kufikiri kwa sauti ya Big Bench Audio, ilijibu kwa usahihi 81.8%, ikiwa juu sana ya modeli bora ya awali ya chanzo huria Raon SpeechChat (58%).
Kuelewa sauti ya usemi: modeli ya kusikia DuplexJev ilishika nafasi ya kwanza kwa jumla katika viwango vya ziada vya mawasiliano vya LISTEN, StressTest na MSPB (48.6), ikiwa juu ya Gemini 3.8 Flash na Qwen3-Omni.
Kuzungumza kwa hisia: kwenye NVV-SuperBench, toleo la Tag limepata 0.86 kwa Kichina na 0.80 kwa Kiingereza; uigizaji wa vicheko, kuvuta pumzi na kusafisha koo unafanana zaidi na wa binadamu.
Inaweza kutekeleza kazi: Pass@1 ya kuita zana kwenye Full-Duplex-Bench v3 ni 48%, juu ya Grok (43%); inapofaa kujibu, hujibu kwa usahihi 100%.
Ni ya haraka na inahimili watumiaji wengi: toleo la Flash huanza kutuma kifurushi cha kwanza baada ya sekunde 0.31 na GPU moja inasaidia miunganisho 40 kwa wakati mmoja; toleo la Tag huchukua takriban sekunde 0.6 na linaunga mkono miunganisho 16.

Hifadhi ya GitHub: https://github.com/adventists-ai/sophon-realtime

Huduma kwa wateja yenye akili: toleo la Flash huanza kutuma kifurushi cha kwanza baada ya sekunde 0.31, linaunga mkono miunganisho 40 kwa wakati mmoja kwenye GPU moja, linaweza kuelewa hisia za mteja na kuita zana za hatua nyingi kushughulikia huduma, hivyo linafaa kwa vituo vikubwa vya simu.
Uandamani wa AI na wahusika pepe: toleo la Tag lina uwezo mkubwa zaidi wa kuonyesha hisia, linaweza kucheka na kuvuta pumzi, na linafaa kwa uandamani wa kihisia, wapenzi pepe na NPC za michezo.
Msaidizi wa sauti wa gari: duplex kamili huruhusu kuingilia wakati wowote na kujibu kwa ucheleweshaji mdogo bila neno la kuamsha; pia kuelewa sauti ya usemi kunaweza kusaidia kutathmini hali ya dereva.
Vifaa vya mwisho vya AI: teknolojia ya timu tayari imetumika katika zaidi ya bidhaa 300 za vifaa. Leseni ya Apache-2.0 inaruhusu matumizi ya kibiashara, na kuifanya ifae kuunganishwa kwenye spika, vifaa vya kuchezea, roboti na vifaa vingine.
Wakala wa sauti wa biashara: hali ya Live inaendana na itifaki ya GPT-Live; Sophon hushughulikia “kusikiliza na kuzungumza”, huku shughuli za kutafuta na kutekeleza zikikabidhiwa modeli kubwa ya nyuma, hivyo inafaa kwa huduma maalum katika benki, serikali, usafiri wa anga na sekta nyingine.