Kuelewa DeepSeek V4 × J-Space: Kutoka Diodi ya Mnyororo wa Mawazo hadi Mbinu za Uhandisi wa Benchmark

Muhtasari wa Mradi

J-Space Cognition Suite V3.6 ni mfumo wa udhibiti usiofungamana na modeli unaoendeshwa katika hatua ya uelekezaji. Haibadilishi uzito wa modeli, bali hudhibiti mzunguko mzima wa maisha ya kazi kupitia uelekezaji wa nafasi ya kazi, mwendelezo wa hali, vizuizi vya vitendo, uthibitishaji na taratibu za urejeshaji.

Makala haya yanatokana na uchunguzi wa uhandisi na rekodi za Benchmark zilizowekwa wazi na mradi. Maudhui haya ni uchunguzi wa uhandisi wa mfumo mweusi, si karatasi ya utafiti, na hayatoi uthibitisho wa mifumo ya ndani ya modeli, mbinu rasmi za uamuzi, muundo wa ablation, au mgawanyo wa mchango wa kisababishi.

Anwani ya mradi: J-Space Cognition Suite V3.6. Rekodi asilia zimetolewa chini ya leseni ya CC BY-ND 4.0.

Kuelewa Diode ya Msururu wa Mawazo

Ufafanuzi wa Kiutendaji

“Diode ya msururu wa mawazo” ni istilahi ya uhandisi inayofafanua tabia ya kikao cha mfumo mweusi. Inaashiria kwamba msururu unaoendelea wa mawazo katika kikao kimoja mara nyingi hutulia katika mojawapo ya maumbo mawili yafuatayo:

• Intuition ya mawazo mafupi: Uamuzi huundwa haraka na kuingia katika hatua, huku kizuizi cha uelekezaji kikiwa kifupi.
• Uelekezaji wa mawazo marefu: Mfumo hufanya uchanganuzi, tathmini upya na upangaji wa muda mrefu kabla ya kuamua kuchukua hatua.

Baada ya ahadi ya njia kuundwa katika raundi ya kwanza, uelekezaji unaofuata kwa kawaida huendelea upande huohuo. Mchanganyiko wa mara chache wa msamiati au mabadiliko yasiyotulia haumaanishi kwamba modeli imepata hali ya kati inayoweza kutumia faida za pande zote mbili kwa wakati mmoja.

Kauli kama We need na Let me zinaweza kutumika tu kama vichunguzi vya nje vya mfuatano; haziwezi kuthibitisha pekee uwezo wa modeli, ubora wa uelekezaji au hali ya ndani.

Matatizo ya Kawaida ya Maumbo Haya Mawili

Intuition ya mawazo mafupi inaweza kukubali mapema maelezo ya kwanza yanayoonekana kuwa fasaha, na kupuuza vizuizi changamano, viunganishi vya kati, ushahidi wa zana au uthibitishaji wa mwisho. Pia inaweza kutangaza kazi kuwa imekamilika mapema baada ya jaribio la sehemu fulani kufanikiwa.

Uelekezaji wa mawazo marefu unaweza kuzalisha hali ya kuendelea kuchanganua, kuchelewesha hatua na kupanga upya mara kwa mara. Hali hii inaweza kusababisha matumizi ya zana kuchelewa, kuongezeka kwa matumizi ya Token na muda, kuyumba kwa hali ya muda mrefu, na hata kushindwa kuhitimisha wakati taarifa tayari inatosha.

Kwa hiyo, tatizo la uhandisi si kwamba upande mmoja ni mbaya kila mara, bali kikao hushindwa kurekebisha umbo la uelekezaji kwa uthabiti kulingana na hatua ya kazi: kinaweza kuwa cha haraka sana kinapohitaji ushahidi zaidi, au kuendelea kuchanganua kinapohitaji kuchukua hatua mara moja.

Nadharia ya Kuweka Kiolesura Kidogo Kupita Kiasi

Uchunguzi wa uhandisi unaotumiwa na J-Space unapendekeza kwamba tabia ya DeepSeek baada ya mafunzo ya Agent inaweza kuhusishwa kwa nguvu na usambazaji wa kiolesura cha hali ndogo ya DeepSeek Harness. Persona ndogo, Schema ya zana ya raundi ya kwanza, mipaka inayodungwa kiotomatiki na masharti ya matokeo kwa pamoja huunda alama ya kiolesura; mabadiliko ya kiolesura yanaweza kuingiza kikao katika mfuatano tofauti.

Hapa, “kuweka kupita kiasi” ni muhtasari tu wa unyeti kwa masharti ya mfumo mweusi. Ushahidi wa wazi unaunga mkono uhusiano kati ya masharti ya kiolesura na mabadiliko ya mfuatano, lakini hautoshi kurejesha data ya mafunzo, hali zilizofichwa au utaratibu kamili wa mafunzo.

Mgawanyo wa Majukumu wa Suluhisho Tatu za Uhandisi

Anchored Standard: Kurejesha Ingizo

dsh-anchored-standard inalenga masharti ya kiolesura cha ombi la kwanza la modeli. Suluhisho lake la msingi hurejesha katika raundi ya kwanza Schema halisi ya zana mbili ya Minimal na kuzuia maudhui yanayodungwa kiotomatiki; baada ya kikao kuzalisha tukio endelevu, hufungua katalogi ndogo ya zana za kudumu, kisha hufungua zana nyingine inapohitajika.

Majaribio ya wazi yanaonyesha kwamba Schema ya zana ya raundi ya kwanza, bajeti ya matokeo na maudhui yanayodungwa kiotomatiki vinaweza kubadilisha mfuatano wa kwanza wa uelekezaji, lakini “mfuatano kutiwa nanga” haimaanishi kwamba uwezo wa kazi umeboreshwa kwa uthabiti. Matokeo ya sampuli ndogo hayawezi kusambazwa moja kwa moja kuwa ongezeko la jumla la uwezo.

Routing Suite: Kuchagua Ingizo

dsh-routing-suite hutumia uainishaji wa kazi wa raundi ya kwanza, persona na usanidi wa zana kupeleka kikao kipya katika mkanda tofauti wa tabia thabiti. Inasisitiza kuepuka maeneo ya mpito yasiyotulia, badala ya kuchukulia vifundo vya nambari endelevu kuwa kina cha uelekezaji kinachoweza kurekebishwa kwa mfululizo.

mixed katika nyenzo zake humaanisha eneo la mpito au ushindani lisilotulia, si hali bora ya kati inayochanganya faida za mawazo mafupi na marefu. Mradi pia umechapisha marekebisho ya wazi kuhusu baadhi ya maelezo ya awali yenye madai makali ya kisababishi.

J-Space: Kudhibiti Mchakato wa Kazi Endelevu

J-Space hufanya kazi baada ya kikao kuingia katika mfuatano, na hushughulikia mzunguko mzima wa maisha ya kazi. Haisemi kwamba inaondoa diode ya msururu wa mawazo, bali hupunguza matatizo ya kimuundo yanayotokea kikao kinapoangukia upande wowote.

• Anchored Standard: Hurejesha alama ya kiolesura cha ingizo inayojulikana.
• Routing Suite: Huchagua ingizo thabiti linalofaa zaidi kulingana na kazi.
• J-Space: Hudumisha hali, vitendo, uthibitishaji na mchakato wa urejeshaji kwa kuendelea.

Uhusiano huu ni mpangilio wa tabaka unaorahisisha uelewa wa uhandisi. Suluhisho hizi tatu bado hazijafanyiwa majaribio ya mchanganyiko chini ya Harness moja, kwa hiyo haziwezi kutumiwa kupanga ufanisi.

Upatikanaji na Usanidi

Kupata Mradi

Msimbo wa chanzo unaweza kupatikana kutoka kwenye hazina ya mradi:

git clone https://github.com/Tiger3807861189/J-Space-Cognition-Suite-V3.6.git
cd J-Space-Cognition-Suite-V3.6

Rekodi za sasa za uchunguzi wa uhandisi hazitoi amri za kusakinisha vitegemezi, muundo wa faili za usanidi, amri ya kuanzisha au namna ya kuita API. Kwa hiyo, wakati wa kupeleka mfumo, tumia README na maelezo ya faili ya hivi karibuni katika hazina ya mradi; usidhani mwenyewe aina fulani ya kifurushi cha Python, mlango wa seva au kiolesura cha programu-jalizi.

Kuthibitisha Mipaka Kabla ya Kusanidi

1. Thibitisha kwamba J-Space huendeshwa katika hatua ya uelekezaji na haihitaji kubadilisha au kufundisha upya uzito wa modeli.
2. Fafanua persona ya Harness lengwa, Schema ya zana ya raundi ya kwanza, maudhui yanayodungwa kiotomatiki na bajeti ya matokeo.
3. Rekodi maunzi, namna ya kutenga michakato, upatikanaji wa zana na mipaka ya ufikiaji wa taarifa.
4. Andaa hali endelevu, mchakato wa uthibitishaji, checkpoint na taratibu za kurejesha baada ya kushindwa kwa kazi ndefu.
5. Ikiwa unalinganisha Benchmark, hakikisha modeli ya msingi, masharti ya Harness na mbinu ya alama vinafanana.

Masharti haya si maelezo madogo ya mazingira yasiyohusiana. README inaeleza wazi kwamba kiolesura, zana na mipaka ya ufikiaji wa taarifa vinaweza kubadilisha matokeo yanayozingatiwa.

Mbinu za Msingi za Matumizi

Hatua ya Kwanza: Kuunda Daftari la Hali ya Kazi

J-Space hutumia daftari la Goal / Core / Verified / Open / Next kudumisha hali katika faili, zana na kazi za muda mrefu. Ifuatayo ni mfano wa rekodi ya kazi kwa ajili ya kuelewa maana ya sehemu pekee, si muundo wa faili ya usanidi uliowekwa na hazina:

Goal: Rekebisha tatizo la upakiaji wa usanidi katika faili nyingi
Core: Dumisha uoanifu wa kiolesura bila kubadilisha majina ya vigezo vya umma
Verified: Hitilafu imerudiwa; uchanganuzi wa faili moja ni wa kawaida
Open: Mpangilio wa kufunika katika faili nyingi bado haujathibitishwa
Next: Endesha jaribio la chini la tofauti na kagua kumbukumbu ya upakiaji

• Goal: Lengo la mwisho la kukamilisha.
• Core: Kizuizi cha msingi kisichopaswa kupotea.
• Verified: Ukweli uliothibitishwa na ushahidi au jaribio.
• Open: Masuala na hatari ambazo bado hazijatatuliwa.
• Next: Hatua inayofuata mahususi, si uchanganuzi mpana unaoendelea.

Hatua ya Pili: Kutambua Hatari za Nje za Mfuatano wa Sasa

Usiamue hali ya modeli kwa kutegemea maneno ya mstari wa kwanza pekee; kagua tabia ya kazi. Ikiwa modeli inatoa hitimisho haraka bila kuunganisha vizuizi, kutumia zana au kukamilisha uthibitishaji, ishughulikie kama hatari ya upande wa mawazo mafupi. Ikiwa modeli inaendelea kuandika upya mpango, inachelewa kuita zana au haifungi mchakato hata baada ya ushahidi kutosha, ishughulikie kama hatari ya upande wa mawazo marefu.

Hatua ya Tatu: Kuongeza Viunganishi na Uthibitishaji kwa Upande wa Mawazo Mafupi

Kikao kinapopendelea uamuzi wa haraka, unaweza kutumia taratibu zifuatazo zilizotajwa katika README:

• bridge-before-conclusion: Jaza uelekezaji wa kati na miunganisho ya vizuizi kabla ya kuwasilisha hitimisho.
• Usambazaji wa vizuizi vya pamoja: Hakikisha hatua za faili na zana mbalimbali zinaendelea kuona vizuizi vya pamoja.
• Empirics: Tumia ushahidi unaoweza kuzingatiwa kuunga mkono uamuzi.
• verifier: Kagua kwa kujitegemea ikiwa matokeo yanakidhi lengo.
• coverage: Thibitisha kwamba upeo wa uthibitishaji haujaacha tawi muhimu.

Kwa mfano, usitangaze kazi kuwa imekamilika mara tu jaribio la sehemu fulani linapofanikiwa. Kwanza kagua ikiwa faili husika, ingizo za mipakani na matokeo ya zana yote yamefunikwa, kisha sasisha Verified.

Hatua ya Nne: Kuunganisha Upande wa Mawazo Marefu na Hatua

Kikao kinapochanganua mara kwa mara bila kuzalisha kizuizi kipya, unaweza kutumia:

• Usemi wa nafsi ya kwanza unaofanya kazi, unaounganisha maelezo na jukumu na hatua ya sasa.
• Next iliyo wazi na inayoweza kutekelezwa.
• Idadi ndogo ya chaguo, ili kuzuia kupanuka bila kikomo kwa nafasi ya mipango.
• Jaribio la tofauti, kwa kutumia jaribio dogo kutofautisha maelezo yanayowezekana.
• checkpoint, kwa kuhifadhi hali katika vituo muhimu na kusukuma mchakato kuelekea hitimisho.

Kwa mfano, badala ya kuorodhesha sababu nyingi zinazowezekana, hifadhi chaguo chache kisha tekeleza jaribio dogo linaloweza kuzitofautisha. Matokeo ya jaribio yaandikwe mara moja katika Verified au Open, na hatua inayofuata isasishwe.

Hatua ya Tano: Kusasisha Hali Katika Viunganishi vya Zana

Kuvuka zana, faili au kusubiri kwa muda mrefu kunaweza kusababisha hali kuyumba. Kila mara unapobadilisha zana au kurejesha kazi, soma upya lengo, vizuizi vya msingi, ukweli uliothibitishwa, masuala yaliyofunguliwa na hatua inayofuata. Kazi ya utaratibu wa urejeshaji ni kudumisha mwendelezo wa nje wa kazi, si kuifanya modeli ibadilishe kwa uhuru umbo la msingi la msururu wa mawazo.

Jinsi ya Kusoma Matokeo ya Benchmark

Rekodi ya Ulinganisho wa DeepSeek V4-Pro-0813

Katika mazingira ya sasa ya tathmini ya mradi, rekodi za alama asilia za V4-Pro-0813 na baada ya kuongezwa J-Space ni kama ifuatavyo; thamani kubwa ni bora:

• HLE bila zana: 42.7 → 48.0
• HLE yenye zana: 60.0 → 67.7
• Terminal Bench 2.1: 87.9 → 90.1
• NL2Repo: 61.5 → 73.4
• CyberGym: 83.3 → 86.8
• DeepSWE: 62.7 → 72.0
• Toolathlon-Verified: 74.1 → 79.5
• Agents' Last Exam: 25.7 → 30.3
• AutomationBench Public: 31.8 → 38.2

Rekodi za mradi za V4-Flash-0731 pia zinaonyesha mabadiliko katika alama kadhaa, kwa mfano HLE yenye zana kutoka 51.5 hadi 60.6, NL2Repo kutoka 54.2 hadi 70.2, na DeepSWE kutoka 54.4 hadi 67.4.

Kuelewa Utaratibu wa Uhandisi Kulingana na Aina ya Kazi

• HLE bila zana: Zingatia viunganishi muhimu, udhibiti wa kujiamini na uhakiki huru ili kuepuka hitimisho la mapema au upanuzi usiofaa nje ya mipaka ya maarifa.
• HLE yenye zana na CyberGym: Boresha upatikanaji na ujumuishaji wa ushahidi kupitia Empirics, viunganishi vya zana na coverage ya uthibitishaji.
• Terminal Bench: Tumia Next iliyo wazi, majaribio ya uchunguzi na checkpoint kusawazisha kasi ya hatua na uthibitishaji.
• NL2Repo na DeepSWE: Dumisha vizuizi vya faili mbalimbali kupitia usambazaji wa pamoja, daftari endelevu na uthibitishaji.
• Toolathlon-Verified: Dhibiti uratibu wa zana kwa kutumia hali ya pamoja, ukaguzi wa viunganishi na coverage.
• Agents' Last Exam na AutomationBench: Shughulikia kazi zenye mchanganyiko na utekelezaji wenye vipindi virefu kupitia pass ya kuchagua, hali endelevu na urejeshaji.

Uhusiano huu ni maelezo ya uhandisi pekee. Benchmark haijaweka alama kwa kila kikao kulingana na hali ya diode, kwa hiyo haiwezekani kukokotoa uwiano wa mchango wa diode kwa alama, wala kuhusisha mabadiliko yote na utaratibu mmoja.

Mapendekezo ya Mazoezi ya Juu

Usichukulie uchunguzi wa mfuatano kama kipimo cha ubora

Urefu wa mnyororo wa mawazo, mtindo wa mstari wa kwanza na msamiati maalum vinaweza kusaidia tu kuchunguza mfuatano. Kinachopaswa kutathminiwa hasa ni kama kazi imekamilika, kama zana zimechukua hatua madhubuti, kama ushahidi unatosha, kama uthibitishaji umefanywa kikamilifu, na kama alama ya Benchmark asilia imebadilika.

Dumisha muktadha thabiti wa tathmini

Unapolinganisha na msingi, unapaswa kurekodi na, kadiri iwezekanavyo, kudumisha hali za maunzi, utenganishaji wa michakato, saraka za zana, mipaka ya ufikiaji wa taarifa, persona, Schema ya awamu ya kwanza, bajeti ya matokeo na maudhui yanayodungwa kiotomatiki. Mabadiliko ya alama yanayotokea chini ya usanidi tofauti wa Harness ni jambo la kawaida.

Epuka kutafuta eneo lisilo thabiti la mixed

Usilielewe eneo la mpito kama “kina cha kati cha kufikiri” kinachoweza kutumiwa. Njia thabiti zaidi ni kuchagua lango thabiti linalofaa, kisha kutumia utaratibu wa kazi za nje wa J-Space kurekebisha kutolingana kati ya mfuatano uliowekwa na hatua za kazi.

Tenganisha uboreshaji wa uwezo na uboreshaji wa mchakato

J-Space haiundi maarifa ambayo hayapo kwenye modeli ya msingi, wala haihakikishi mabadiliko chanya kwa kazi, modeli au Harness zote. Kimsingi inadhibiti mchakato wa kazi wa nje; hivyo uwezo wa maarifa, mfuatano wa lango na mchakato wa kazi vinapaswa kutathminiwa tofauti.

Tumia checkpoint kusaidia urejeshaji

Baada ya kukamilisha mwito muhimu wa zana, marekebisho katika faili nyingi au awamu moja ya uthibitishaji, hifadhi checkpoint. Wakati wa kurejesha, jenga upya Goal / Core / Verified / Open / Next kwanza, kisha tekeleza hatua mpya ili kuepuka kuanza kufikiri upya kutoka mwanzo na kupoteza ukweli ambao tayari umethibitishwa.

Mipaka ya matumizi

• Kudhaniwa kupita kiasi kwa diode ya mnyororo wa mawazo na kiolesura cha chini kabisa ni utambuzi wa kihandisi wa kisanduku cheusi wenye hadhi ya dhana, wala si muundo au ajali ya mafunzo iliyofichuliwa rasmi na DeepSeek.
• Uhusiano wa kimadaraja wa Anchored Standard, Routing Suite na J-Space bado haujathibitishwa kupitia majaribio ya pamoja yaliyounganishwa.
• Alama zilizopo zinahusu muktadha maalum wa tathmini ya mradi, na hazitoshi kuthibitisha uhalali wa jumla katika modeli mbalimbali.
• Rekodi za alama haziungi mkono mgawanyo sahihi wa mchango wa kisababishi.
• J-Space haihakikishi ufanisi kwa kazi, modeli na Harness zote.

Hitimisho

Thamani kuu ya J-Space haiko katika kudai kuondoa aina fulani ya msingi ya kufikiri, bali katika kusimamia kazi tata kwa hali endelevu, hatua zilizo wazi, ushahidi wa zana, ufunikaji wa uthibitishaji na urejeshaji baada ya kushindwa. Katika matumizi halisi, anza kwa kudhibiti kiolesura na masharti ya tathmini, kisha tumia leja na checkpoint kudumisha mwendelezo wa kazi, na mwishowe tathmini matokeo kwa ubora wa ukamilishaji wa kazi na ushahidi unaoweza kuhakikiwa.

Kwa matumizi ya kihandisi, unaweza kunukuu J-Space Cognition Suite V3.6. Inapohusu uthibitisho wa utaratibu au hitimisho la kitaaluma, subiri matoleo yajayo ya makala badala ya kutoa hitimisho linalozidi wigo wa ushahidi kutoka kwenye rekodi za sasa za kihandisi.