Kampuni ya OpenAI ilitangaza leo (Julai 31) kwamba, kupitia maboresho ya mfumo, imeongeza alama ya modeli ya GPT-5.6 Sol kwenye ARC-AGI-3 kwa 188%.
Kumbuka: ARC-AGI-3 ni kipimo kipya cha mwingiliano cha hoja kilichozinduliwa na timu ya ARC Prize. Kwa sasa kinatambuliwa duniani kote kama kipimo cha mwingiliano cha hoja chenye ukali na kiwango cha juu zaidi cha kupima akili ya jumla ya AI (AGI).
Kipimo hiki huvunja kabisa mtindo wa jadi wa majaribio tuli ya AI ya “kujibu maswali” na maarifa, kwa kuiweka AI moja kwa moja katika “mazingira ya mchezo” ambayo haijawahi kuyafahamu, ili kutathmini kama ina uwezo wa kuchunguza, kujifunza na kujibadilisha kwa wakati halisi kama binadamu.
Kabla ya marekebisho na uboreshaji, GPT-5.6 Sol ilipata alama ya 7.8% katika kipimo cha ARC-AGI-3, huku modeli ya GPT-5.5 ikipata 0.4% pekee.
Baada ya kufanya tathmini, OpenAI iligundua kuwa mfumo rasmi wa modeli za mfululizo wa GPT-5.6 ulikuwa na taratibu 2 zilizoathiri utendaji wa GPT-5.6 Sol:
Kwanza, hoja binafsi hutupiliwa mbali baada ya kila hatua ya mchezo. Hii inamaanisha kwamba baada ya kutekeleza hatua 1, GPT-5.6 Sol inahitaji kuuelewa mchezo upya. Modeli bado inaweza kuona rekodi za hatua zilizopita na maelezo mafupi, lakini haiwezi kuona mipango, ufahamu na mchakato wa mawazo uliosababisha hatua hizo.
Pili, mfumo rasmi hutumia dirisha la muktadha linalokatwa kwa mtindo wa kusogeza. Kadiri historia inavyoongezeka, hatua za awali hupotea kutoka kwenye muktadha. Kwa maneno mengine, GPT-5.6 Sol haiwezi kuhifadhi mawazo ya zamani tu, bali pia hupoteza kumbukumbu ya hatua zilizopita.
Kutatua matatizo hayo, OpenAI ilipendekeza suluhisho mbili: kuhifadhi hoja (inference preservation) na kubana muktadha (context compression).
Kuhusu kuhifadhi hoja, OpenAI ilitumia Responses API kutekeleza upya mfumo wa majaribio wa ARC-AGI-3. Kwa GPT-5.6, inahitaji tu kutuma kitambulisho cha jibu la awali (response ID), na hivyo hoja huhifadhiwa kiotomatiki katika miito ya zana na mwingiliano wa raundi nyingi.
OpenAI ilisema kuwa baada ya kuwezesha uhifadhi wa hoja, GPT-5.6 haihitaji kueleza upya mchezo katika kila raundi. Hivyo, muda wa kufikiri kabla ya kila hatua hupungua; baada ya kuhifadhi mawazo ya awali, modeli hujifunza vizuri zaidi kadiri muda unavyopita na kutumia mikakati yenye mwendelezo zaidi.
Kuhusu kubana muktadha, mfumo rasmi wa ARC-AGI-3 hutupa ujumbe wa zamani zaidi baada ya muktadha wa mazungumzo kuzidi herufi 175000. OpenAI ilisema kuwa ukataji wa kusogeza una kasoro 2: modeli hupoteza uchunguzi na hatua za awali; pia hutumia dirisha la muktadha lililojaa zaidi katika sehemu kubwa ya kazi, jambo ambalo linaweza kudhoofisha utendaji kwa kiwango kidogo.
Baada ya kuwezesha kubana muktadha, GPT-5.6 Sol inaweza kuhifadhi vizuri zaidi taarifa ilizojifunza kuhusu kila mchezo katika kazi ndefu, na kupata alama ya juu kwa kutumia tokeni chache za matokeo.
Kwa kutumia harness rasmi, GPT-5.6 Sol ilipata alama ya 13.3% kwenye ARC-AGI-3; baada ya kuwezesha kuhifadhi hoja (inference preservation) na kubana muktadha (context compression), GPT-5.6 Sol ilipunguza idadi ya tokeni za matokeo hadi moja ya sita, huku alama ikifikia 38.3%, ikiwa ni ongezeko la 188.42%.
Harness (ambayo mara nyingi huitwa uhandisi wa hatamu) ni mfumo mzima wa usanifu unaowekwa nje ya modeli kubwa, ukiipa mazingira ya uendeshaji, ujumuishaji wa zana, vizuizi vya kanuni na mifumo ya mrejesho.
Tukilinganisha modeli yenye nguvu ya AI na farasi mkali aliyejaa nguvu lakini anayekosa udhibiti kwa urahisi, harness ni hatamu, tandiko na njia ya mpanda farasi. Haibadilishi usanifu wa modeli yenyewe, bali huamua jinsi modeli inavyoweza kuongozwa kwa usalama na kutegemewa ili kukamilisha kazi ngumu.
