Mwanzilishi mwenza wa OpenAI Andrej Karpathy alichapisha kwenye X tarehe 2 Agosti akipendekeza wazo la kipimo cha AI: kuipa modeli maandishi ya aya ya kwanza ya The Lord of the Rings, kisha kuitaka iunde ulimwengu wa 3D unaolingana.
Hapo awali, wakati wa kupima miundo ya AI, sekta ilizoea kutumia picha za SVG zinazotengenezwa kwa kuagiza “mchoro wa mwari akiendesha baiskeli”, ili kutathmini kiwango halisi cha modeli kubwa za lugha katika hoja za anga, mantiki ya jiometri na utengenezaji wa msimbo changamano.
Hata hivyo, Karpathy alibainisha kuwa uwezo wa miundo unaendelea kuimarika na kazi rahisi kama hiyo si changamoto tena. Kwa hiyo alipendekeza wazo jipya la kipimo cha AI: kuifanya modeli ijenge mandhari shirikishi za 3D kulingana na maandishi ya kifasihi, ili kuchunguza utendaji wake wa jumla katika utengenezaji wa msimbo, usanifu wa mandhari na uundaji wa maudhui ya media anuwai.
Karpathy aliiagiza Claude Opus 5 kutumia three.js kuunda ulimwengu wa 3D, huku maandishi ya kuingiza yakiwa aya ya kwanza ya The Lord of the Rings. Kiwango cha juu cha rasilimali za jaribio kilikuwa Tokens milioni 1, kwa gharama ya takriban dola 10. Kwa usanidi huu, Claude Opus 5 ilichukua takriban saa 2 na kutoa karibu mistari 5500 ya msimbo.
Kazi iliyozalishwa iliwasilisha kwa njia ya uhuishaji wa 3D mandhari zinazohusiana na mwanzo wa The Lord of the Rings, zikiwemo watu waliohudhuria karamu ya kumuaga Bilbo na pango lililojaa hazina. Ripoti ilisema kazi hiyo haiwezi kulinganishwa na maudhui yaliyotengenezwa na binadamu kwa kutumia saa kadhaa, lakini ikizingatiwa kuwa AI iliikamilisha ndani ya takriban saa 2, kiwango chake cha ukamilifu bado ni cha juu.
