OpenAI نے آج (31 جولائی) ایک اعلان جاری کرتے ہوئے بتایا کہ فریم ورک میں بہتری کے ذریعے GPT-5.6 Sol ماڈل کی ARC-AGI-3 کارکردگی میں 188% اضافہ ہوا ہے۔
نوٹ: ARC-AGI-3، ARC Prize ٹیم کی جانب سے پیش کیا گیا نیا انٹرایکٹو استدلالی بینچ مارک ہے، جسے دنیا بھر میں AI کی عمومی ذہانت (AGI) جانچنے کے لیے سب سے سخت، اعلیٰ ترین اور معروف انٹرایکٹو استدلالی تشخیصی معیار سمجھا جاتا ہے۔
یہ بینچ مارک روایتی AI کے جامد ٹیسٹ طریقوں، یعنی “سوال حل کرنے” اور معلوماتی سوال و جواب، کو مکمل طور پر ختم کرتے ہوئے AI کو براہِ راست ایک بالکل نامعلوم “کھیل کے ماحول” میں ڈالتا ہے، تاکہ یہ جانچا جا سکے کہ آیا اس میں انسانوں کی طرح حقیقی وقت میں دریافت، سیکھنے اور خود کو ماحول کے مطابق ڈھالنے کی صلاحیت موجود ہے۔
بہتری اور اصلاح سے پہلے GPT-5.6 Sol نے ARC-AGI-3 بینچ مارک ٹیسٹ میں 7.8% اسکور حاصل کیا، جبکہ GPT-5.5 ماڈل کا اسکور صرف 0.4% تھا۔
OpenAI نے جائزے کے بعد دریافت کیا کہ GPT-5.6 سیریز کے ماڈلز کے سرکاری فریم ورک میں 2 ایسے میکانزم موجود ہیں جو GPT-5.6 Sol کی کارکردگی کو متاثر کرتے ہیں:
اول، ہر بار کھیل کی کارروائی کے بعد نجی استدلال ضائع ہو جاتا ہے۔ اس کا مطلب ہے کہ GPT-5.6 Sol کو ہر 1 کارروائی کے بعد کھیل کو دوبارہ سمجھنا پڑتا ہے۔ ماڈل اب بھی سابقہ کارروائیوں کا ریکارڈ اور مختصر نوٹس دیکھ سکتا ہے، لیکن ان کارروائیوں کا باعث بننے والے منصوبے، بصیرت اور سوچنے کے عمل کو نہیں دیکھ سکتا۔
دوم، سرکاری فریم ورک متحرک طور پر مختصر ہونے والی ونڈو استعمال کرتا ہے۔ جیسے جیسے سابقہ ریکارڈ طویل ہوتا جاتا ہے، ابتدائی کارروائیاں سیاق و سباق سے غائب ہو جاتی ہیں۔ دوسرے لفظوں میں، GPT-5.6 Sol نہ صرف سابقہ سوچ محفوظ نہیں رکھ سکتا بلکہ ماضی کی کارروائیوں کی یادداشت بھی کھو دیتا ہے۔
مذکورہ مسائل کے حل کے لیے OpenAI نے استدلال کے تحفظ (inference preservation) اور سیاق و سباق کے کمپریشن (context compression) کے دو حل پیش کیے۔
استدلال کے تحفظ کے حوالے سے OpenAI نے Responses API استعمال کرتے ہوئے ARC-AGI-3 ٹیسٹ فریم ورک کو دوبارہ نافذ کیا۔ GPT-5.6 کے لیے صرف سابقہ response ID منتقل کرنا کافی ہے، جس کے بعد ٹول کالز اور متعدد مرحلوں کے تعامل میں استدلال خودکار طور پر محفوظ رہتا ہے۔
OpenAI کے مطابق، استدلال کا تحفظ فعال کرنے کے بعد GPT-5.6 کو ہر دور میں کھیل کی دوبارہ وضاحت کرنے کی ضرورت نہیں رہتی، جس سے ہر کارروائی سے پہلے سوچنے میں صرف ہونے والا وقت کم ہو جاتا ہے۔ سابقہ خیالات محفوظ رہنے کے باعث ماڈل وقت کے ساتھ بہتر طور پر سیکھتا ہے اور زیادہ مربوط حکمتِ عملی اختیار کرتا ہے۔
سیاق و سباق کے کمپریشن کے حوالے سے، سرکاری ARC-AGI-3 فریم ورک مکالمے کا سیاق و سباق 175000 حروف سے تجاوز کرنے کے بعد قدیم ترین پیغامات حذف کر دیتا ہے۔ OpenAI کا کہنا ہے کہ متحرک طور پر مختصر ہونے کے 2 نقصانات ہیں: ماڈل ابتدائی مشاہدات اور کارروائیاں کھو دیتا ہے؛ اور کام کے بیشتر وقت میں ماڈل زیادہ بھرے ہوئے سیاق و سباق کی ونڈو کے ساتھ چلتا ہے، جو کارکردگی کو معمولی طور پر متاثر کر سکتا ہے۔
سیاق و سباق کا کمپریشن فعال کرنے کے بعد، GPT-5.6 Sol طویل کاموں میں ہر کھیل سے سیکھی گئی معلومات کو بہتر طور پر برقرار رکھتا ہے اور کم آؤٹ پٹ ٹوکنز کے ساتھ زیادہ اسکور حاصل کرتا ہے۔
سرکاری harness استعمال کرنے کے بعد GPT-5.6 Sol کا ARC-AGI-3 اسکور 13.3% تھا؛ جبکہ استدلال کے تحفظ (inference preservation) اور سیاق و سباق کے کمپریشن (context compression) کو فعال کرنے کے بعد GPT-5.6 Sol نے ٹوکنز کی تعداد کو ایک چھٹے حصے تک کم کرتے ہوئے 38.3% اسکور حاصل کیا، جو 188.42% اضافہ ہے۔
harness، جسے عام طور پر ہارنس انجینئرنگ کہا جاتا ہے، بڑے ماڈل کے بیرونی حصے میں موجود مکمل نظامی ڈھانچے کو کہتے ہیں، جو اسے چلانے کا ماحول، ٹولز کا انضمام، قواعد و ضوابط اور فیڈ بیک کا نظام فراہم کرتا ہے۔
اگر طاقتور AI ماڈل کو ایسی گھوڑے سے تشبیہ دی جائے جو توانائی سے بھرپور ہو مگر قابو سے باہر ہو سکتا ہو، تو harness اس کی لگام، زین اور سوار کا راستہ ہے۔ یہ ماڈل کے اپنے ڈھانچے کو تبدیل نہیں کرتا، بلکہ یہ طے کرتا ہے کہ ماڈل کو محفوظ اور قابلِ اعتماد طریقے سے کیسے قابو میں رکھ کر پیچیدہ کام مکمل کرائے جائیں۔
