شركة OpenAI أعلنت اليوم (31 يوليوز) أنها حسّنت الإطار، وبهذا رفعات نتيجة نموذج GPT-5.6 Sol فاختبار ARC-AGI-3 بنسبة 188%.
ملاحظة: ARC-AGI-3 هو اختبار تفاعلي جديد للاستدلال أطلقو فريق ARC Prize، وكيعتبر دابا من أكثر وأشد اختبارات الاستدلال التفاعلي صرامة وتقدماً فالعالم لقياس الذكاء العام الاصطناعي (AGI).
هاد الاختبار كيتجاوز بشكل كامل نمط الاختبارات الساكنة التقليدية ديال الذكاء الاصطناعي، بحال “حلّ التمارين” والأسئلة المعرفية، وكيحط الذكاء الاصطناعي مباشرة فـ“بيئة لعب” ما مألوفاش، باش يقيّم واش عندو القدرة على الاستكشاف والتعلّم والتكيّف فالحين، بطريقة شبيهة بالإنسان.
قبل ما يتدار أي تحسين أو ضبط، جاب GPT-5.6 Sol نتيجة 7.8% فاختبار ARC-AGI-3، فحين أن نموذج GPT-5.5 جاب غير 0.4%.
من بعد المراجعة، لقات شركة OpenAI جوج آليات فالإطار الرسمي ديال نماذج سلسلة GPT-5.6 كيتأثرو بأداء GPT-5.6 Sol:
الأولى، من بعد كل حركة فـاللعبة، كيتم حذف الاستدلال الخاص. هاد الشي كيعني أن GPT-5.6 Sol خاصو يعاود يفهم اللعبة من جديد من بعد كل حركة وحدة. النموذج كيبقى قادر يشوف سجل الحركات السابقة والملاحظات المختصرة، ولكن ما كيبانوش ليه الخطط والاستنتاجات ومسار التفكير اللي أدّاو لهاد الحركات.
الثانية، الإطار الرسمي كيعتمد نافذة كتتقصّ بشكل متتابع. وكلما طال السجل، كتختافي الحركات القديمة من السياق. بمعنى أن GPT-5.6 Sol ماشي غير ما كيقدرش يحتافظ بالتفكير السابق، بل حتى ذاكرة الحركات السابقة كتضيع.
لمواجهة هاد المشاكل، اقترحات OpenAI جوج حلول: الاحتفاظ بالاستدلال (inference preservation) وضغط السياق (context compression).
فما يخص الاحتفاظ بالاستدلال، عاودات OpenAI بنات إطار اختبار ARC-AGI-3 باستعمال Responses API. وبالنسبة لـ GPT-5.6، غير خاص تمرير معرّف الاستجابة السابقة، وكيتم الاحتفاظ بالاستدلال تلقائياً وسط استدعاءات الأدوات والتفاعلات المتعددة.
قالت OpenAI إنه من بعد تفعيل الاحتفاظ بالاستدلال، ما بقاش GPT-5.6 مضطر يفسّر اللعبة من جديد فكل جولة، وهاد الشي كيقلّل الوقت اللي كيقضيه فالتفكير قبل كل حركة. ومنين كيحتافظ النموذج بالأفكار السابقة، كيولي أحسن فالتعلّم مع مرور الوقت وكيعتمد استراتيجيات أكثر انسجاماً.
أما فـضغط السياق، فالإطار الرسمي ديال ARC-AGI-3 كيسقط أقدم الرسائل منين كيتجاوز سياق المحادثة 175000 حرف. وكتقول OpenAI إن القصّ المتتابع عندو جوج عيوب: النموذج كيفقد الملاحظات والحركات الأولى؛ كما أنه كيبقى خدام بنافذة سياق عامرة أكثر خلال معظم مدة المهمة، وهاد الشي يقدر يضرّ الأداء بشكل طفيف.
من بعد تفعيل ضغط السياق، كيولي GPT-5.6 Sol أقدر فالمهام الطويلة يحتافظ بالمعلومات اللي تعلّمها على كل لعبة، وكيحقق نتيجة أعلى باستعمال عدد أقل من رموز الإخراج.
ومن بعد استعمال harness الرسمي، جاب GPT-5.6 Sol نتيجة 13.3% فـ ARC-AGI-3؛ أما من بعد تفعيل الاحتفاظ بالاستدلال (inference preservation) وضغط السياق (context compression)، فوصلت نتيجة GPT-5.6 Sol إلى 38.3%، مع خفض عدد رموز الإخراج Token إلى السدس، بزيادة فالأداء قدرها 188.42%.
harness، اللي كيتسمّى غالباً هندسة ترويض النموذج، هو النظام المعماري الكامل اللي كيتحط خارج النموذج اللغوي الكبير، وكيزوّدو ببيئة تشغيل، ودمج الأدوات، وقواعد وضوابط، وآليات للتغذية الراجعة.
إلى شبّهنا نموذج الذكاء الاصطناعي القوي بحصان جامح عامر بالقوة ولكن ساهل يفلت من السيطرة، فـ harness هو اللجام والسرج والمسار اللي كيسلكو الفارس. ما كيبدّلاش البنية ديال النموذج نفسو، ولكن كيحدّد كيفاش يتم تسييرو بأمان وموثوقية باش يكمل الأعمال المعقدة فعلاً.
