OpenAI আজ (31 জুলাই) একটি ঘোষণায় জানিয়েছে যে ফ্রেমওয়ার্ক উন্নত করার মাধ্যমে GPT-5.6 Sol মডেলের ARC-AGI-3 স্কোর 188% বৃদ্ধি পেয়েছে।
নোট: ARC-AGI-3 হলো ARC Prize দলের তৈরি নতুন ইন্টার্যাক্টিভ রিজনিং বেঞ্চমার্ক। এটি বর্তমানে AI-এর সাধারণ বুদ্ধিমত্তা (AGI) পরিমাপের জন্য বিশ্বব্যাপী স্বীকৃত সবচেয়ে কঠোর ও শীর্ষস্থানীয় ইন্টার্যাক্টিভ রিজনিং মূল্যায়ন বেঞ্চমার্ক।
এই বেঞ্চমার্ক প্রচলিত AI-এর স্থির “সমস্যা সমাধান” ও জ্ঞানভিত্তিক প্রশ্নোত্তর পরীক্ষার ধরন পুরোপুরি ভেঙে দিয়ে AI-কে সরাসরি একটি সম্পূর্ণ অপরিচিত “গেম পরিবেশে” নিক্ষেপ করে, যাতে মানুষের মতো তাৎক্ষণিক অনুসন্ধান, শেখা ও অভিযোজনের সক্ষমতা আছে কি না তা মূল্যায়ন করা যায়।
অপ্টিমাইজেশন সমন্বয় করার আগে, ARC-AGI-3 বেঞ্চমার্ক পরীক্ষায় GPT-5.6 Sol-এর স্কোর ছিল 7.8%, আর GPT-5.5 মডেলের স্কোর ছিল মাত্র 0.4%।
পর্যালোচনার পর OpenAI দেখতে পায়, GPT-5.6 সিরিজের মডেলগুলোর অফিসিয়াল ফ্রেমওয়ার্কে GPT-5.6 Sol-এর কর্মক্ষমতাকে প্রভাবিত করে এমন 2টি প্রক্রিয়া রয়েছে:
প্রথমত, প্রতিটি গেম অ্যাকশনের পর ব্যক্তিগত রিজনিং পরিত্যক্ত হয়। এর অর্থ, GPT-5.6 Sol-কে প্রতিবার 1টি অ্যাকশন সম্পাদনের পর গেমটি নতুন করে বুঝতে হয়। মডেলটি আগের অ্যাকশনের রেকর্ড ও সংক্ষিপ্ত নোট দেখতে পারে, কিন্তু এসব অ্যাকশনের পেছনের পরিকল্পনা, অন্তর্দৃষ্টি ও চিন্তার প্রক্রিয়া দেখতে পারে না।
দ্বিতীয়ত, অফিসিয়াল ফ্রেমওয়ার্কে রোলিং ট্রাঙ্কেশন উইন্ডো ব্যবহার করা হয়। ইতিহাস দীর্ঘ হওয়ার সঙ্গে সঙ্গে আগের অ্যাকশনগুলো কনটেক্সট থেকে হারিয়ে যায়। অর্থাৎ, GPT-5.6 Sol শুধু আগের চিন্তাগুলো ধরে রাখতে পারে না তা-ই নয়, আগের অ্যাকশনের স্মৃতিও হারায়।
উপরের সমস্যাগুলোর সমাধানে OpenAI রিজনিং সংরক্ষণ (inference preservation) এবং কনটেক্সট কমপ্রেশন (context compression) নামে দুটি সমাধান প্রস্তাব করেছে।
রিজনিং সংরক্ষণের ক্ষেত্রে OpenAI Responses API ব্যবহার করে ARC-AGI-3 পরীক্ষার ফ্রেমওয়ার্ক পুনরায় বাস্তবায়ন করেছে। GPT-5.6-এর জন্য শুধু আগের response ID পাঠালেই টুল কল ও একাধিক ধাপের ইন্টার্যাকশনে রিজনিং স্বয়ংক্রিয়ভাবে সংরক্ষিত হয়।
OpenAI জানিয়েছে, রিজনিং সংরক্ষণ চালু করার পর GPT-5.6-কে প্রতিটি রাউন্ডে গেমটি নতুন করে ব্যাখ্যা করতে হয় না। ফলে প্রতিটি অ্যাকশনের আগে চিন্তায় ব্যয় করা সময় কমে যায়। আগের চিন্তাগুলো ধরে রাখার পর মডেলটি সময়ের সঙ্গে আরও ভালোভাবে শিখতে পারে এবং আরও ধারাবাহিক কৌশল গ্রহণ করে।
কনটেক্সট কমপ্রেশনের ক্ষেত্রে, অফিসিয়াল ARC-AGI-3 ফ্রেমওয়ার্কে কথোপকথনের কনটেক্সট 175000 অক্ষর ছাড়িয়ে গেলে সবচেয়ে পুরোনো বার্তাগুলো বাদ দেওয়া হয়। OpenAI-এর মতে, রোলিং ট্রাঙ্কেশনের 2টি অসুবিধা রয়েছে: মডেলটি প্রাথমিক পর্যবেক্ষণ ও অ্যাকশন হারায়; কাজের বেশিরভাগ সময় মডেলকে তুলনামূলকভাবে বেশি পূর্ণ কনটেক্সট উইন্ডো নিয়ে চলতে হয়, যা কর্মক্ষমতায় সামান্য নেতিবাচক প্রভাব ফেলতে পারে।
কনটেক্সট কমপ্রেশন চালু করার পর দীর্ঘ কাজের ক্ষেত্রে GPT-5.6 Sol প্রতিটি গেম সম্পর্কে শেখা তথ্য আরও ভালোভাবে ধরে রাখতে পারে এবং কম আউটপুট টোকেন ব্যবহার করেও বেশি স্কোর পায়।
অন্যদিকে, অফিসিয়াল harness ব্যবহার করার পর ARC-AGI-3-এ GPT-5.6 Sol-এর স্কোর ছিল 13.3%; রিজনিং সংরক্ষণ (inference preservation) এবং কনটেক্সট কমপ্রেশন (context compression) চালু করার পর GPT-5.6 Sol-এর টোকেন আউটপুটের পরিমাণ এক-ষষ্ঠাংশে নেমে এলেও স্কোর 38.3%-এ পৌঁছায়, যা 188.42% বৃদ্ধি।
harness (যাকে প্রায়ই লাগাম প্রকৌশল বলা হয়) হলো বড় মডেলের বাইরের একটি পূর্ণাঙ্গ সিস্টেম আর্কিটেকচার, যা মডেলকে রানটাইম পরিবেশ, টুল ইন্টিগ্রেশন, নিয়মের সীমাবদ্ধতা এবং প্রতিক্রিয়া ব্যবস্থা প্রদান করে।
শক্তিশালী AI মডেলকে যদি শক্তিতে পরিপূর্ণ কিন্তু সহজে নিয়ন্ত্রণ হারাতে পারে এমন একটি বুনো ঘোড়ার সঙ্গে তুলনা করা হয়, তাহলে harness হলো তার লাগাম, জিন ও আরোহীর নির্ধারিত পথ। এটি মডেলের নিজস্ব আর্কিটেকচার পরিবর্তন করে না; বরং মডেলকে কীভাবে নিরাপদে, নির্ভরযোগ্যভাবে নিয়ন্ত্রণ করে জটিল কাজ সম্পন্ন করানো হবে, তা নির্ধারণ করে।
