Hôm nay (31 tháng 7), OpenAI đã đăng thông báo, cho biết những cải tiến đối với framework đã giúp điểm số của mô hình GPT-5.6 Sol trên ARC-AGI-3 tăng 188%.
Lưu ý: ARC-AGI-3 là bài kiểm tra chuẩn suy luận tương tác mới do nhóm ARC Prize phát triển, hiện được công nhận trên toàn cầu là chuẩn đánh giá suy luận tương tác khắt khe và hàng đầu để đo lường trí tuệ nhân tạo tổng quát (AGI).
Chuẩn đánh giá này phá vỡ hoàn toàn mô hình kiểm tra tĩnh truyền thống của AI, vốn tập trung vào việc “làm bài” và hỏi đáp kiến thức, bằng cách trực tiếp đưa AI vào một “môi trường trò chơi” hoàn toàn xa lạ để đánh giá khả năng khám phá, học hỏi và thích ứng theo thời gian thực giống con người.
Trước khi được điều chỉnh và tối ưu hóa, GPT-5.6 Sol đạt 7.8% trong bài kiểm tra chuẩn ARC-AGI-3, trong khi mô hình GPT-5.5 chỉ đạt 0.4%.
Sau khi đánh giá lại, OpenAI phát hiện framework chính thức của dòng mô hình GPT-5.6 có 2 cơ chế ảnh hưởng đến hiệu suất của GPT-5.6 Sol:
Thứ nhất, suy luận riêng tư bị loại bỏ sau mỗi hành động trong trò chơi. Điều này có nghĩa là sau mỗi lần thực hiện 1 hành động, GPT-5.6 Sol phải hiểu lại trò chơi từ đầu. Mô hình vẫn có thể xem lịch sử hành động trước đó và các ghi chú ngắn, nhưng không thể thấy kế hoạch, nhận định và quá trình suy nghĩ đã dẫn đến những hành động đó.
Thứ hai, framework chính thức sử dụng cửa sổ cắt ngữ cảnh cuộn. Khi lịch sử trở nên dài hơn, các hành động cũ sẽ biến mất khỏi ngữ cảnh. Nói cách khác, GPT-5.6 Sol không chỉ không thể giữ lại những suy nghĩ trước đó mà còn mất cả ký ức về các hành động đã thực hiện.
Để giải quyết những vấn đề trên, OpenAI đã đưa ra hai giải pháp là bảo toàn suy luận (inference preservation) và nén ngữ cảnh (context compression).
Về bảo toàn suy luận, OpenAI đã triển khai lại framework kiểm tra ARC-AGI-3 bằng Responses API. Đối với GPT-5.6, chỉ cần truyền ID response trước đó, hệ thống có thể tự động giữ lại suy luận trong các lần gọi công cụ và tương tác nhiều lượt.
OpenAI cho biết sau khi bật tính năng bảo toàn suy luận, GPT-5.6 không cần giải thích lại trò chơi ở mỗi lượt, nhờ đó giảm thời gian suy nghĩ trước mỗi hành động. Khi giữ lại những ý tưởng trước đó, mô hình có khả năng học hỏi tốt hơn theo thời gian và sử dụng các chiến lược nhất quán hơn.
Về nén ngữ cảnh, framework ARC-AGI-3 chính thức sẽ loại bỏ những tin nhắn cũ nhất khi ngữ cảnh hội thoại vượt quá 175000 ký tự. OpenAI cho biết việc cắt ngữ cảnh cuộn có 2 nhược điểm: mô hình sẽ mất các quan sát và hành động ở giai đoạn đầu; mô hình phải vận hành với cửa sổ ngữ cảnh đầy hơn trong phần lớn thời gian thực hiện nhiệm vụ, điều này có thể làm giảm nhẹ hiệu suất.
Sau khi bật tính năng nén ngữ cảnh, GPT-5.6 Sol có thể giữ lại tốt hơn những thông tin đã học về từng trò chơi trong các nhiệm vụ dài hơn, đồng thời đạt điểm số cao hơn với ít token đầu ra hơn.
Sau khi sử dụng harness chính thức, GPT-5.6 Sol đạt 13.3% điểm số trên ARC-AGI-3; khi bật tính năng bảo toàn suy luận (inference preservation) và nén ngữ cảnh (context compression), GPT-5.6 Sol giảm số lượng token đầu ra xuống còn một phần sáu nhưng vẫn đạt 38.3% điểm số, tăng 188.42%.
Harness, thường được gọi là kỹ thuật điều khiển mô hình, là kiến trúc hệ thống bao bọc bên ngoài mô hình lớn, cung cấp môi trường vận hành, tích hợp công cụ, các ràng buộc quy tắc và cơ chế phản hồi.
Nếu ví mô hình AI mạnh mẽ như một con ngựa chiến đầy sức mạnh nhưng dễ mất kiểm soát, thì harness chính là dây cương, yên ngựa và lộ trình của người cưỡi. Nó không thay đổi kiến trúc của bản thân mô hình mà quyết định cách mô hình được điều khiển an toàn, đáng tin cậy và thực sự hoàn thành các công việc phức tạp.
