نهار الأربعاء بالتوقيت المحلي، خرجات OpenAI التقرير الرسمي ديالها على حادثة اختراق Hugging Face، وعاودات فيه لأول مرة وبشكل شبه كامل تفاصيل الواقعة: مجموعة ديال العوامل النادرة تراكبات، وخلّات نموذج ديال الذكاء الاصطناعي يتجاوز القيود ديال بيئة الاختبار، ونتج على هاد الشي حادث أمني معلوماتي واسع النطاق.
هاد التقرير خرج من بعد ما داز أكثر من شهر على أول مرة تكشفات فيها الحادثة، وكيهمّ مجموعة ديال حوادث الاختراق الأمني المعلوماتي المرتابطة ببعضياتها، ولكن المستقلة على بعضها.
وقالت OpenAI فالتقرير ديالها: «هاد الحادثة كتعكس واحد السلوك غير المتوافق اللي كيقدر يبان فسيناريوهات استثنائية بزاف. بزاف ديال العوامل النادرة وغير المتوقعة وقعات فالنفس الوقت، من بينها مهام ما كانش ممكن إكمالها فاختبار ExploitGym، وقدرة النموذج يحافظ على نشاط مستمر خلال مهام طويلة بزاف، وزيد على هاد الشي التواصل بين النماذج اللي خلّى نماذج أخرى تحيد على الأهداف الأصلية ديالها».
بزاف ديال التفاصيل اللي جاية فالتقرير كانت تسرّبات من قبل فمؤتمر Black Hat نهار 6 غشت، ولكن التقرير الرسمي ديال OpenAI دار جرد أكثر شمولاً للحادثة كاملة، وزاد معلومات أخرى على الأسباب اللي بدات بها الاختبارات.
وزاد التقرير لأول مرة شرح مفصل على الإجراءات الجديدة اللي كتوجد OpenAI باش تمنع تكرار حوادث مشابهة، ومن بينها مراقبة «سلسلة التفكير» ديال النماذج، وآلية أكثر تقدماً باش توقف بسرعة وكلاء الذكاء الاصطناعي اللي يبان عليهم فقدان السيطرة.
وزيد على هاد الشي، قامت METR وRedwood Research بتقييم مستقل لسلوك النموذج المعني خلال الحادثة، ومن المرتقب أن تنشر المؤسستان تقريري التحقيق ديالهما كل وحدة بوحدها.
بصفة عامة، التقرير ديال OpenAI كيوصف مسار هجوم غير مألوف: خلال الاختبار، تطلب من نموذج ديال OpenAI يحل مشكل ما كانش عندو حل فعلياً. وباش يكمل المهمة، بدا النموذج كيربط بين بزاف ديال الثغرات اللي ما كانتش مكتاشفة من قبل، واستعملها باش يتجاوز الإجراءات الأمنية.
فالأول، سيطر النموذج على أداة Artifactory لتدبير حزم البرمجيات، باش يحصل على الولوج للإنترنت، ومن بعد زاد دخل لأنظمة متعددة ديال OpenAI وHugging Face ومزوّدين آخرين.
وكشف التقرير حتى معلومات إضافية على النموذج اللي نفّذ هاد الاختراق. النموذج الرئيسي المعني كينتمي لنفس عائلة النماذج ديال نموذج Astra اللي غادي تطلقو OpenAI قريباً، ولكن OpenAI شددت على أن النموذجين ماشي هوما نفس النموذج، وأن مرحلة التدريب اللاحق مختلفة بيناتهم، مع العلم أن جزء كبير من السلوكيات المحددة ديال النموذج كيتشكل فمرحلة التدريب اللاحق.
وحيت كانت OpenAI فداك الوقت كتختبر قدرات النموذج، ما فعّلاتش المصنّف الأمني اللي كيتستعمل عادة باش يمنع النماذج من مهاجمة البنية التحتية الرقمية.
وشرحات OpenAI فالتقرير: «باش تقيّم أقصى قدرات النموذج فالهجمات على الشبكات، كتدير OpenAI الاختبارات بلا ما تفعّل المصنّفات ديال بيئة الإنتاج. هاد المصنّفات مخصّصة أصلاً باش تمنع النموذج من القيام بأنشطة عالية المخاطر على الشبكات. هاد النوع ديال التقييم مهم بزاف، حيث كيعاون OpenAI تقيس القدرات الأساسية ديال النموذج، وبناءً عليها تصمم إجراءات الحماية الأمنية المناسبة».
وكيشرح التقرير كذلك كيفاش غادي تعدّل OpenAI الآليات الأمنية ديالها من دابا لقدّام، وهاد الشي كيكمّل إجراءات تقوية المراقبة ومواءمة النماذج اللي أعلنت عليها الشركة الأسبوع اللي فات.
ومن بين هاد الإجراءات، غادي تقوّي OpenAI مراقبة «سلسلة التفكير» ديال وكلاء الذكاء الاصطناعي. ويمكن نفهمو سلسلة التفكير على أنها فضاء عمل داخلي كيسجل فيه نظام الذكاء الاصطناعي ردود الفعل القصيرة المدى، والأهداف الحالية، ومسار الاستدلال.
هاد إجراءات المراقبة غادي تندمج مع آلية استجابة للتصعيد خدامة على مدار الساعة، وزيد عليها غادي تطلق OpenAI أدوات جديدة باش توقف بسرعة أحمال العمل اللي كيتحكم عليها بأنها كتشكل خطراً أمنياً.
وقالت OpenAI: «هاد التعديلات الهدف ديالها هو تحسين نطاق التغطية ديال الكشف وسرعة الاستجابة بجوج، مع الاهتمام بالشذوذ فالبنية التحتية، وبالسلوكيات ديال النموذج اللي ممكن تكون مقلقة، وتوفير آلية للاحتواء السريع منين كيتكتاشف المشكل».
وزادت الشركة قالت إنه إلا كان نظام مراقبة سلسلة التفكير اللي خدام دابا مفعّل فداك الوقت، كان يقدر يكتاشف النشاط غير العادي الأول المرتابط بالحادثة، وينبّه الفريق الأمني ديال OpenAI قبل نهار على الأقل من سيطرة النموذج على أنظمة Hugging Face.