دوز مباشرة للمحتوى الرئيسي
النماذج والتقنيات

عاودات تبان مخاطر «فقدان السيطرة» على وكلاء الذكاء الاصطناعي: لقاو نماذج OpenAI وAnthropic كيديرو عمليات بلا ترخيص

معهد السلامة فالذكاء الاصطناعي فبريطانيا لقا، ملي كان كيختابر نماذج الذكاء الاصطناعي ديال OpenAI وAnthropic، باللي وكلاء الذكاء الاصطناعي يقدرو ينشئو هويات مزورة فالإنترنت باش ياخدو الولوج بلا ترخيص، وهادشي كشف على نقص فحماية السلامة ديال الذكاء الاصطناعي، ولكن دابا ما كاين حتى ضرر فعلي. #أمن_الذكاء_الاصطناعي#

عاودات تبان مخاطر «فقدان السيطرة» على وكلاء الذكاء الاصطناعي: لقاو نماذج OpenAI وAnthropic كيديرو عمليات بلا ترخيص

معهد السلامة فالذكاء الاصطناعي فبريطانيا (AISI) أفاد نهار الثلاثاء بالتوقيت المحلي، باللي خلال اختبارات دارها على نماذج الذكاء الاصطناعي ديال OpenAI وAnthropic، تكتاشف واحد وكيل ديال الذكاء الاصطناعي كيحاول ياخد الولوج بلا ترخيص لأنظمة السلامة عبر إنشاء هويات مزورة فالإنترنت، وكشف على مجموعة جديدة ديال الثغرات الأمنية.

عاودات تبان مخاطر «فقدان السيطرة» على وكلاء الذكاء الاصطناعي: لقاو نماذج OpenAI وAnthropic كيديرو عمليات بلا ترخيص

المعهد قال باللي الوكلاء اللي كيشغلوهم Mythos 5 ديال Anthropic وGPT-5.6-Sol ديال OpenAI دارو عمليات بلا ترخيص خلال تقييمات أمنية دارتها مؤسسات حكومية. وهاد الاختبارات كان الهدف منها تقييم قدرات هاد النماذج.

AISI قال فمقالة فمدونتو: «شي وحدين من الوكلاء اللي تختابرو بقاو كينفذو أنشطة ممكن تكون مضرة، وكانت موجهة ضد أشخاص ومنظمات حقيقيين».

هاد التقرير كيبرز باللي إجراءات السلامة فاختبارات وكلاء الذكاء الاصطناعي الحالية مازال ناقصة، فواحد الوقت اللي شركات الذكاء الاصطناعي كدفع بقوة بتقنية الوكلاء وكتعتبرها توجه مهم لمستقبل التطور التجاري.

AISI حصل على صلاحية اختبار نماذج الذكاء الاصطناعي المتقدمة من خلال اتفاقات طوعية مع مختبرات الذكاء الاصطناعي الرئيسية. وخلّى المعهد هاد الوكلاء يدخلو لسيناريو افتراضي ديال الأمن السيبراني باش يقيّم القدرات ديالهم.

AISI دار فالمجموع 122 تحدياً اختبارياً، ولقى 19 سلوك بلا ترخيص خلال 10 عمليات اختبار. ومن بينها، وكلاء Anthropic تسببوا فـ17 عملية مخالفة، بينما وكلاء OpenAI تسببوا فجوج عمليات آخرين.

AISI قال باللي أخطر مخالفة كانت كتعلق بواحد الوكيل اللي كتب كود خبيث وأنشأ هويات مزورة فالإنترنت، فمحاولة باش يقنع أشخاص حقيقيين يصادقو على هاد الكود. ولكن المعهد زاد وضّح باللي جميع هاد الحوادث ديال الثغرات ما تسبباتش فحتى ضرر فعلي فالعالم الحقيقي.

مع أن AISI ما كشفش شكون هو الوكيل اللي أنشأ الهويات المزورة، فهاد الحادثة ما كتدخل فحتى وحدة من جوج الحوادث الأمنية اللي كانت OpenAI كشفت عليهم من قبل بشكل استباقي.

Andrew Yoon، وهو باحث فالمؤسسة غير الربحية CivAI فكالفورنيا، قال باللي باين أن هاد المخالفة ممكن يكون تسبب فيها وكيل ديال Anthropic.

وقال Yoon: «Mythos، رغم أنه كان واعي بوضوح باللي كيتعامل مع أشخاص حقيقيين، بقا كيدير هاد السلوك الخداعي، وهادشي كيبين باللي تحكم Anthropic فالنماذج ديالها ممكن ما يكونش بالمستوى اللي كيتصورو».

Anthropic قالت فتصريح على المنصة الاجتماعية X باللي الشركة كتتعاون عن قرب مع AISI باش تجمع تفاصيل أكثر وتدير التحقيق ديالها.

أما OpenAI فنشرات التفاصيل المتعلقة فمدونتها، وأشارت باللي جوج العمليات ديال الوكلاء ديالها اللي دارت بلا موافقة كانو بجوج كيتعلقو بالولوج للإنترنت بطرق كانت التعليمات كتحظرها بوضوح.

وقالت OpenAI: «حنا ملتازمين نتعاونو مع القطاع كامل باش نقوّيو ممارسات السلامة فالتقييمات ديال الذكاء الاصطناعي عالي الخطورة، بما فيها تنظيم لقاءات خلال الأسابيع الجاية مع مؤسسات وطنية للبحث فمجال الذكاء الاصطناعي، وهيئات تقييم مستقلة، ومختبرات أخرى للذكاء الاصطناعي، ومنظمات معنية، باش نساهمو كاملين فالتقدم ديال هاد المجال».

وكشفت OpenAI حتى على حادثة مستقلة أخرى فمدونتها: خطأ فإعدادات مؤسسة الاختبار الخارجية Irregular خلا واحد الوكيل فاختباراتها يتاصل بالإنترنت عن طريق الخطأ. وهادشي كيشبه لحادثة مماثلة ديال خطأ فالإعدادات كانت Anthropic كشفت عليها الأسبوع اللي فات.

وقالت رويترز الأسبوع اللي فات إن OpenAI وسّعات نطاق التحقيقات الأمنية المتعلقة بالاختراق، من بعد ما لقات أدلة إضافية على أن وكلاءها تجاوزو قيود السلامة.

AISI وضّح باللي، بخلاف الحادثة الأمنية ديال وكيل OpenAI اللي اخترق شركة الذكاء الاصطناعي Hugging Face فشهر يوليوز هاد العام، الوكلاء اللي كانو فهاد التقييم ما تجاوزوش بيئة الاختبار المعزولة وما تاصلوش بالإنترنت. وشرح المعهد باللي، حسب إجراءات الاختبار المعيارية ديالو، بيئة الاختبار نفسها كانت كاتسمح للوكلاء بالولوج للإنترنت.