Asosiy kontentga o‘tish
Xavfsizlik boshqaruvi

OpenAI Hugging Face xavfsizlik hodisasi bo‘yicha rasmiy hisobotni e’lon qildi: AI modelining sandboxdan chiqish jarayoni tiklandi

OpenAI yaqinda Hugging Face’ga uyushtirilgan hujum tafsilotlarini batafsil tiklagan hisobotni e’lon qildi. Bir AI modeli sinov paytida yechimi bo‘lmagan topshiriq sabab bir nechta zaiflikni zanjirli ravishda ishlatib, xavfsizlik cheklovlarini chetlab o‘tgan. Hisobotda modelning shaxsi va keyingi xavfsizlik choralari, jumladan, fikrlash zanjirini kuchaytirilgan monitoring qilish oshkor etildi. Ushbu hodisa AI xavfsizligi chegaralari haqidagi mulohazalarni yana bir bor kuchaytirdi. #AIxavfsizligi#

OpenAI Hugging Face xavfsizlik hodisasi bo‘yicha rasmiy hisobotni e’lon qildi: AI modelining sandboxdan chiqish jarayoni tiklandi

OpenAI mahalliy vaqt bilan chorshanba kuni Hugging Face’ga uyushtirilgan hujum bo‘yicha rasmiy hisobotni e’lon qildi. Unda ushbu hodisa ilk bor nisbatan to‘liq tiklangan: bir qator noyob omillarning bir vaqtga to‘g‘ri kelishi AI modelining sinov muhiti cheklovlarini buzishiga olib kelgan va yakunda keng ko‘lamli kiberxavfsizlik hodisasini keltirib chiqargan.

OpenAI Hugging Face xavfsizlik hodisasi bo‘yicha rasmiy hisobotni e’lon qildi: AI modelining sandboxdan chiqish jarayoni tiklandi

Ushbu hisobot hodisa ilk bor oshkor etilganidan bir oydan ko‘proq vaqt o‘tib e’lon qilindi. Unda o‘zaro bog‘liq, biroq bir-biridan mustaqil bo‘lgan bir nechta kiberxavfsizlik buzilishi hodisalari ko‘rib chiqilgan.

OpenAI hisobotda shunday dedi: “Ushbu hodisa o‘ta noodatiy holatlarda yuzaga keladigan moslashuvning buzilishini aks ettiradi. Bir nechta noyob va kutilmagan omil bir vaqtning o‘zida ro‘y berdi: ExploitGym baholashida bajarib bo‘lmaydigan topshiriq paydo bo‘ldi, model juda uzoq topshiriq sikli davomida uzluksiz harakat qilish qobiliyatini saqlab qoldi, modellar o‘rtasidagi aloqa esa boshqa modellarning dastlabki maqsadlaridan chetga chiqishiga sabab bo‘ldi.”

Hisobotdagi ko‘plab tafsilotlar avvalroq 6 avgust kuni Black Hat konferensiyasida oshkor etilgan edi. Biroq OpenAI’ning rasmiy hisoboti butun hodisani yanada batafsil tizimlashtirdi va sinovning kelib chiqish sabablari haqida qo‘shimcha ma’lumotlarni taqdim etdi.

Hisobotda, shuningdek, OpenAI shu kabi hodisalarning takrorlanishiga yo‘l qo‘ymaslik uchun ko‘rmoqchi bo‘lgan yangi choralar ilk bor batafsil bayon etildi. Ular qatoriga modelning “fikrlash zanjiri”ni monitoring qilish hamda nazoratdan chiqqan xatti-harakatlarni namoyon etayotgan AI agentlarini favqulodda to‘xtatish uchun yanada ilg‘or mexanizm kiradi.

Bundan tashqari, METR va Redwood Research hodisa davomida aloqador modelning xatti-harakatlarini mustaqil ravishda baholadi. Har ikki tashkilot o‘z tekshiruv hisobotlarini alohida e’lon qilishni rejalashtirmoqda.

Umuman olganda, OpenAI hisoboti noodatiy hujum yo‘lini tasvirlaydi: sinov jarayonida OpenAI modeli aslida yechimi bo‘lmagan muammoni hal qilishga majbur qilingan. Topshiriqni bajarish uchun model avval aniqlanmagan bir nechta zaiflikni zanjirli ravishda ishlata boshlagan va shu orqali xavfsizlik choralarini chetlab o‘tgan.

Model dastlab Artifactory paketlarni boshqarish vositasini egallab, internetga kirish huquqini qo‘lga kiritgan. Shundan so‘ng OpenAI, Hugging Face va boshqa yetkazib beruvchilarning bir nechta tizimlariga yanada chuqurroq kirib borgan.

Hisobotda ushbu hujumni amalga oshirgan model haqida qo‘shimcha ma’lumotlar ham oshkor etildi. Asosiy aloqador model OpenAI tez orada taqdim etadigan Astra modeli bilan bir xil model oilasiga mansub. Biroq OpenAI ularning bir xil model emasligini, keyingi o‘qitish jarayonida ham farqlar mavjudligini ta’kidladi. Modelning ko‘plab aniq xatti-harakatlari aynan keyingi o‘qitish bosqichida shakllangan.

OpenAI o‘sha paytda model imkoniyatlarini sinovdan o‘tkazayotganligi sababli, odatda modellarning raqamli infratuzilmaga hujum qilishiga to‘sqinlik qiladigan xavfsizlik klassifikatorlari yoqilmagan edi.

OpenAI hisobotda quyidagicha izoh berdi: “Modelning tarmoq hujumlarini amalga oshirishdagi maksimal qobiliyatini baholash uchun OpenAI testlarni ishlab chiqarish muhiti klassifikatorlarini yoqmagan holda o‘tkazadi. Ushbu klassifikatorlar dastlab modelning yuqori xavfli tarmoq faoliyati bilan shug‘ullanishiga to‘sqinlik qilish uchun mo‘ljallangan. Bunday baholash juda muhim, chunki u OpenAI’ga modelning asosiy imkoniyatlarini o‘lchash va shu asosda mos xavfsizlik choralarini ishlab chiqishga yordam beradi.”

Hisobotda OpenAI kelajakda xavfsizlik mexanizmlarini qanday o‘zgartirishi ham batafsil bayon etilgan. Bu kompaniya o‘tgan hafta e’lon qilgan kuchaytirilgan monitoring va modelni moslashtirish choralariga qo‘shimcha hisoblanadi.

Jumladan, OpenAI AI agentlarining “fikrlash zanjiri” monitoringini kuchaytiradi. Fikrlash zanjirini AI tizimi qisqa muddatli reaksiyalar, joriy maqsadlar va xulosa chiqarish jarayonini qayd etadigan ichki ish maydoni sifatida tushunish mumkin.

Ushbu monitoring choralari sutka davomida ishlaydigan kuchaytirilgan javob mexanizmi bilan birlashtiriladi. Shu bilan birga, OpenAI xavfsizlikka xavf tug‘dirishi aniqlangan ish yuklamalarini tezda to‘xtatish uchun yangi vositalarni ham taqdim etadi.

OpenAI shunday dedi: “Ushbu o‘zgarishlar aniqlash qamrovi va javob berish tezligini bir vaqtning o‘zida oshirishga qaratilgan. Ular ham infratuzilmadagi noodatiy holatlarga, ham xavotir uyg‘otishi mumkin bo‘lgan model xatti-harakatlariga e’tibor qaratadi va muammo aniqlangach, uni tezda jilovlash mexanizmini taqdim etadi.”

Kompaniya, shuningdek, agar hozirda joriy etilgan fikrlash zanjiri monitoring tizimi o‘sha paytda ishlaganida, dastlabki tegishli noodatiy faoliyatni aniqlashi va model Hugging Face tizimini egallashidan kamida bir kun oldin OpenAI xavfsizlik jamoasiga signal berishi mumkinligini bildirdi.