Google công bố ra mắt phương pháp đánh giá mù đôi đầu tiên trên thế giới dành cho các mô hình AI độc quyền tiên tiến, giới hạn hoạt động đánh giá bên ngoài trong môi trường “hộp đen” được mã hóa nhằm ngăn mô hình tiếp cận trước thông tin kiểm thử để tối ưu hiệu suất.
Cũng như học sinh không thể nhìn trước đề thi thì kết quả mới phản ánh đúng năng lực, việc đánh giá các mô hình AI hiện nay cũng đối mặt với vấn đề tương tự: nếu mô hình tiếp xúc trước với các câu hỏi kiểm thử (tức hiện tượng “nhiễm bẩn bộ chuẩn”), độ tin cậy của kết quả đánh giá sẽ bị ảnh hưởng nghiêm trọng.
Google phối hợp với Viện Nghiên cứu An toàn Trí tuệ Nhân tạo Singapore, OpenMined, AVERI và MLCommons tiến hành kiểm thử chuẩn bảo mật đối với mô hình Gemini Flash Lite trong môi trường bảo vệ quyền riêng tư, qua đó nâng cao tính toàn vẹn của kết quả đánh giá.
Hoạt động đánh giá bên ngoài có mức độ rủi ro cao theo phương thức truyền thống luôn đứng trước một tình thế tiến thoái lưỡng nan: bên đánh giá phải bàn giao các câu lệnh kiểm thử, tiềm ẩn nguy cơ phía phát triển mô hình nhìn thấy trước câu hỏi; hoặc phía phát triển mô hình phải bàn giao trọng số mô hình, đối mặt với nguy cơ rò rỉ tài sản trí tuệ.
Đánh giá mù đôi giải quyết được mâu thuẫn này. Thông qua Confidential Space thuộc danh mục sản phẩm điện toán bảo mật của Google Cloud, việc xác minh bằng mã hóa có thể bảo đảm dữ liệu đánh giá bên ngoài và mô hình độc quyền vẫn được giữ riêng tư đối với chủ sở hữu tương ứng: bên đánh giá không thể xem trọng số mô hình Gemini, còn Google cũng không thể xem các câu lệnh kiểm thử của bên đánh giá.
Biện pháp mã hóa này có thể ngăn chặn hiệu quả hiện tượng nhiễm bẩn bộ chuẩn, đồng thời bảo vệ dữ liệu nhạy cảm. Điều này đặc biệt quan trọng đối với các cuộc đánh giá có độ nhạy cảm cao do các cơ quan an ninh mạng hoặc chính phủ tiến hành. Đánh giá mù đôi cho phép các tổ chức độc lập kiểm thử nghiêm ngặt các mô hình AI tiên tiến mà không ảnh hưởng đến chủ quyền và an toàn dữ liệu.
Google cho biết họ kỳ vọng chương trình thí điểm này sẽ mở ra hướng đi mới cho hoạt động giám sát mô hình, giúp toàn ngành xây dựng các hệ thống AI an toàn hơn, đáng tin cậy hơn và nhận được nhiều niềm tin hơn từ công chúng.