구글이 최첨단 독점 AI 모델을 대상으로 한 세계 최초의 이중 블라인드 평가를 출시한다고 발표했다. 외부 평가를 암호화된 ‘블랙박스’ 환경으로 제한해 모델이 테스트 정보를 미리 입수하고 성능을 최적화하는 일을 방지한다.
학생이 시험 전에 문제를 미리 볼 수 없어야 실제 실력을 보여줄 수 있는 것처럼, 현재 AI 모델 평가도 같은 문제에 직면해 있다. 모델이 테스트 문제에 미리 접근하면(주: 이른바 ‘벤치마크 오염’) 평가 결과의 신뢰성이 크게 떨어진다.
구글은 싱가포르 인공지능 안전 연구소, OpenMined, AVERI 및 MLCommons와 협력해 개인정보 보호 환경에서 Gemini Flash Lite 모델에 대한 기밀 벤치마크 테스트를 진행하고 평가 결과의 무결성을 높였다.
기존의 고위험 외부 평가에는 늘 딜레마가 있었다. 평가 기관이 테스트 프롬프트를 넘기면 모델 개발사가 문제를 미리 볼 위험이 있고, 모델 개발사가 모델 가중치를 넘기면 지식재산권이 유출될 위험이 있다.
이중 블라인드 평가는 구글 클라우드의 기밀 컴퓨팅 제품군에 포함된 Confidential Space를 통해 이러한 문제를 해결한다. 암호화 검증으로 외부 평가 데이터와 독점 모델이 각각 소유자에게 계속 비공개로 유지되도록 보장한다. 평가 기관은 Gemini 모델 가중치를 볼 수 없고, 구글 역시 평가 기관의 테스트 프롬프트를 볼 수 없다.
이러한 암호화 방식은 벤치마크 오염을 효과적으로 방지하는 동시에 민감한 데이터를 보호할 수 있어, 네트워크 보안이나 정부 기관이 수행하는 고도의 민감성을 요구하는 평가에 특히 중요하다. 이중 블라인드 평가를 통해 독립 기관은 데이터 주권과 보안을 훼손하지 않고 첨단 AI 모델을 엄격하게 테스트할 수 있다.
구글은 이번 시범 운영이 모델 감독을 위한 새로운 방향을 제시하고, 업계 전체가 더 안전하고 신뢰할 수 있으며 대중의 신뢰를 받는 AI 시스템을 구축하는 데 도움이 되기를 바란다고 밝혔다.