《가디언》에 따르면, 호주 소셜미디어 금지 조치의 배경이 된 관련 기술을 시험한 보고서의 작성자는 편집 과정에서 ChatGPT를 사용했다고 인정했지만, 보고서에 나타난 여러 인용 오류가 인공지능의 ‘환각’으로 인해 발생했다는 점은 부인했다.
영국에 본사를 둔 Age Check Certification Scheme(ACCS)가 지난해 실시한 이 연령 인증 기술 시험에는 348만 호주달러(주: 현재 환율 기준 약 1,662.9만 위안)가 투입됐다. 시험의 주요 목적은 호주에서 16세 미만 사용자의 소셜미디어 이용 금지 조치를 시행하기 위해 소셜미디어 플랫폼이 활용할 수 있는 다양한 기술을 검증하는 것이었다.
호주 통신부 장관 Anika Wells는 이 보고서를 높이 평가하며 “효과적인 선택지가 많다는 점”을 보여줬고, 지난해 12월 소셜미디어 금지 조치가 공식 시행되는 데 길을 열었다고 말했다.
보고서의 대부분은 저자들이 현재 이용 가능한 다양한 연령 인증 기술을 직접 시험한 결과를 바탕으로 작성됐다. 다만 한 장에서는 ‘신흥 기술’을 별도로 다루며, 향후 연령 인증에 활용될 수 있는 새로운 방법을 소개하기 위해 여러 학술 논문을 인용했다.
호주 상원은 현재 소셜미디어 금지 관련 법률을 한층 강화하기 위한 조사를 진행하고 있다. 조사 과정에서 제출된 자료에 따르면, 이 보고서에는 최소 두 건의 인용 오류가 존재한다. 자료는 이러한 인용이 “실제 출처에 근거한 것이 아니라 AI 환각으로 생성된 것으로 보인다”고 지적했다.
이달 《가디언》 호주판이 이 문제에 대해 ACCS에 문의했을 때, 기관 대변인은 처음에는 보고서에 인공지능이 사용되지 않았다고 부인했다. 그러나 이후 팀이 일부 문단을 더 간결하게 표현하기 위해 AI를 활용해 다시 작성했다고 인정했다.
대변인은 “우리는 AI를 사용해 보고서나 보고서에 인용된 자료를 생성하지 않았다…… 모든 자료는 링크와 보고서가 실제로 존재하며 인용된 구체적인 문제와 관련이 있는지 확인하는 검증 절차를 거쳤다”고 말했다.
그러나 《가디언》 호주판이 해당 보고서를 자체 분석한 결과, 같은 장에서만 참고문헌 6건에 오류가 있는 것으로 나타났다.
오류에는 다음과 같은 사례가 포함됐다. 일부 디지털 객체 식별자(DOI, 특정 학술 논문에 대응하는 고유한 문자·숫자 조합) 링크는 존재하지 않는 논문으로 연결됐고, 일부 DOI는 잘못된 논문을 가리켰다. 저자명·학술지명·발표 연도의 조합이 알려진 어떤 문헌과도 일치하지 않는 경우도 있었으며, 일부 DOI 링크가 연결한 논문은 보고서가 주장한 결론을 도출하지 않았다.
이후 해당 대변인은 ACCS가 근거로 삼은 연구에 대해 추가로 설명하고 새로운 참고문헌을 제시했지만, 이번 답변에도 오류가 있었다.
ACCS가 보고서의 기존 인용을 바로잡기 위해 제공한 학술 논문 목록에서는 일부 논문의 발표 연도, 저자, 학술지명이 보고서에 처음 기재된 인용과 일치하지 않았다.
ACCS가 인용한 논문 중 하나는 2025년 3월에 열람한 것으로 기재돼 있었다. 그러나 해당 연구의 주요 저자 중 한 명은 《가디언》에 이 논문이 2025년 6월 정식 발표된 후에야 대중에게 공개됐다고 확인했다. 그는 또한 ACCS가 처음 이 논문의 주요 저자로 기재한 ‘Jamil’이라는 인물은 해당 논문에 전혀 참여하지 않았으며, ACCS 보고서가 논문의 내용을 잘못 요약했다고 밝혔다.
인용된 학술지에서 찾을 수 없었던 또 다른 참고문헌 ‘Weber et al. 2011’에 대해 대변인은 이 문헌이 모나시대학교의 한 연구에서 인용됐다고 추가 설명하며 해당 연구를 《가디언》에 제공했다. 그러나 ACCS가 제공한 모나시대학교 논문에는 Weber라는 이름의 참고문헌이 전혀 없었다.
《가디언》이 보고서 E 부분과 K 부분의 링크 4개에 해당 링크의 출처가 ChatGPT임을 보여주는 메타데이터가 포함돼 있다는 사실을 발견한 뒤에야, 대변인은 보고서에 실제로 AI가 사용됐다고 인정했다.
대변인은 링크에 ChatGPT의 메타데이터가 남아 있었기 때문에 기관이 사실상 AI 사용을 공개한 것이라고 주장했다. 또한 해당 링크 자체는 정확하므로 문제가 아니라고 생각한다고 말했다.
그는 AI가 일부 문단의 표현을 더 간결하게 만드는 데만 사용됐으며, 원래 연구를 수행하거나 보고서를 생성하는 데는 사용되지 않았다고 밝혔다.
“모든 링크는 점검하고 검증했습니다. 그 과정에서 의도하지 않은 오류가 있었다면 사과드리지만, 전체 과정은 사람이 직접 검증했습니다.”
호주 연방정부는 이전부터 정부 보고서 작성 과정에서 계약업체가 AI를 사용하는 것에 부정적인 입장을 보여 왔다. 딜로이트는 지난해 보고서에 오류가 발생하자 정부와 체결한 44만 호주달러 규모 계약 중 일부 금액을 환불했으며(현재 환율 기준 약 210.3만 위안), 해당 컨설팅 업체 역시 AI를 사용했다고 인정했다.
《가디언》이 Wells 장관실에 제기한 질문은 이후 장관이 소속된 부처로 전달됐다. 해당 부처 대변인은 지난 금요일 “부처는 아래 문제를 검토하고 있으며, 적절한 경우 ACCS와 소통할 것”이라고 말했다.
현지 시간으로 지난 금요일 열린 상원 조사 청문회에서 관련 부처 관계자들은 ACCS와 회의를 가졌다고 밝혔다. ACCS는 보고서의 오류가 원래 정상적으로 접속할 수 있었던 일부 링크가 이후 작동하지 않게 되면서 발생했다고 주장했다. 그러나 관련 관계자들은 이 주장을 독립적으로 확인하지 않았으며, 해당 링크를 다시 점검하는 것은 “매우 어렵다”고 말했다.
관계자는 1000쪽에 달하는 보고서에서 인용과 관련된 내용은 26쪽뿐이며, 그 안에서도 “소수의 오류”만 발견됐다고 밝혔다.
해당 부처의 제1차관보 Sarah Vandenbroek는 “ACCS는 문서가 공개될 당시 모든 링크를 점검했으며, 당시에는 모두 정상적으로 접속할 수 있었다고 우리에게 보장했다. 따라서 그사이에 일부 변화가 있었을 수 있다. 또한 일부 링크가 더 이상 작동하지 않더라도 관련 원문은 여전히 존재하므로 인용은 유효하다고 보장했다”고 말했다.
호주국립대학교 규제·글로벌 거버넌스 대학원의 Christian Downie 교수는 앞서 정부가 받은 자료 중 AI 환각이 포함된 제출 문서를 연구한 바 있다. 그는 정부가 받은 보고서나 제출 자료에서 허위 인용이 발견될 경우, 그 오류가 AI로 인해 발생했는지와 관계없이 정부가 잘못된 결정을 내릴 수 있으며 “정부 기관에 대한 대중의 신뢰와 믿음을 약화시킬 수 있다”고 말했다.
그는 “사람들은 정부가 이미 이 문제를 고려하고 있다고 생각해야 한다. 앞으로는 계약 조항과 그에 따른 처벌 조치를 통해 이런 일이 발생하지 않도록 막아야 할 수도 있다”고 말했다.
무소속 상원의원 Fatima Payman은 “지난해 AI 쓰레기 콘텐츠로 가득 찬 딜로이트 보고서가 일으킨 파문은 정부 계약업체들이 보고서에서 문헌을 함부로 인용하는 관행을 완전히 끝냈어야 했다”고 말했다. 그는 “정부는 이 보고서를 담당한 계약업체에 사과와 환불을 요구해야 한다”고 덧붙였다.