이번 주, 대량의 귀중한 도서가 대규모 언어 모델(LLM) 훈련에 데이터를 제공하기 위해서만 집중적으로 분쇄됐다는 소식이 전해지면서 독서 애호가와 일반 누리꾼들의 큰 관심을 끌었다.
보도에 따르면 최근 일부 도서 공급업체는 비정상적으로 많은 도서 주문을 받았다. 업계에서는 AI 기업들이 더 높은 품질과 청정도를 갖춘 훈련 데이터를 확보하는 동시에 저작권 위험을 최대한 피하려 했을 것으로 추측했다. 이번 논란의 초점은 도서 데이터베이스 사이트 ISBNdb로 향했다. 외부에서는 이 사이트가 이러한 방식을 장려했을 뿐 아니라 AI 기업과 도서 공급업체를 연결해 주기까지 했다고 보고 있다. 여론이 빠르게 확산되자 ISBNdb는 논란과 선을 긋기 시작했고, 과거 게시한 관련 콘텐츠를 삭제했다.
ISBNdb는 최근 성명에서 다음과 같이 밝혔다. “최근 웹사이트의 한 마케팅 랜딩 페이지와 관련한 보도를 확인했으며, 이로 인해 제기된 우려도 이해하고 있습니다. 저희는 AI 모델을 훈련하지 않으며 관련 사업을 진행한 적도 없습니다. 해당 페이지는 시장 수요를 테스트하기 위한 시도였을 뿐이고, 관련 서비스는 실제로 출시된 적이 없습니다. 현재 해당 페이지를 삭제했습니다.”
며칠 전 404 Media는 여러 도서 공급업체가 갑자기 대량의 도서 구매 주문을 받았다고 보도했다. 최근 학교와 도서관의 예산이 부족하고 구매 수요도 감소하면서 많은 공급업체가 경영 압박을 받고 있었기 때문에, 이들은 이런 대규모 주문을 받아들이기 더 쉬운 상황이었다.
당시 외부에서는 배후 구매자가 AI 기업일 것이라는 의혹이 널리 제기됐다. ISBNdb가 여론의 초점이 된 것도 이 사이트가 AI 기업과 도서 보관·유통 기관의 연결을 돕는 것으로 보이는 서비스를 출시한 적이 있기 때문이다.
현재는 삭제된 홍보 페이지에는 다음과 같은 문구가 적혀 있었다. “세계 최고 품질의 AI 훈련 데이터는 책장에 놓여 있습니다. 도서는 선별과 동료 심사, 전문 분야의 축적을 거친 인류의 지식을 담고 있으며, 그 구조화 수준은 어떤 웹 크롤러도 복제할 수 없습니다. 내용은 밀도 높고 편집됐으며 권위가 있습니다.”
사실 이런 방식이 공개된 것은 이번이 처음이 아니다. 올해 1월에는 공개된 법원 문서를 통해 Anthropic 내부의 ‘Project Panama(파나마 프로젝트)’라는 코드명의 사업이 드러났다. 이 프로젝트는 가능한 한 많은 도서를 구매한 뒤 디지털 스캔을 완료하고 실물 도서를 폐기하는 것을 목표로 했다.
이후 Anthropic은 저자들과 총액 15억 달러(주: 현재 환율 기준 약 101억 4700만 위안)의 합의에 도달했다. 그러나 이후 공개된 법원 문서에 따르면 이러한 방식 자체는 합법으로 여겨졌으며, 회사가 실제로 우려한 것은 그로 인해 발생할 부정적인 여론이었다. 따라서 Anthropic은 관련 행위가 공개되는 것을 피하기 위해 거액을 지불할 의향을 보였다.
이제 이러한 내부 사정이 공개되면서 최근 발생한 대량의 귀중한 도서 구매 주문에도 더욱 엄격한 관심이 쏠리고 있다.
한 익명의 도서 판매자는 404 Media와의 인터뷰에서 다음과 같이 말했다. “이렇게 하면 원래도 판매하기 어려웠던 재고를 정리하고 돈도 벌 수 있습니다. 하지만 한편으로는 이 책들이 결국 어떤 용도로 쓰이는지 마음에 들지 않고, 일부 희귀 도서가 그대로 종이 펄프로 만들어지는 것도 보고 싶지 않습니다.”
보도에 따르면 AI 기업들은 ‘깨끗한’ 훈련 데이터를 확보하기가 점점 어려워지면서 새로운 데이터 공급원을 찾고 있다.
인터넷에 존재하는 수많은 저품질 콘텐츠와 점점 늘어나는 AI 자체 생성 콘텐츠는 모델 훈련에서 ‘부정적 피드백 루프’ 문제를 일으킬 수 있다. 이에 각 기업은 외부의 관심을 최대한 피하면서도 더 높은 품질의 데이터를 확보하려 하고 있다.
올여름 영화사 A24는 구글과 협력해 DeepMind에 훈련 자료를 제공한다고 발표했다. 이는 미디어 생성 모델이 품질이 낮고 스타일이 혼란스러운 AI 콘텐츠에 과도하게 의존하는 문제에서 벗어나는 데 도움을 주기 위한 것이다.
실물 도서를 폐기하는 이유에 대해 보도는 이것이 흔적을 감추기 위한 것도, 희귀한 지식을 수집하기 위한 것도 아니라고 분석했다.
‘파나마 프로젝트’ 관련 문서에는 도서를 폐기한 구체적인 이유가 적혀 있지 않지만, 가장 가능성 높은 설명은 비용 절감이다. 실제로 도서를 디지털 스캔하는 데 반드시 원본을 훼손해야 하는 것은 아니다. 하지만 전체 과정에서 저비용과 고효율을 추구한다면, 더 평평하고 선명한 스캔 결과를 얻기 위해 책등을 곧바로 뜯어낸 뒤 손상된 도서를 폐지로 처리할 가능성이 높다.