주요 콘텐츠로 건너뛰기
AI 튜토리얼

watermarks-remover로 텍스트와 파일에서 AI 출처 표시 제거

직접 소유한 콘텐츠에서 watermarks-remover를 사용하는 방법을 알아보세요. 이 튜토리얼에서는 로컬 및 Docker 설정, 텍스트와 파일 정리, HTTP 요청, 선택적 감지 및 재작성, 일괄 처리, 인증, 고급 이미지 도구를 다룹니다.

약 18분 소요
watermarks-remover로 텍스트와 파일에서 AI 출처 표시 제거

watermarks-remover란 무엇인가요?

watermarks-remover는 텍스트와 파일에서 지원되는 AI 출처 표시를 검사하고 제거하는 Python 서비스이자 에이전트 스킬입니다. 사용자가 소유한 자료의 개인정보 보호와 콘텐츠 정리를 위한 도구입니다.

이 프로젝트는 정리 작업을 여러 계층으로 나눕니다. 계층 A는 보이지 않는 유니코드 문자, 특수 공백, 양방향 문자, 태그 문자 및 관련 텍스트 흔적을 결정론적으로 제거합니다. 계층 B는 에이전트 재작성 또는 선택 사항인 rewrite_text.py 후크를 통해 통계적 토큰 샘플링 워터마크를 처리합니다. 파일 정리 도구는 C2PA, EXIF, XMP 및 오피스 문서 메타데이터를 비롯한 지원되는 메타데이터와 문서 속성을 처리합니다.

이 프로젝트는 본인이 소유하거나 수정 권한을 가진 콘텐츠에만 사용하세요. 탐지와 정리는 별개의 작업이며, 일부 선택적 탐지기는 공인된 공급업체 검증 시스템이 아니라 연구용 도구입니다.

주요 기능

  • 표준 라이브러리 기반 코어: 로컬 HTTP 서비스와 핵심 스크립트는 Python 3.10 이상이 필요하며 필수 Python 종속성이 없습니다.
  • 폭넓은 파일 라우팅: 지원 형식에는 text, HTML, Markdown, PNG, JPEG, WebP, AVIF, HEIC, BMP, GIF, TIFF, SVG, PDF, DOCX, XLSX, PPTX, EPUB, ODT, MP4, MOV, M4A, M4V, WAV 및 MP3가 포함됩니다.
  • 통합 명령: inspect_file.py와 clean_file.py가 지원 형식을 감지하고 적절한 파이프라인을 선택합니다.
  • HTTP 통합: Python 구현을 별도로 포함하지 않고도 검사, 탐지, 정리 및 일괄 처리 엔드포인트를 사용할 수 있습니다.
  • 안전한 형식 처리: 텍스트 도구는 바이너리 파일로 추정되는 파일을 거부하며, 인식할 수 없는 형식은 unknown으로 분류되어 자동으로 정리되지 않습니다.
  • 선택적 탐지: 구성된 텍스트 탐지기와 SynthID 이미지 점수 측정은 독립적으로 실행하거나 정리 전후에 실행할 수 있습니다.
  • 선택적 고급 백엔드: 별도 설치를 통해 MarkLLM 검증 하니스, reverse-SynthID 점수 측정, CtrlRegen 픽셀 영역 이미지 처리를 지원합니다.

서비스 설치 및 시작

1. 저장소 복제

git clone https://github.com/guillaumemeyer/watermarks-remover.git
cd watermarks-remover

2. 표준 라이브러리 HTTP 서버 시작

가장 빠른 설정 방법은 로컬 Python 서비스를 사용하는 것입니다. 기본적으로 루프백 주소에서 수신 대기합니다.

make serve

직접 실행할 수도 있습니다.

python3 service/scripts/server.py --host 127.0.0.1 --port 8765

서비스가 사용 가능한지 확인합니다.

curl -s http://127.0.0.1:8765/health

응답에는 ok: true와 서비스 버전이 포함됩니다. GET /capabilities를 사용하면 사용 가능한 선택적 도구와 백엔드를 확인할 수 있고, GET /openapi.json을 사용하면 생성된 OpenAPI 3.0.3 사양을 확인할 수 있습니다.

3. 선택적 에이전트 스킬 설치

에이전트 스킬에는 서비스 구현이 포함되어 있지 않습니다. HTTP 서버를 호출하는 얇은 클라이언트이므로 스킬을 사용하기 전에 서비스를 시작하세요.

mkdir -p .grok/skills
ln -sfn "$(pwd)/skills/remove-ai-marks" .grok/skills/remove-ai-marks

사용자 전역 Grok 설치의 경우 홈 디렉터리 아래에 링크를 만듭니다.

mkdir -p ~/.grok/skills
ln -sfn "$(pwd)/skills/remove-ai-marks" ~/.grok/skills/remove-ai-marks

/remove-ai-marks로 실행하거나 에이전트에게 지원되는 AI 워터마크 또는 출처 메타데이터를 제거하도록 요청하세요. 서비스가 http://127.0.0.1:8765에 있지 않다면 WATERMARKS_SERVICE_URL을 설정하세요.

4. 선택적 Cursor 텍스트 전용 스킬 설치

이 저장소에는 권한이 있는 원고, 문서 및 웹 카피를 위한 독립 실행형 Cursor 스킬도 포함되어 있습니다. 이 스킬은 파일 메타데이터, 이미지, C2PA, HTTP 서비스 및 외부 모델 도구를 제외합니다.

python3 install_skill.py

Windows에서는 py install_skill.py를 사용하세요. --force를 지정하지 않으면 기존 설치가 유지됩니다.

명령줄에서 파일 검사 및 정리

통합 파일 도구 사용

스크립트 디렉터리를 짧은 변수로 설정한 다음 지원되는 파일을 검사하거나 정리합니다.

SCRIPTS=service/scripts

python3 "$SCRIPTS/inspect_file.py" draft.md
python3 "$SCRIPTS/clean_file.py" draft.md -o draft.cleaned.md
python3 "$SCRIPTS/clean_file.py" photo.png -o photo.cleaned.png
python3 "$SCRIPTS/clean_file.py" notes.docx -o notes.cleaned.docx

inspect_file.py는 입력을 수정하지 않고 감지된 종류와 의심스러운 콘텐츠를 보고합니다. clean_file.py는 파일을 적절한 정리 도구로 전달하고 -o로 지정한 경로에 결과를 기록합니다.

계층 A 텍스트 흔적 정리

알려진 텍스트 파일에는 전용 텍스트 명령을 사용하세요.

python3 "$SCRIPTS/inspect_text.py" draft.md
python3 "$SCRIPTS/clean_text.py" draft.md -o draft.cleaned.md --stats

--stats 옵션은 결정론적 텍스트 정리로 변경된 내용을 보고합니다.

바이너리 파일을 텍스트 도구에 전달하지 않기

텍스트 스크립트는 ZIP 컨테이너, PDF, 이미지 또는 기타 바이너리 데이터로 보이는 파일을 거부합니다. 이를 통해 압축된 바이트가 텍스트로 디코딩되어 손상된 상태로 다시 기록되는 것을 방지합니다.

python3 "$SCRIPTS/inspect_text.py" report.docx

이러한 파일에는 inspect_file.py 또는 clean_file.py를 사용하세요. --force-text로 보호 기능을 해제할 수 있지만, 원시 바이트를 의도적으로 검사하려는 경우에만 사용해야 합니다.

마찬가지로 통합 클리너는 unknown으로 분류된 파일을 거부합니다. 필요한 경우 인식 가능한 파일 이름 확장자를 제공하거나, --as text 또는 --force-text를 사용해 텍스트 처리를 명시적으로 선택하세요.

Layer B 재작성 훅 사용

통계적 텍스트 워터마크를 처리하려면 유니코드 정리가 아니라 재작성이 필요합니다. 기본적으로 재작성 스크립트는 프롬프트를 출력하며 모델을 호출하지 않습니다.

python3 "$SCRIPTS/rewrite_text.py" draft.md \
  --backend print-prompt \
  --strength paraphrase

선택적 로컬 Ollama 백엔드를 사용하면 재작성된 출력을 생성할 수 있습니다.

WATERMARKS_REWRITE_BACKEND=ollama \
WATERMARKS_REWRITE_MODEL=llama3.2 \
python3 "$SCRIPTS/rewrite_text.py" draft.md -o draft.rewritten.md

루프백 엔드포인트는 기본적으로 허용됩니다. 원격 모델 엔드포인트를 사용하려면 WATERMARKS_REWRITE_ALLOW_REMOTE=1 또는 --allow-remote가 필요합니다. API 자격 증명은 명령줄 인자가 아니라 반드시 WATERMARKS_REWRITE_API_KEY를 통해 제공해야 합니다.

HTTP API 호출

파일 하나 정리

API는 Base64로 인코딩된 파일 바이트를 허용하며, 제공된 파일 이름을 사용해 형식 라우팅을 지원합니다.

WM="http://127.0.0.1:8765"
curl -s -X POST "$WM/clean" \
  -H 'Content-Type: application/json' \
  -d "{\"file\": \"$(base64 < notes.md | tr -d '\n')\", \"name\": \"notes.md\"}"

성공적인 응답에는 감지된 kind, Base64로 인코딩된 cleaned 파일, 그리고 정리 report가 포함됩니다.

정리 없이 검사 또는 감지

구조 검사를 수행하려면 POST /inspect를, 구성된 워터마크 감지기를 사용하려면 POST /detect를 사용하세요. 감지는 선택 사항이며 정리와 별개입니다. 요청하고 구성한 경우가 아니면 서비스는 공급업체 또는 외부 감지기 API를 호출하지 않습니다.

curl -s -X POST "$WM/inspect" \
  -H 'Content-Type: application/json' \
  -d "{\"file\": \"$(base64 < notes.md | tr -d '\n')\", \"name\": \"notes.md\", \"detect\": true}"

전후 측정을 수행하려면 정리 옵션에 detect_before와 detect_after를 전달하세요.

{"file":"BASE64_DATA","name":"notes.md","options":{"detect_before":true,"detect_after":true}}

감지기 오류는 fail-soft 방식으로 처리됩니다. 감지기를 사용할 수 없거나, 시간 초과가 발생하거나, 오류를 반환하면 보고서에 available: false가 기록되고 정리는 계속 진행됩니다.

배치 처리

POST /inspect/batch와 POST /clean/batch는 파일별 파이프라인을 동일하게 적용해 여러 항목을 처리합니다. 기본 요청 제한은 파일 50개이며 WATERMARKS_MAX_BATCH_FILES로 변경할 수 있습니다.

{"files":[
  {"file":"BASE64_DATA_1","name":"notes.md"},
  {"file":"BASE64_DATA_2","name":"photo.png","options":{}}
]}

형식이 잘못된 배치 항목은 ok: false와 오류 메시지를 받지만 나머지 항목의 처리는 중단되지 않습니다.

Docker로 프로젝트 실행

게시된 코어 이미지에는 서비스, 클리너, ExifTool, qpdf, c2patool이 포함되어 있습니다. 로컬 코어 이미지를 빌드하고 루프백에서만 노출하세요.

make docker-core-build
docker run --rm \
  -p 127.0.0.1:8765:8765 \
  --read-only \
  --tmpfs /tmp \
  watermarks-remover

컨테이너 내부에서 클리너를 직접 실행할 수도 있습니다.

docker run --rm -v "$(pwd):/data" watermarks-remover \
  /app/scripts/clean_file.py /data/notes.md \
  -o /data/notes.cleaned.md

Docker Compose는 기본적으로 코어 서비스만 시작합니다. 선택적 프로필을 추가하면 연구 하네스 또는 대형 이미지 백엔드를 사용할 수 있습니다.

docker compose up -d
docker compose --profile harness up -d
docker compose --profile heavy up -d
docker compose --profile harness --profile heavy up -d

make compose-check로 실행 중인 스택을 검증하세요. 이 명령은 코어 상태 엔드포인트를 확인하고 활성화된 선택적 서비스가 도움말 명령을 실행할 수 있는지 검증합니다.

구성 및 보안

일반적인 텍스트 정리에는 환경 변수가 필요하지 않습니다. 선택적 설정은 저장소 수준의 .env 파일에 복사할 수 있으며, Docker Compose가 이를 자동으로 로드합니다.

cp .env.example .env
docker compose up -d

이 파일은 gitignore에 포함되어 있으므로 절대 커밋해서는 안 됩니다. 주요 설정은 다음과 같습니다.

  • WATERMARKS_SERVER_API_KEY는 HTTP API에 Bearer 인증을 요구합니다.
  • WATERMARKS_SERVICE_URL은 클라이언트가 서비스에 연결할 위치를 지정합니다.
  • WATERMARKS_REWRITE_BACKEND, WATERMARKS_REWRITE_MODEL 및 관련 변수는 직접적인 Layer B 모델 호출을 구성합니다.
  • WATERMARKS_SYNTHID_SCORER_URL은 코어 서비스를 선택적 SynthID 이미지 점수 산정 사이드카에 연결합니다.
  • HF_TOKEN은 게이트된 모델을 사용하는 선택적 백엔드에 환경 변수로만 Hugging Face 토큰을 제공합니다.

서버는 기본적으로 루프백에 바인딩되며 신뢰할 수 있는 네트워크를 대상으로 합니다. --host를 변경해 로컬 시스템 외부에 노출하는 경우 WATERMARKS_SERVER_API_KEY를 구성하고 적절한 네트워크 보호 기능을 추가하세요.

고급 팁

호스트 측 실행을 위한 선택적 메타데이터 도구 설치

코어 Python 스크립트는 표준 라이브러리를 사용하지만, 외부 도구를 설치하면 특정 작업 흐름을 개선할 수 있습니다. c2patool은 C2PA 매니페스트를 검사하고, exiftool은 특히 PDF에서 남은 메타데이터를 제거하며, qpdf는 실제 구조적 PDF 제거에 필요합니다. 이러한 도구는 코어 Docker 이미지에 이미 포함되어 있습니다.

SynthID 계열 이미지 신호 점수 산정

선택 사항인 reverse-SynthID 통합은 픽셀 도메인 신뢰도 점수를 생성할 수 있습니다. 이는 탐지 전용이며 픽셀 워터마크를 제거하지 않습니다. 비상업적 연구 라이선스를 사용하므로 업스트림 체크아웃은 포함되어 있지 않습니다.

SCRIPTS=service/scripts
"$SCRIPTS/setup_synthid.sh"

REVERSE_SYNTHID_DIR=~/reverse-SynthID \
~/reverse-SynthID/.venv/bin/python \
"$SCRIPTS/inspect_image.py" shot.png

무거운 Compose 프로필에서는 이 점수 생성기를 HTTP 사이드카로 실행할 수 있습니다. WATERMARKS_SYNTHID_SCORER_URL과 공유 WATERMARKS_SYNTHID_SCORER_API_KEY를 구성한 다음, 정리 전후에 탐지를 요청하세요.

픽셀 도메인 처리를 위해 CtrlRegen 사용

CtrlRegen은 SynthID 계열, StegaStamp, Tree-Ring 및 StableSignature 픽셀 도메인 마크를 위한 선택적 외부 백엔드입니다. 업스트림 저장소에 라이선스 파일이 없으므로 포함되거나 게시되지 않습니다. 설정 과정에서 연구 초기 시기의 고정된 종속성을 사용하는 격리된 환경이 생성됩니다.

SCRIPTS=service/scripts
"$SCRIPTS/setup_ctrlregen.sh"

NOAI_WATERMARK_DIR=~/noai-watermark \
~/noai-watermark/.venv/bin/python \
"$SCRIPTS/clean_image.py" shot.png \
-o shot.cleaned.png --remove-pixel ctrlregen

기본 강도는 보수적인 0.25입니다. 문서화된 프리셋의 범위는 최소 재생성을 위한 0.15부터 최대 강도를 위한 0.7까지입니다. 값이 높을수록 신호를 더 많이 제거할 수 있지만 이미지 콘텐츠도 더 많이 재생성됩니다.

CtrlRegen은 기본적으로 512 x 512픽셀에서 작동합니다. 더 큰 입력은 자동으로 타일링되므로 처리 시간과 메모리 사용량은 타일 수에 따라 증가합니다. GPU 사용을 강력히 권장하며, 모델 다운로드 용량은 약 10 GB로 예상해야 합니다. 가능하면 매우 큰 이미지는 먼저 축소하세요.

MarkLLM으로 제어된 텍스트 실험 검증

선택 사항인 MarkLLM 하네스는 일치하는 KGW 또는 SynthID 방식 구성으로 테스트 텍스트를 생성하고 다시 탐지할 수 있습니다. 제어된 실험에 유용하지만 벤더의 오라클이 아니며, 벤더 탐지기가 다시 작성된 텍스트를 거부할 것임을 증명할 수는 없습니다.

SCRIPTS=service/scripts
"$SCRIPTS/setup_markllm.sh"

의미 있는 결과를 얻으려면 생성과 탐지에 동일한 방식 구성과 키를 사용하세요.

결론

watermarks-remover는 승인된 콘텐츠에서 지원되는 출처 정보 표면을 정리하기 위한 신중하고 형식 인식적인 워크플로를 제공합니다. 통합 검사 명령으로 시작하고, 가능한 경우 결정론적인 Layer A 정리를 사용하며, 필요한 경우에만 Layer B 다시 쓰기를 추가하고, 외부 탐지기나 픽셀 백엔드는 선택적으로 활성화하세요. 애플리케이션 통합에는 로컬 HTTP API와 생성된 OpenAPI 사양이 가장 유연한 인터페이스를 제공합니다.