Claude Skill과 Seedance 2.5로 AI 캐릭터 교체 영상 만들기

프로젝트 소개

“AI 캐릭터 교체 영상”은 Claude를 위한 Skill로, 이미 인기를 얻은 영상 속 인물을 직접 설계한 오리지널 AI 캐릭터로 교체하면서 원본 영상의 동작과 리듬을 최대한 유지하는 것을 목표로 합니다.

이 프로젝트는 Seedance 2.5를 호출해 영상 속 인물을 교체할 뿐 아니라, 캐릭터 디자인, 설정 이미지 프롬프트, 캐릭터 프로필 관리, 원본 영상 검사, 비교 영상 제작, TikTok·Instagram·트위터 게시 문구 생성까지 지원합니다.

예시 캐릭터 ‘원 선생’은 명나라 서생의 머리와 직장인의 몸을 결합한 모습입니다. 커다란 상투에는 옥비녀가 가로로 꽂혀 있고, 한 치수 큰 정장에 흰 양말과 슬리퍼를 착용합니다. 예시에서는 원본 영상의 인물만 교체하고 동작은 그대로 유지합니다.

핵심 기능

• 오리지널 캐릭터 디자인: “과장된 특징은 몸에 입히는 것이 아니라 사람의 일부처럼 보여야 한다”는 원칙에 따라 캐릭터 콘셉트와 설정 이미지 프롬프트를 생성합니다.
• 캐릭터 프로필 저장: 설정 이미지, 정면 사진, 외모 설명을 저장해 이후 교체 작업에서 재사용하고 캐릭터 이미지의 변화를 줄입니다.
• 원본 영상 검사: 영상 해상도와 길이를 자동으로 확인하고, 픽셀이 부족하면 자동 확대하며 미리보기 이미지를 생성합니다.
• 교체 프롬프트 생성: 한 명 또는 여러 명의 인물 교체를 지원하며, @이미지 번호로 관련 자료를 연결합니다.
• Seedance 2.5 호출: BytePlus ModelArk 또는 화산방주 API를 통해 작업을 자동 제출하고, 상태를 확인하며 결과를 다운로드합니다.
• 비교 영상 제작: 원본 영상과 교체 후 영상을 좌우로 배치하고 라벨을 추가하며 검은 여백이 생기지 않도록 처리합니다.
• 게시 콘텐츠 준비: TikTok 및 Instagram 자막 제안과 트위터 튜토리얼 스레드에 적합한 문구를 생성합니다.

프로젝트 파일 구조

프로젝트의 주요 파일과 디렉터리는 다음과 같습니다.

• skills/ai-character-swap/SKILL.md: Claude가 사용하는 Skill 본체입니다.
• skills/ai-character-swap/scripts/seedance_swap.py: Python 3와 ffmpeg만 사용하는 관련 Python 스크립트입니다.
• 新手说明.md: 명령줄에 익숙하지 않은 사용자를 위한 안내서로, 웹 버전으로 작업하는 방법을 포함합니다.
• examples/: 프로젝트 예시 비교 영상 디렉터리입니다.

준비 사항

ffmpeg 설치

프로젝트 스크립트는 영상을 처리하기 위해 ffmpeg를 사용합니다. macOS 사용자는 Homebrew로 설치할 수 있습니다.

brew install ffmpeg

Windows 사용자는 winget으로 설치할 수 있습니다.

winget install ffmpeg

스크립트 자체는 Python 3와 ffmpeg만 사용합니다. 설치가 완료되면 터미널에서 이 두 명령을 정상적으로 실행할 수 있는지 확인하는 것이 좋습니다.

Seedance 2.5 API 활성화

Claude가 교체 작업을 자동으로 제출하고 영상을 다운로드하도록 하려면 Seedance 2.5 API를 활성화하고 API Key를 생성해야 합니다. 프로젝트는 환경 변수 ARK_API_KEY를 통해 키를 읽습니다.

export ARK_API_KEY="your_API_Key"

Windows 환경에서는 사용 중인 터미널에 맞게 환경 변수를 설정하세요. 실제 API Key를 공개 코드에 직접 입력하거나 저장소에 게시하지 마세요.

방법 1: Claude에 자동 실행 맡기기

1. ffmpeg를 설치하고 Python 3 환경을 준비합니다.
2. Seedance 2.5 API를 활성화하고 API Key를 생성한 뒤 ARK_API_KEY를 설정합니다.
3. 프로젝트의 skills/ai-character-swap/를 Claude의 Skill로 추가합니다.
4. 오리지널 캐릭터 이미지와 교체할 인물이 포함된 영상을 준비합니다.
5. 컴퓨터에서 캐릭터 이미지와 영상을 Claude에 보내고 교체할 대상을 설명합니다.

기본적인 작업 요청은 다음과 같이 작성할 수 있습니다.

영상 속 인물을 ‘원 선생’으로 교체해 주세요. 먼저 영상을 확인하고, 캐릭터 프로필의 이미지와 외모 설명으로 교체 프롬프트를 생성해 주세요. 완료되면 좌우 비교 영상을 만들고 게시 문구도 작성해 주세요.

Claude는 Skill의 절차에 따라 캐릭터 자료, 원본 영상, Seedance 작업을 처리합니다. 영상에 인물이 여러 명 있다면 어느 인물을 교체할지 명확히 설명하거나 여러 인물을 한 번에 교체하도록 요청할 수 있습니다.

방법 2: 코드를 작성하지 않고 웹 버전 사용하기

명령줄이나 API에 익숙하지 않다면 프로젝트의 초보자 안내에서 ‘방법 1: 웹 버전’을 참고하세요. 이 방법은 ChatGPT와 Seedance 웹 버전을 함께 사용해 캐릭터 디자인과 영상 교체를 진행하므로 프로젝트 스크립트를 직접 실행할 필요가 없습니다.

웹 버전은 전체 과정을 먼저 체험하기에 적합합니다. 작업을 자동으로 제출하고 상태를 확인하며 다운로드해야 할 때는 Claude Skill과 Seedance 2.5 API를 함께 사용하세요.

전체 제작 과정

1. 오리지널 캐릭터 디자인

먼저 캐릭터의 핵심적인 대비와 시각적 특징을 정합니다. 프로젝트는 과장된 특징이 단순히 옷을 하나 추가하는 방식이 아니라 캐릭터의 몸과 이미지 일부가 되어야 한다고 강조합니다. 디자인을 완료한 뒤 설정 이미지 프롬프트를 생성하고 캐릭터 정면 사진을 준비합니다.

2. 캐릭터 프로필 만들기

설정 이미지, 정면 사진, 외모 설명을 캐릭터 프로필로 정리합니다. 이후 교체 작업마다 같은 프로필을 참조하면 헤어스타일, 얼굴 특징, 체형, 의상 등 시각 정보의 일관성을 유지하는 데 도움이 됩니다.

3. 원본 영상 검사

처리할 영상을 Claude 또는 관련 프로세스에 전달하고 먼저 해상도와 길이 정보를 확인합니다. 원본 영상의 픽셀이 부족하면 프로세스가 자동으로 확대하고 미리보기 이미지를 생성해 자료를 계속 사용해도 되는지 확인할 수 있도록 합니다.

4. 교체 프롬프트 생성

캐릭터 프로필과 영상 내용을 바탕으로 프롬프트를 생성합니다. 자료가 많을 때는 @이미지 번호를 사용해 캐릭터 이미지와 프롬프트의 참고 이미지가 서로 대응하도록 합니다. 한 명을 교체할 때는 대상을 명확히 지정하고, 여러 명을 교체할 때는 각 캐릭터에 해당하는 이미지와 인물을 설명해야 합니다.

5. Seedance 2.5 호출

API 프로세스는 작업을 자동으로 제출하고 생성 상태를 확인하며 작업이 완료되면 결과를 다운로드합니다. 프로젝트의 seedance_swap.py는 이 기능을 제공하며, 구체적인 요청 형식은 BytePlus가 ComfyUI용으로 제공한 Seedance 2.5 연동 코드를 바탕으로 정리되어 있습니다.

API를 처음 사용할 때는 먼저 스크립트의 --dry-run 옵션으로 프로세스와 요청을 확인하고, 긴 영상부터 바로 시작하지 않는 것이 좋습니다. 설정에 문제가 없는지 확인한 뒤 짧은 영상으로 실제 테스트를 진행하세요.

6. 비교 영상 제작

교체 결과를 확인한 후 좌우 비교 영상을 생성합니다. 왼쪽에는 원본 영상을 유지하고 오른쪽에는 AI 교체 결과를 배치한 뒤 명확한 라벨을 추가합니다. 프로젝트가 화면 배치를 처리해 완성본에 검은 여백이 생기지 않도록 하므로 결과를 바로 시연에 활용할 수 있습니다.

7. 게시 문구 생성

마지막으로 Claude가 완성된 영상을 바탕으로 TikTok 및 Instagram 자막을 제안하거나 트위터 튜토리얼 스레드 형식으로 정리하도록 합니다. 게시 전에는 영상에 AI가 사용되었다는 사실이 문구에 정확히 설명되어 있는지 확인해야 합니다.

고급 사용 팁

캐릭터 프로필을 우선적으로 고정하기

교체할 때마다 캐릭터를 새로 설명하지 마세요. 같은 설정 이미지, 정면 사진, 외모 설명을 계속 사용하면 영상마다 캐릭터가 달라지는 문제를 줄일 수 있습니다.

짧은 영상부터 긴 영상으로 진행하기

현재 API 호출 부분은 신중하게 테스트하는 것이 좋습니다. 먼저 --dry-run으로 요청을 확인한 다음 짧은 영상으로 API Key, 영상 매개변수, 다운로드 프로세스를 검증하고 성공한 뒤 실제 자료를 처리하세요.

인물과 이미지의 대응 관계 명확히 하기

여러 인물이 등장하는 영상에서는 교체할 인물을 프롬프트에 명확히 설명하고 @이미지 번호로 올바른 캐릭터 자료를 연결해야 합니다. 이렇게 하면 캐릭터 이미지와 대상 인물이 잘못 대응하는 문제를 줄일 수 있습니다.

영상 저작권과 초상권에 주의하기

프로젝트에서는 캐릭터가 반드시 오리지널이어야 합니다. 연예인, 인플루언서 또는 주변 사람의 사진으로 캐릭터를 만들지 마세요. 플랫폼 차단이 발생하거나 초상권 문제가 생길 수 있습니다.

게시할 때 AI 표시 활성화하기

TikTok과 Instagram에 콘텐츠를 게시할 때는 플랫폼의 요구 사항에 따라 AI 생성 콘텐츠임을 표시해야 합니다. 비교 영상과 게시 문구에서도 시청자가 자료가 전부 실제 촬영본이라고 오해하지 않도록 해야 합니다.

프로젝트 상태 및 문제 해결 방향

영상 검사, 프롬프트 생성, 비교 영상 제작은 예시 자료로 테스트를 완료했습니다. API 호출 부분의 요청 형식은 BytePlus 공식 연동 코드를 바탕으로 정리했으므로, 처음 사용할 때는 먼저 dry run을 진행한 뒤 짧은 영상으로 검증해야 합니다.

문제가 발생하면 먼저 ffmpeg가 설치되어 있는지, ARK_API_KEY가 올바르게 설정되어 있는지, 영상이 너무 길거나 해상도가 부족하지 않은지 확인하고 프로젝트 저장소의 안내를 살펴보세요. 그래도 해결되지 않으면 프로젝트에 Issue를 제출할 수 있습니다.

마무리

“AI 캐릭터 교체 영상”은 캐릭터 디자인, 캐릭터 일관성 관리, 영상 검사, Seedance 2.5 API 호출, 비교 영상 제작, 게시 문구 생성을 하나의 Claude Skill로 통합합니다. 먼저 웹 버전으로 과정을 익힌 뒤 API를 설정하고 Claude가 자료 검사부터 완성본 출력까지 전체 과정을 자동으로 처리하도록 할 수 있습니다.

시작하기 전에 두 가지 원칙을 지키세요. 오리지널 캐릭터를 사용하고 게시할 때 AI 콘텐츠임을 올바르게 표시하는 것입니다. 이렇게 하면 캐릭터를 더 안정적으로 재사용할 수 있으며 저작권, 초상권, 플랫폼 규정 준수와 관련된 위험도 줄일 수 있습니다.