주요 콘텐츠로 건너뛰기
AI 튜토리얼

디지털 휴먼 Koubo로 사진 한 장에서 AI 토킹헤드 영상 만들기

이 튜토리얼에서는 디지털 휴먼 Koubo를 사용해 사진과 자연어 요청을 입 모양이 동기화되고 자막이 포함된 전문적인 영상으로 만드는 방법을 설명합니다. 에이전트 스킬을 설치하고 Renoise MCP를 연결하며, 로컬 도구를 준비하고 디지털 휴먼 페르소나를 만든 뒤, 제작 워크플로를 실행하고 편집 구성 요소를 사용자 지정하며 흔한 품질 문제를 방지하는 방법을 알아봅니다.

약 18분 소요
디지털 휴먼 Koubo로 사진 한 장에서 AI 토킹헤드 영상 만들기

Digital Human Koubo란 무엇인가요?

Digital Human Koubo는 AI 토킹헤드 동영상을 제작하기 위한 오픈 소스 Agent Skill입니다. 사용이 허가된 참조 사진과 콘텐츠 요청을 바탕으로 AI 에이전트가 대본을 작성하고, 립싱크 프레젠터 클립을 생성하며, 품질을 검사하고, 음성을 통일하고, 자막과 시각적 패키징을 추가한 뒤 Remotion으로 완성된 MP4를 렌더링할 수 있습니다.

Digital Human Koubo 토킹헤드 동영상 예시

프레젠터 설정은 persona.json에 저장되며, 얼굴 참조 이미지, 의상, 음성 설명, 프롬프트 템플릿이 포함됩니다. 이를 통해 라이브 스트리밍 스튜디오, 교실, 매장, 거리 및 기타 생성 장면에서 동일한 디지털 인물을 재사용할 수 있습니다.

본인의 얼굴과 음성 또는 사용 권한을 명시적으로 받은 자료만 사용하세요. 실제 인물이나 크리에이터를 사칭하지 말고, 완성된 동영상에는 AI 디지털 휴먼 퍼포먼스임을 표시하세요.

주요 기능

  • 재사용 가능한 디지털 휴먼: 참조 사진 한 장과 저장된 페르소나 설정으로 일관된 프레젠터를 만듭니다.
  • 립싱크 생성: 대본을 15초 이하의 세그먼트로 나누고 Renoise MCP를 통해 Grok Video 1.5로 생성합니다.
  • 승인 기반 비용 관리: 에이전트는 생성 전에 세그먼트 수, 길이, 예상 크레딧, 계정 잔액을 보고합니다. 승인을 기다린 뒤 첫 번째 세그먼트를 생성해 검토를 요청하고 나머지를 일괄 생성합니다.
  • 자동 품질 관리: 생성된 음성을 whisper로 전사하고 대본과 비교합니다. 또한 세그먼트마다 네 개의 프레임을 검사해 원치 않는 영상 내장 자막과 같은 문제를 확인합니다.
  • 음성 일관성: 스펙트럼 매칭, 디에서싱, 공통 공간 리버브, 라우드니스 정규화를 적용해 별도로 생성된 클립도 하나의 녹음처럼 들리게 합니다.
  • 다섯 가지 편집 스타일: 주제, 형식, 길이, 예상 시청자에 따라 적합한 스타일을 추천합니다.
  • 패키징 도구 모음: 48개의 컴포넌트로 훅, 근거 카드, 카운터, 지도, 챕터 카드, 애니메이션 자막, 펀치인 및 기타 편집 패턴을 제공합니다.
  • 다국어 지원: 영어, 일본어, 한국어, 프랑스어, 스페인어, 아랍어를 테스트했으며, 음성 확인에는 whisper를 사용합니다.
  • 선택적 깊이 텍스트: macOS에서는 Apple Vision 인물 세그멘테이션을 사용해 배경과 프레젠터 사이에 큰 텍스트를 배치할 수 있습니다.

제작 워크플로 이해하기

이 스킬은 호환 가능한 에이전트가 다음 파이프라인을 따라 작업하도록 안내합니다.

  1. Renoise MCP, ffmpeg, Python, Node.js, Remotion, whisper를 확인합니다.
  2. 콘텐츠를 분석하고 두 가지 편집 스타일을 추천한 뒤, 한 번의 질문으로 필요한 선택 사항을 수집합니다.
  3. script.json에 세그먼트로 나눈 대본을 만들고, 생성되는 말하기 클립이 15초 제한을 넘지 않도록 합니다.
  4. 예상 Renoise 크레딧 비용을 안내하고 확인을 기다립니다.
  5. 첫 번째 세그먼트를 생성해 승인을 요청한 다음 나머지 세그먼트를 생성합니다.
  6. 클립을 안전하게 다운로드하고, 음성을 전사하며, 대표 프레임을 검사합니다.
  7. 음성 통일을 적용하고 tl.json에 단어 단위 타임라인을 만듭니다.
  8. Remotion 스타일 템플릿과 선택한 패키징 컴포넌트로 편집합니다.
  9. 동영상을 렌더링하고 전환을 검사한 뒤 최종 라우드니스를 정규화합니다.
Digital Human Koubo 생성 동영상 시연

설치 전 확인 사항

전체 워크플로를 자동화하려면 에이전트가 Agent Skills를 로드하고, 원격 MCP 서버에 연결하며, 로컬 명령을 실행할 수 있어야 합니다. 이 저장소의 구축과 테스트에는 Claude Code가 사용되었습니다. Codex도 동일한 스크립트로 작업할 수 있으며, OpenClaw, WorkBuddy 및 기타 제품도 이 세 가지 기능을 모두 제공한다면 사용할 수 있습니다.

MCP와 채팅만 지원하는 에이전트도 동영상을 기획하고, 생성 비용을 안내하며, Renoise를 통해 클립을 만들 수 있습니다. 이후 로컬 다운로드, 품질 검사, 편집, 렌더링은 셸을 사용할 수 있는 에이전트로 수행하거나 문서화된 명령을 직접 실행해야 합니다.

Digital Human Koubo 설치

1. 저장소 복제

git clone https://github.com/andyhuo520/digital-human-koubo.git
cd digital-human-koubo

2. 두 Agent Skill 모두 설치

저장소에는 기본 digital-human-koubo 스킬과 Style A에서 사용하는 finance-explainer 엔진이 포함되어 있습니다. Claude Code 사용자는 다음 명령으로 둘 다 설치할 수 있습니다.

mkdir -p ~/.claude/skills
cp -R skills/digital-human-koubo skills/finance-explainer ~/.claude/skills/

Codex의 경우 해당 스킬 디렉터리에 복사합니다.

mkdir -p ~/.codex/skills
cp -R skills/digital-human-koubo skills/finance-explainer ~/.codex/skills/

에이전트가 그래픽 인터페이스를 통해 스킬을 가져오는 경우 두 폴더를 포함한 ZIP 아카이브를 만드세요.

cd skills
zip -r ../digital-human-skills.zip digital-human-koubo finance-explainer
cd ..

3. Renoise MCP 연결

Renoise에서 계정을 만드세요. 인증은 브라우저에서 진행되므로 프로젝트에 API 키를 붙여 넣을 필요가 없습니다.

Claude Code의 경우 공식 플러그인을 설치합니다.

/plugin marketplace add ArcoCodes/renoise-plugins-official
/plugin install renoise@renoise-plugins-official

Codex의 경우 원격 MCP 서버를 추가하고 인증합니다.

codex mcp add renoise --url https://renoise.ai/api/public/mcp
codex mcp login renoise

다른 호환 클라이언트에서는 https://renoise.ai/api/public/mcp를 사용자 지정 원격 MCP URL로 사용할 수 있습니다. 연결한 후 에이전트에게 Renoise 잔액을 확인하도록 요청하세요. 이렇게 하면 유료 에셋 생성을 시작하기 전에 인증과 도구 액세스를 모두 확인할 수 있습니다.

4. 로컬 제작 도구 설치

로컬 파이프라인에는 ffmpeg, NumPy와 Pillow가 포함된 Python 3, Node.js 18 이상, whisper.cpp, whisper 모델이 필요합니다. macOS에서는 일반적으로 다음과 같이 설정합니다.

brew install ffmpeg python node whisper-cpp
python3 -m pip install numpy pillow

whisper.cpp 모델 컬렉션에서 ggml-medium-q5_0.bin을 다운로드하여 ~/models/에 저장하세요. 또는 파이프라인이 다른 위치를 가리키도록 설정할 수 있습니다.

export WHISPER_MODEL=/path/to/model.bin

Claude Code 사용자는 포함된 진단 스크립트를 실행할 수 있습니다. 이 스크립트는 설치된 종속 항목은 건너뛰고, 누락된 항목에 대한 옵션을 표시합니다.

bash ~/.claude/skills/digital-human-koubo/scripts/doctor.sh

Windows에서는 Winget으로 ffmpeg, Python, Node.js를 설치한 다음 whisper.cpp 릴리스에서 whisper-cli를 받으세요. Linux에서는 시스템 패키지 관리자로 ffmpeg와 Python을 설치하고, Node.js의 LTS 버전을 사용하며, 필요한 경우 whisper.cpp를 소스에서 빌드하세요.

5. 오디오 에셋 생성

저장소에는 타사 오디오가 포함되어 있지 않습니다. 다음 명령으로 30개의 음향 효과와 임시 배경 음악을 생성하세요.

python3 ~/.claude/skills/digital-human-koubo/scripts/make_assets.py

new_edit.sh 스크립트도 새 프로젝트에서 이 단계를 수행합니다. 더 높은 품질의 사운드트랙을 사용하려면 사용 라이선스를 보유한 음악을 <project>/public/music/bgm.mp3에 저장하세요.

나만의 디지털 휴먼 만들기

  1. 조명이 고르고, 입을 다물고 있으며, 머리카락이 얼굴에서 떨어져 있는 정면 사진을 선택하세요.
  2. 에이전트에게 정면, 양쪽 측면, 후면을 보여 주는 4방향 레퍼런스 시트를 생성하도록 요청하세요. README에서는 2K 해상도의 GPT Image 2.5를 권장합니다.
  3. 사용 가능한 동영상 모델(예: Grok Video 1.5와 Wan 3.0)로 같은 이미지와 대사를 테스트하고, 원하는 결과를 선택하세요.
  4. 승인된 레퍼런스를 Renoise에 업로드하세요.
  5. 반환된 material:<id> 값을 skills/digital-human-koubo/persona.json의 renoise.reference_material 아래에 복사하세요.

저장소에 포함된 material ID는 작성자의 Renoise 계정에 속하므로 다른 계정에서는 작동하지 않습니다. 직접 업로드한 레퍼런스로 교체하세요. 문서화된 other_hosts.me 필드를 통해 두 번째 진행자를 설정할 수도 있습니다.

첫 번째 동영상 만들기

스킬과 도구를 사용할 수 있게 되면 동영상을 자연어로 설명하세요. 주제, 원하는 길이, 정확한 제안 세부 정보, 시각적 요청 사항을 포함하세요.

내 디지털 휴먼 스킬을 사용해 30초 라이브 스트리밍 광고를 만들어 줘:
WorkBuddy course, 10 lessons, ¥99, previously ¥999.

더 긴 설명 영상이나 특정 패키징을 요청할 수도 있습니다.

Silicon Valley Bank가 파산한 이유를 설명하는 3분짜리 설명 영상을 만들어 줘.
금융 및 기술 설명 스타일을 사용해.
국가가 언급되면 지도 경로를 추가해.
진행자 뒤에 “¥99”를 배치하고 티저 콜드 오픈으로 시작해.

에이전트는 짧은 콘텐츠 진단, 권장 스타일 2개, 스타일·화면 비율·길이·캡션 강도·진행자를 다루는 단일 질문 세트를 제시해야 합니다. 그런 다음 크레딧 견적을 보여 주기 전에 스크립트와 장면 디자인을 준비합니다.

자동으로 승인하지 마세요. 세그먼트 수, 총 초, 현재 잔액, 예상 크레딧을 확인하세요. 승인한 후에는 첫 번째 세그먼트에서 정체성 일관성, 발음, 립싱크, 구도, 원치 않는 자막을 점검하세요. 샘플이 만족스러울 때만 나머지 배치를 승인하세요.

편집 스타일 선택

  • 스타일 A, 금융 또는 기술 설명: 사건, 근거, 데이터, “이유”에 관한 약 3~20분 동영상에 적합한 16:9 형식입니다.
  • 스타일 B, 인플루언서 토킹 헤드: 30~120초 분량의 제품 추천, 판매 영상, 의견 콘텐츠에 적합한 9:16 형식입니다. 캡션은 절제된 스타일, 기본 스타일, 생동감 있는 스타일 중에서 선택할 수 있습니다.
  • 스타일 C, 출시 분석: 30~90초 분량의 제품 또는 모델 발표에 적합한 16:9 형식이며, 진행자가 보조 영상 옆에 등장하는 경우가 많습니다.
  • 스타일 D, 단계별 튜토리얼: 3~8분 분량의 설정 안내와 교육 콘텐츠에 적합한 16:9 형식입니다.
  • 스타일 E, 다중 진행자 및 다중 장면: 여러 진행자나 장소가 등장하는 3~7분 분량의 다국어 시연에 적합한 16:9 형식입니다.

스타일 A는 인기 있는 설명 영상 형식에서 구조와 편집 원칙만 차용합니다. 특정 제작자의 얼굴, 목소리, 세트, 표현을 사용하지 않습니다.

패키징 사용자 지정

패키징 시스템에는 이름이 지정된 48개의 구성 요소가 있습니다. 구성 요소는 오프닝 훅, 근거 및 데이터, 주석, 인물, 리듬, 인터랙션을 중심으로 묶여 있습니다. 예로는 TeaserColdOpen, NumberSpike, EvidenceCard, MapRoute, LowerThird, PunchInHost, ChapterCard, TextBehind가 있습니다.

구성 요소는 pack 목록에 추가합니다. 타이밍은 세그먼트와 대사를 말하는 단어를 참조할 수 있으므로, 효과를 단순히 원시 초 단위에 의존하지 않고 음성에 맞춰 실행할 수 있습니다.

{
  "pack": [
    {
      "use": "NumberSpike",
      "at": "1:不到十块钱",
      "until": "1:end",
      "text": "¥9.9/节",
      "label": "一节课"
    },
    {
      "use": "Danmaku",
      "items": [
        { "t": "真的假的？", "at": "1:" },
        { "t": "AI 还能帮我干活？", "at": "1:教你", "hot": true }
      ]
    }
  ]
}

렌더링하기 전에 편집 구성을 검증하세요.

python3 scripts/check_edit.py <project>/src

발표자 뒤에 텍스트 만들기

깊이감 있는 텍스트 효과는 배경 레이어, 큰 텍스트, 발표자의 투명한 컷아웃을 사용합니다. 인물 분할은 Apple Vision에 의존하므로, 파이프라인의 나머지 부분이 크로스 플랫폼이더라도 이 특정 효과에는 macOS가 필요합니다.

python3 scripts/cutout_video.py \
  public/main.mp4 \
  public/main_cut_s4.webm \
  --from 17.2 \
  --to 22.4

효과가 필요한 초 단위 구간만 처리하세요. 중간 거리 샷이며 피사체 주변에 여백이 보일 때 가장 잘 작동합니다. 발표자가 프레임의 약 60퍼센트를 넘게 차지하면 스크립트가 텍스트가 가려질 수 있다고 경고합니다. 관련 세그먼트에 "shot": "depth"를 지정하면 더 적합한 구도로 생성됩니다.

고급 제작 팁

시작을 즉각적으로 구성하기

처음 3초 안에 주장, 행동 또는 핵심 질문을 제시하세요. 인사말이나 로고로 시작하지 마세요. 처음 30초 동안에는 약 3~5초마다 시각적 또는 편집상의 변화를 하나씩 넣으세요.

움직임은 효율적으로 사용하기

단일 카메라 디지털 휴먼의 경우, 문장 경계에서 펀치인 컷을 사용하면 적은 비용으로 시각적 리듬을 만들 수 있습니다. 문서화된 패턴은 약 1.0×, 1.18×, 1.32× 구도를 번갈아 사용합니다.

음향 효과는 선별적으로 사용하기

배경 음악은 계속 유지하되, 음향 효과는 의미 있는 사건에만 사용하세요. 공개 직전에 약 0.6~1.0초 정도 짧게 침묵을 넣으면 공개 효과를 높일 수 있습니다.

전사 오류를 지능적으로 검토하기

Whisper는 음성으로 말한 중국어 숫자 표현을 숫자 표기로 바꿀 수 있습니다. 오디오가 정확하더라도 이로 인해 계산된 텍스트 일치 점수가 낮아질 수 있습니다. 비용을 지불하고 다시 생성하기 전에 의심스러운 구간을 직접 들어 보세요.

원본 화면비 유지하기

Grok의 9:16 720p 출력은 720×1280입니다. 이를 다른 화면비로 늘리지 마세요. 적합한 템플릿을 사용하거나, 의도적으로 크롭하거나, 필요한 형식으로 다시 생성하세요.

발표자 오디오가 겹쳐 들리지 않게 하기

정리된 오디오를 사용할 때는 발표자 비디오 트랙을 음소거하세요. 원본 트랙과 처리된 트랙을 아주 조금 어긋난 상태로 함께 재생하면 거친 콤 필터링이 발생합니다.

대체 음성은 신중하게 사용하기

Grok의 기본 음성은 일반적으로 가장 뛰어난 동기화를 제공합니다. 모델이 해당 음성에 맞춰 립 모션을 생성하기 때문입니다. Xiaomi MiMo TTS는 설계된 음성, 승인된 복제 음성 또는 내레이션을 제공할 수 있지만, 생성된 음성을 교체하면 약 100밀리초의 오프셋이 생길 수 있습니다. 이는 전체 화면 클로즈업보다 화면 속 화면 샷에서 덜 눈에 띕니다. 자신의 녹음과 정확히 일치시키려면 OmniHuman과 같은 오디오 기반 모델에 관한 스킬 문서를 참조하세요.

비용 및 승인 전략

생성에는 Renoise 크레딧이 사용되며 가격은 변경될 수 있습니다. README에는 27초 분량의 세로형 라이브스트림 광고가 482크레딧을 사용했고, 몇 분 길이의 튜토리얼에는 수천 크레딧이 필요했다고 기록되어 있습니다. 이 수치는 고정 가격이 아닌 예시로만 취급하세요.

항상 에이전트의 실시간 견적을 기준으로 하세요. 계획된 해상도도 검토하세요. 문서에 기록된 당시의 기준 가격은 Grok Video 1.5의 720p가 초당 17크레딧, 480p가 초당 10크레딧, GPT Image 2.5의 2K 생성이 23크레딧이었습니다.

  • 소유하고 있거나 명시적인 사용 허가를 받은 얼굴과 음성만 사용하세요.
  • 실존 인물을 절대 사칭하거나 AI 발표자가 실제 추천을 하는 것처럼 암시하지 마세요.
  • 영상을 AI 디지털 휴먼이 연기했다는 사실을 표시하고, 생성된 장면이나 동물에는 AI 생성임을 표시하세요.
  • 가격, 리뷰, 혜택, 통계 또는 고객 주장을 지어내지 마세요. 샘플 데이터는 명확히 표시하세요.
  • 저작권이 있는 영화 스틸, 텔레비전 화면, 유명인 이미지 또는 라이선스가 없는 웹 밈을 삽입하지 마세요.
  • 포함된 애니메이션 이모지 에셋을 사용할 때는 Google Noto를 출처로 표시하세요.
  • 특히 3명 초과의 회사에 해당하는 Remotion의 별도 라이선스 요건을 확인하세요.

결론

Digital Human Koubo는 에이전트 기반 기획, Renoise 생성, whisper 기반 검증, 오디오 처리, Remotion 편집을 통제된 제작 워크플로로 결합합니다. 시작할 때 가장 안전한 방법은 두 스킬을 모두 설치하고, 모든 종속성을 확인하고, 직접 승인한 페르소나를 구성한 다음, 짧은 테스트 영상을 제작하는 것입니다. 더 길거나 다국어이거나 패키징이 복잡한 프로젝트로 확장하기 전에 견적과 첫 번째 세그먼트를 신중하게 승인하세요.