TalkLikeYou 운영 중

TalkLikeYou는 중국과학원 자동화연구소가 오픈 소스로 공개한 실시간 디지털 휴먼 프레임워크입니다. 사진 한 장과 오디오 한 편만 있으면 사진 속 인물이 말하도록 만들 수 있으며, 입 모양 움직임은 지정한 실제 인물의 말하기 습관을 모방할 수 있습니다. TalkLikeYou는 동작 공간 모델링과 단일 스텝 샘플링으로 실시간 생성을 구현하고, 사전 설정 ID 또는 참조 동영상을 통한 습관 맞춤 설정을 지원합니다. 또한 모방 유사도를 정량화하는 전용 지표를 제안했으며, 코드와 가중치를 모두 오픈 소스로 공개합니다.

사진 말하기: 인물 사진 한 장과 오디오 한 편을 업로드하면 인물이 말하는 동영상을 생성할 수 있습니다.
습관 모방: 지정한 실제 인물의 입 모양 말하기 습관을 모방할 수 있으며, 사전 설정 ID 또는 4초 길이의 참조 동영상으로 지정합니다.
실시간 생성: 단일 스텝 샘플링 기술을 사용해 생성 속도 32.43 FPS를 달성하며, 실시간 스트리밍 출력을 지원합니다.
동영상 더빙: 동영상 속 인물의 입 모양 움직임을 교체하면서 기존 머리 움직임과 시간적 순서를 유지하여 다국어 더빙에 적합합니다.
대화형 디지털 휴먼: 대규모 언어 모델과 음성 인식·합성을 연결하면 실시간 대화형 디지털 아바타를 구현할 수 있습니다.
스타일화 구동: 스케치, 유화, 애니메이션, 3D 캐릭터 등 실사 인물이 아닌 스타일의 초상도 구동할 수 있습니다.

WeChat에서 팔로우한 후 “开源”라고 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요.
동작 공간 모델링: 픽셀 공간에서 이미지를 직접 생성하는 방식과 달리, TalkLikeYou는 먼저 사진을 동작 파라미터로 분석합니다. 이 경량 디지털 표현에서 말하기 동작을 학습하고 생성한 뒤 렌더러로 동영상을 합성하여 속도와 신원 안정성을 모두 확보합니다.
단일 스텝 Flow Matching 샘플링: Flow Matching으로 노이즈에서 목표까지의 직선 경로를 학습하고, 재매개변수화를 통해 정제된 동작 시퀀스를 직접 예측합니다. 단일 스텝 샘플링으로 약 50스텝에 가까운 립싱크 품질을 달성하여 32.43 FPS의 실시간 속도를 구현합니다.
통합 습관 공간: 보간이 가능한 저차원 습관 벡터 공간을 구축하고, 데이터셋에 포함된 실제 인물의 입 모양 움직임 통계를 one-hot 인코딩으로 압축합니다. 참조 동영상은 습관 추출기를 통해 동일한 공간으로 인코딩되므로 두 입력 방식을 자유롭게 전환하거나 보간해 혼합할 수 있습니다.
2단계 학습 전략: 먼저 380명 규모의 HDTF에서 one-hot 인코딩으로 “습관이란 무엇인가”를 학습한 다음, 대규모 CelebV-HQ에서 참조 동영상으로 전환하여 일반화 능력을 학습합니다. 주기적으로 one-hot 데이터를 재생해 망각을 방지하며, 습관 유사도를 0.33에서 0.64로 향상했습니다.
PLAD 평가 지표: 입 모양 움직임을 입 벌림 정도, 입술 오므림, 입술 가로 벌어짐이라는 세 가지 발음 축에 투영하고, 분포 히스토그램으로 참조 인물과 비교해 유사도를 계산합니다. 이를 통해 “말하기 습관이 얼마나 비슷한가”를 정량화하는 기준을 최초로 제시했습니다.

환경 준비: Linux 시스템에서 Python 3.10 + CUDA 12.1 + FFmpeg를 설치하고, NVIDIA GPU의 VRAM이 최소 12GB인지 확인합니다.
코드 다운로드: GitHub에서 TalkLikeYou 메인 저장소를 클론합니다.
종속성 설치: conda env create -f environment.yaml을 실행해 환경을 생성하고 활성화하거나, CUDA 버전의 PyTorch를 직접 설치한 후 pip install -r requirements.txt를 실행합니다.
가중치 다운로드: Hugging Face 명령어 hf download doubi-killer/TalkLikeYou를 사용해 모델 가중치를 저장소 루트 디렉터리에 다운로드합니다.
소재 준비: 인물 사진 또는 동영상 한 편과 오디오 한 편을 준비합니다. 입력 동영상은 25 FPS여야 합니다.
추론 실행: python -m talklikeyou --source 사진 --audio 오디오 --person-id 192 --sampling-steps 1을 실행해 동영상을 생성합니다. --person-id를 바꾸면 말하기 습관이 변경됩니다.
습관 맞춤 설정: --person-id를 --habit-reference로 바꾸고 최소 100프레임의 참조 동영상을 지정하면 해당 동영상 속 인물의 말하기 습관을 모방할 수 있습니다.
동영상 더빙: --source에 동영상 파일을 지정하고 --pose-mode source를 추가하면 입 모양 움직임만 교체하고 원래 머리 움직임을 유지할 수 있습니다.

말하기 습관 맞춤 모방: 개인의 입 모양 말하기 습관을 핵심 요소로 모델링한 업계 최초의 오픈 소스 프레임워크입니다. ID 또는 동영상으로 지정할 수 있어 획일적인 평균 입 모양에서 벗어날 수 있습니다.
빠른 실시간 속도: 단일 스텝 Flow Matching 샘플링으로 32.43 FPS를 구현합니다. 이미지 확산 방식의 Sonic보다 거의 100배 빠르며, RTX 3090 한 장에서 VRAM 사용량이 4GB 미만입니다.
화질과 동기화의 균형: FID 7.71로 2위의 3분의 1에도 못 미치며, Sync-C 8.73으로 전체 최고 수준입니다. 입 모양 동기화와 영상 품질을 모두 확보합니다.
뛰어난 습관 유사도: PLAD 지표의 습관 유사도는 0.62로 MimicTalk（0.48）, PC-Talk（0.39） 등 경쟁 제품보다 크게 높습니다.
유연한 2가지 맞춤 방식: 공식 사전 설정 ID로 비용 없이 스타일을 전환할 수 있고, 임의의 참조 동영상으로 즉시 학습할 수 있으며, 보간을 통해 새로운 습관을 만들 수 있습니다.

프로젝트 공식 웹사이트：https://bq-wang0511.github.io/TalkLikeYou/
GitHub 저장소：https://github.com/BQ-Wang0511/TalkLikeYou
Hugging Face 모델 저장소：https://huggingface.co/doubi-killer/TalkLikeYou
arXiv 기술 논문：https://arxiv.org/pdf/2610.06658

버추얼 스트리머 및 라이브 커머스: 개인의 말하기 습관을 가진 버추얼 스트리머를 저비용으로 제작할 수 있습니다. 4GB VRAM으로 로컬에서 실시간 실행할 수 있어 실제 인물이 직접 출연할 필요가 없습니다.
다국어 동영상 더빙: 동영상 속 인물의 입 모양 움직임을 교체하고 기존 머리 움직임의 시간적 순서를 유지하여, 영화 더빙이나 해외 진출 콘텐츠의 입 모양을 목표 언어에 자연스럽게 맞출 수 있습니다.
디지털 아바타 및 가상 고객센터: 대규모 언어 모델과 음성 합성을 결합해 실시간 대화형 아바타를 구축할 수 있으며, 온라인 고객센터, 지능형 안내 등 “대면” 상호작용이 필요한 장면에 활용할 수 있습니다.
개인 맞춤형 교육 및 훈련: 교사나 강사를 위한 전용 디지털 아바타를 제작하고 고유한 말하기 스타일을 재현하여 강의 녹화나 원격 교육에 활용할 수 있습니다.