TalkLikeYou Faoliyat yuritmoqda

TalkLikeYou — Xitoy Fanlar akademiyasi Avtomatlashtirish instituti tomonidan ochiq manba sifatida taqdim etilgan real vaqtli raqamli insonlar freymvorki. Bitta surat va audio yozuv orqali suratdagi odamni gapirtirish, lab harakatlarini esa tanlangan haqiqiy insonning gapirish odatlariga taqlid qildirish mumkin. TalkLikeYou harakatlar fazosini modellashtirish va bir bosqichli sampling orqali real vaqtli generatsiyani amalga oshiradi, odatlarni sozlash uchun oldindan belgilangan identifikator yoki namunaviy videoni qo‘llab-quvvatlaydi, taqlid o‘xshashligini miqdoriy baholash uchun maxsus ko‘rsatkichni taklif qiladi. Kod va og‘irliklarning barchasi ochiq manbadir.

Suratni gapirtirish: Bitta portret surati va audio yozuvni yuklab, qahramon gapirayotgan video yaratish mumkin.
Odatlarga taqlid: Tanlangan haqiqiy insonning lab bilan gapirish odatlariga taqlid qilish mumkin. Buni oldindan belgilangan identifikator yoki 4 soniyalik namunaviy video orqali ko‘rsatish mumkin.
Real vaqtli generatsiya: Bir bosqichli sampling texnologiyasidan foydalanadi, generatsiya tezligi 32.43 FPS ga yetadi va real vaqtli oqimli chiqishni qo‘llab-quvvatlaydi.
Video dublyaji: Videodagi qahramonning lab harakatlarini almashtirib, boshning asl harakatlari va vaqt ketma-ketligini saqlab qoladi; ko‘p tilli dublyaj uchun mos.
Dialogli raqamli inson: Katta til modeli, nutqni tanish va nutq sintezini ulash orqali real vaqtli dialogli raqamli nusxani yaratish mumkin.
Uslubiy boshqaruv: Eskiz, moybo‘yoq, anime, 3D qahramonlar kabi real bo‘lmagan uslubdagi portretlarni ham boshqarishni qo‘llab-quvvatlaydi.

WeChat’da kuzatib boring va “开源” deb javob yuboring, AI ochiq manbali loyihalar guruhiga qo‘shiling
Harakatlar fazosini modellashtirish: Tasvirlarni bevosita piksel fazosida generatsiya qilishdan farqli ravishda, TalkLikeYou avval suratni harakat parametrlariga ajratadi, so‘ng shu yengil raqamli ma’lumotlar asosida gapirish harakatlarini o‘rganadi va generatsiya qiladi. Keyin renderer ularni videoga qayta birlashtiradi, bu esa tezlik va shaxsiylik barqarorligini ta’minlaydi.
Bir bosqichli Flow Matching samplingi: Flow Matching yordamida shovqindan maqsadli natijaga olib boruvchi to‘g‘ri yo‘l o‘rganiladi, qayta parametrizatsiya bilan toza harakatlar ketma-ketligi bevosita bashorat qilinadi. Bir bosqichli sampling qariyb 50 bosqichli samplingga yaqin lab sinxronizatsiyasi sifatini ta’minlab, 32.43 FPS real vaqt tezligiga erishadi.
Yagona odatlar fazosi: Interpolyatsiya qilinadigan past o‘lchamli odatlar vektori fazosi yaratiladi. Ma’lumotlar to‘plamidagi haqiqiy insonlarning lab harakatlari statistikasi one-hot kodlashga siqiladi, namunaviy video esa odatlarni ajratuvchi modul orqali shu fazoga kodlanadi. Ikki kirish usuli erkin almashtirilishi yoki hatto aralashtirib interpolyatsiya qilinishi mumkin.
Ikki bosqichli o‘qitish strategiyasi: Avval 380 kishi ishtirokidagi HDTF to‘plamida one-hot kodlash yordamida “odat nima” ekani o‘rganiladi, keyin katta hajmdagi CelebV-HQ to‘plamida umumlashtirish qobiliyatini oshirish uchun namunaviy videolarga o‘tiladi. Unutishni oldini olish uchun one-hot ma’lumotlari davriy ravishda qayta ishlanadi va odatlar o‘xshashligi 0.33 dan 0.64 gacha oshiriladi.
PLAD baholash ko‘rsatkichi: Lab harakatlari og‘iz ochilish amplitudasi, lablarning yig‘ilishi va lablarning kengayishi kabi uchta talaffuz o‘qiga proyeksiyalanadi. So‘ng taqsimot gistogrammalari orqali namunadagi inson bilan o‘xshashlik hisoblanadi. Bu “gapirish odati qanchalik o‘xshaydi” degan savolga miqdoriy mezon taqdim etgan ilk yondashuvdir.

Muhitni tayyorlash: Linux tizimidan foydalaning, Python 3.10 + CUDA 12.1 + FFmpeg’ni o‘rnating va NVIDIA grafik kartasi xotirasi kamida 12GB ekanini ta’minlang.
Kodni yuklab olish: TalkLikeYou asosiy repozitoriysini GitHub’dan klonlang.
Qaramliklarni o‘rnatish: Muhit yaratish va uni faollashtirish uchun conda env create -f environment.yaml buyrug‘ini bajaring yoki CUDA versiyasidagi PyTorch’ni mustaqil o‘rnatib, pip install -r requirements.txt buyrug‘ini bajaring.
Og‘irliklarni yuklab olish: hf download doubi-killer/TalkLikeYou buyrug‘i orqali model og‘irliklarini repozitoriy ildiz katalogiga yuklab oling.
Materiallarni tayyorlash: Bitta portret surati yoki video hamda audio yozuv tayyorlang. Kiruvchi video 25 FPS bo‘lishi kerak.
Inferensni ishga tushirish: Video yaratish uchun python -m talklikeyou --source surat --audio audio --person-id 192 --sampling-steps 1 buyrug‘ini bajaring. --person-id qiymatini almashtirish orqali gapirish odatini o‘zgartiring.
Odatni sozlash: --person-id o‘rniga kamida 100 kadrli namunaviy videoga ishora qiluvchi --habit-reference parametridan foydalaning. Shunda ushbu videodagi insonning gapirish odatlariga taqlid qilinadi.
Video dublyaji: --source parametrini video fayliga yo‘naltiring va --pose-mode source parametrini qo‘shing. Bu faqat lab harakatlarini almashtirib, boshning asl harakatlarini saqlab qoladi.

Gapirish odatiga maxsus taqlid: Shaxsiy lab bilan gapirish odatlarini birinchi darajali obyekt sifatida modellashtirgan sohadagi ilk ochiq manbali freymvork. Odatlarni identifikator yoki video orqali belgilash mumkin, shu bilan “hamma uchun bir xil” o‘rtacha lab harakatlaridan voz kechiladi.
Yuqori real vaqt tezligi: Bir bosqichli Flow Matching samplingi 32.43 FPS tezlikni ta’minlaydi, bu tasvir diffuziyasi yo‘nalishidagi Sonic’dan qariyb yuz baravar tezroq. Bitta RTX 3090’da video xotirasi sarfi 4GB dan kam.
Tasvir sifati va sinxronizatsiya uyg‘unligi: FID 7.71 bo‘lib, ikkinchi o‘rindagi natijaning uchdan biridan ham kam; Sync-C 8.73 bilan eng yuqori natijaga ega. Lab sinxronizatsiyasi va tasvir sifatini birgalikda ta’minlaydi.
Odatlar o‘xshashligi bo‘yicha yetakchilik: PLAD ko‘rsatkichi bo‘yicha odatlar o‘xshashligi 0.62 ga teng bo‘lib, MimicTalk (0.48), PC-Talk (0.39) va boshqa raqobatchilardan sezilarli yuqori.
Ikki kirish orqali moslashuvchan sozlash: Rasmiy oldindan belgilangan identifikatorlar yordamida uslubni hech qanday qo‘shimcha xarajatsiz almashtirish, istalgan namunaviy videodan foydalanib odatni darhol o‘rganish va yangi odatlar yaratish uchun interpolyatsiya qilish mumkin.

Loyiha rasmiy sayti: https://bq-wang0511.github.io/TalkLikeYou/
GitHub repozitoriysi: https://github.com/BQ-Wang0511/TalkLikeYou
HuggingFace model kutubxonasi: https://huggingface.co/doubi-killer/TalkLikeYou
arXiv texnik maqolasi: https://arxiv.org/pdf/2610.06658

Virtual boshlovchi yoki jonli savdo: Shaxsiy gapirish odatlariga ega virtual boshlovchini kam xarajat bilan yaratish, 4GB video xotirasi bilan mahalliy qurilmada real vaqtli ishlatish va haqiqiy insonni kameraga chiqarishga hojat qoldirmaslik mumkin.
Ko‘p tilli video dublyaji: Videodagi insonning lab harakatlarini almashtirib, bosh harakatlari vaqt ketma-ketligini saqlab qolish orqali tarjima qilingan filmlar yoki xalqaro kontentda lab shaklini maqsad tiliga tabiiy moslashtirish mumkin.
Raqamli nusxa yoki virtual mijozlar xizmati: Katta til modeli va nutq sintezi bilan birgalikda real vaqtli dialogli nusxani yaratish, undan onlayn mijozlar xizmati, aqlli yo‘riqnoma kabi “yuzma-yuz” muloqot talab qilinadigan sohalarda foydalanish mumkin.
Shaxsiylashtirilgan ta’lim yoki trening: O‘qituvchi yoki trener uchun maxsus raqamli obraz yaratib, uning o‘ziga xos gapirish uslubini takrorlash va undan darslarni yozib olish yoki masofaviy ta’limda foydalanish mumkin.