TalkLikeYou خدام

TalkLikeYou هو إطار مفتوح المصدر للإنسان الرقمي فالوقت الحقيقي من معهد الأوتوماتيكا التابع للأكاديمية الصينية للعلوم. غير عطِيه تصويرة ومقطع صوتي، ويقدر يخلّي الشخص اللي فالتصويرة يهضر، وحركات الفم ديالو كتقلّد طريقة الهضرة ديال شخص حقيقي كتحددو نتا. TalkLikeYou كيعتمد على نمذجة فضاء الحركة وأخذ عينة وحدة باش يدير التوليد فالوقت الحقيقي، وكيَدعم رقم مُسبق الإعداد ولا فيديو مرجعي لتخصيص طريقة الهضرة. كما قدّم مؤشرات خاصة لقياس تشابه التقليد، والكود والأوزان كاملين مفتوحين المصدر.

تصويرة كتهضر: حمّل تصويرة بورتريه ومقطع صوتي، وغادي يتولد فيديو للشخص وهو كيهضر.
تقليد طريقة الهضرة: يقدر يقلّد طريقة تحريك الفم ديال شخص حقيقي كتحددو نتا، باستعمال رقم مُسبق الإعداد ولا فيديو مرجعي مدتو 4 ثواني.
التوليد فالوقت الحقيقي: كيستعمل تقنية أخذ عينة وحدة، بسرعة كتصل لـ32.43 FPS، وكيَدعم الإخراج المتدفق فالوقت الحقيقي.
دوبلاج الفيديو: يقدر يبدّل حركات الفم ديال الشخص فالفيديو، مع الحفاظ على حركة الراس والتزامن الأصليين، وهادشي مناسب للدوبلاج بلغات متعددة.
إنسان رقمي للحوار: منين كيتربط بنموذج لغوي كبير وبالتعرّف والتركيب الصوتي، يقدر يدير نسخة رقمية كتتفاعل فالحوار فالوقت الحقيقي.
تحريك بأساليب مختلفة: كيدعم تحريك بورتريهات ماشي واقعية بحال الرسومات، واللوحات الزيتية، والأنمي، وشخصيات 3D.

تابع الحساب فـ WeChat وكتب “开源” فالرد باش تنضم لمجموعة تبادل مشاريع الذكاء الاصطناعي مفتوحة المصدر
نمذجة فضاء الحركة: عوض ما كيولّد الصور مباشرة ففضاء البيكسلات، TalkLikeYou كيفكك التصويرة أولا لمعاملات الحركة، وكيتعلم وكيولّد حركات الهضرة فوق هاد الأرقام الخفيفة، ومن بعد كيَرَكّبها الريندرر فالفيديو، وكيجمع بين السرعة واستقرار الهوية.
أخذ عينة Flow Matching فخطوة وحدة: كيستعمل Flow Matching باش يتعلم المسار المستقيم من الضجيج للهدف، ومع إعادة المعلمة كيتنبأ مباشرة بتسلسل الحركة النقي. أخذ عينة فخطوة وحدة يقدر يوصل لجودة مزامنة الشفايف اللي كتقارب 50 خطوة، وكيحقق سرعة فالوقت الحقيقي قدرها 32.43 FPS.
فضاء موحّد للعادات: كيبني فضاء منخفض الأبعاد للعادات قابل للاستيفاء، وكيضغط إحصائيات حركة الفم ديال الأشخاص الحقيقيين فمجموعة البيانات فترميز one-hot. أما الفيديو المرجعي فكيتم ترميزه فالنفس الفضاء بواسطة مستخرج العادات، ويمكن التبديل بين الجوج ديال المداخل أو حتى مزجهم بالاستيفاء.
استراتيجية تدريب على جوج مراحل: فالمرحلة الأولى كيتعلم على HDTF بحجم 380 شخص باستعمال ترميز one-hot باش يفهم “شنو هي العادة”، ومن بعد فـ CelebV-HQ كبيرة كيستعمل فيديوهات مرجعية باش يدرّب القدرة على التعميم. وكيرجع دوريا لبيانات one-hot باش يمنع النسيان، وبهذا طلعات مشابهة العادات من 0.33 لـ0.64.
مؤشر التقييم PLAD: كيسقط حركة الفم على ثلاثة محاور نطق: مدى فتح الفم، تضميق الشفايف، وتوسيع الشفايف. ومن بعد كيقارن المدرجات التكرارية مع الشخص المرجعي باش يحسب التشابه، وكيعطي لأول مرة معيارا كميا باش يحدد واش “طريقة الهضرة مشابهة ولا لا”.

تحضير البيئة: استعمل نظام Linux، وثبّت Python 3.10 + CUDA 12.1 + FFmpeg، وتأكد بلي كارت الشاشة NVIDIA فيها على الأقل 12GB ديال الذاكرة.
تحميل الكود: كلونِي المستودع الرئيسي ديال TalkLikeYou من GitHub.
تثبيت التبعيات: نفّذ conda env create -f environment.yaml باش تنشئ البيئة وتفعّلها، ولا ثبّت بوحدك PyTorch بنسخة CUDA ومن بعد نفّذ pip install -r requirements.txt.
تحميل الأوزان: باستعمال الأمر hf download doubi-killer/TalkLikeYou من Hugging Face، حمّل أوزان النموذج للمجلد الرئيسي ديال المستودع.
تحضير المواد: وجد تصويرة بورتريه (ولا فيديو) ومقطع صوتي، وخاص الفيديو الداخل يكون بـ25 FPS.
تشغيل الاستدلال: نفّذ python -m talklikeyou --source الصورة --audio الصوت --person-id 192 --sampling-steps 1 باش تولّد الفيديو. بدّل --person-id باش تبدّل طريقة الهضرة.
تخصيص العادة: بدّل --person-id بـ --habit-reference ووجّهو لفيديو مرجعي فيه على الأقل 100 إطار، وغادي يقلّد طريقة الهضرة ديال الشخص اللي فهاد الفيديو.
دوبلاج الفيديو: وجّه --source لملف فيديو وزِد --pose-mode source، وغادي تتبدّل غير حركات الفم مع الحفاظ على حركة الراس الأصلية.

تقليد مخصص لطريقة الهضرة: أول إطار مفتوح المصدر فالمجال كيعتبر العادة الشخصية فحركة الفم عنصرا أساسيا فالنمذجة. يمكن تحديدها برقم ولا بفيديو، وبهادشي كيتفادى “فم واحد بحال بحال” عند الجميع.
سرعة كبيرة فالوقت الحقيقي: أخذ عينة Flow Matching فخطوة وحدة كيحقق 32.43 FPS، أسرع تقريبا بمئة مرة من Sonic اللي كيعتمد على مسار انتشار الصور، ومع استهلاك أقل من 4GB من ذاكرة RTX 3090 فتصويرة وحدة.
جودة الصورة والمزامنة بجوج: FID قدرها 7.71، أقل من ثلث نتيجة المرتبة الثانية، وSync-C قدرها 8.73 وهي الأعلى، مع الجمع بين مزامنة الشفايف وجودة الصورة.
تفوق فمشابهة العادات: مشابهة العادات حسب مؤشر PLAD هي 0.62، أعلى بشكل واضح من MimicTalk (0.48) وPC-Talk (0.39) وغيرهم من المنافسين.
تخصيص مرن بجوج مداخل: كيدعم تبديل الأسلوب مجانا باستعمال الأرقام الرسمية المُسبقة الإعداد، وكيدعم التعلم الفوري من أي فيديو مرجعي، مع إمكانية الاستيفاء لابتكار عادات جديدة.

الموقع الرسمي للمشروع: https://bq-wang0511.github.io/TalkLikeYou/
مستودع GitHub: https://github.com/BQ-Wang0511/TalkLikeYou
مستودع نماذج HuggingFace: https://huggingface.co/doubi-killer/TalkLikeYou
البحث التقني على arXiv: https://arxiv.org/pdf/2610.06658

المؤثر الافتراضي/البيع المباشر: صايب مؤثرا افتراضيا بطريقة هضرة شخصية وبتكلفة قليلة. يقدر يخدم محليا فالوقت الحقيقي بذاكرة 4GB، بلا ما يبان الشخص الحقيقي.
دوبلاج الفيديو بلغات متعددة: بدّل حركات الفم ديال الشخص فالفيديو مع الحفاظ على حركة الراس والتزامن الأصليين، باش يجي تطابق حركة الفم مع اللغة المستهدفة طبيعي فالأفلام المترجمة ولا المحتوى الموجّه للخارج.
النسخة الرقمية/خدمة الزبناء الافتراضية: جمع بين نموذج لغوي كبير وتركيب الصوت باش تبني نسخة رقمية كتتحاور فالوقت الحقيقي، وتستعملها فخدمة الزبناء عبر الإنترنت، والإرشاد الذكي، وغيرهم من المواقف اللي كتحتاج تفاعل “وجها لوجه”.
التعليم والتدريب الشخصي: صايب صورة رقمية خاصة بالأستاذ ولا المدرّب، وقلّد أسلوب الهضرة المميز ديالو، لاستعمالها فتسجيل الدروس ولا التعليم عن بعد.