PersonaTalk خدام

PersonaTalk كيتقدّم كإطار للدبلجة البصرية بالذكاء الاصطناعي، والهدف الرئيسي ديالو هو حل مشكل عدم تطابق حركة شفايف الشخص مع الصوت من بعد تبديل الدبلجة. كيعتمد على فيديو فيه شخص وصوت مستهدف كمدخلات، وكيولّد نسخة من الفيديو كتتبع فيها حركة الشفايف الصوت الجديد، مع الحفاظ فالنفس الوقت على المظهر الأصلي للوجه والستايل البصري ديال الشخص.

هاد الإطار موجه لعمليات صناعة المحتوى اللي كتحتاج تعالج لقطات ديال أشخاص كيهضرو، وكيصلح لمهام بحال تبديل اللغة، ودبلجة الشخصيات، وتوليد تحريك الوجه.

الأداة كتدعم مطابقة الصوت المستهدف مع حركة شفايف الشخص اللي فالفيديو، وكتحاول تحافظ على ستايل الهضرة والمظهر الوجهي المميزين ديالو. آلية الرندر ديال الوجه بجوج ديال الانتباهات كتركز بشكل منفصل على منطقة الشفايف وباقي مناطق الوجه، وهاد الشي كيساعد يحافظ على تفاصيل بحال نسيج البشرة والماكياج، وكيقلل من مشاكل الصورة بحال وميض السنان.

PersonaTalk كيعالج الأشخاص الجدد بطريقة زيرو-شوت، وكتبيّن المعطيات أنه ما كايناش حاجة لتدريب أو ضبط دقيق بشكل منفصل لكل شخص جديد.

فالترجمة والدبلجة السينمائية، يمكن استعمالو لإنتاج لقطات مدبلجة بلغات مختلفة، بحيث كتتبدل حركة شفايف الشخص مع اللغة المستهدفة. وفرق الإعلانات تقدر تكيّف نفس الفيديو مع نسخ بلغات ديال مناطق مختلفة، مع الحفاظ على حضور الشخص فالصورة الأصلية.

محتوى التعليم عن بُعد يقدر يستعملو لتحويل لغة الدروس أو لإنتاج فيديوهات ديال مدرسين افتراضيين. أما رسامو التحريك ومطورو الشخصيات الرقمية، فيقدرو يستعملوه لتوليد حركة الشفايف وتعابير الوجه ديال الشخصيات، خصوصاً فالمواد اللي فيها أشخاص كيهضرو مواجهة للكاميرا.

قبل الاستعمال، خاص تحضير فيديو فيه شخص وصوت مستهدف، حيث النتيجة النهائية كتتعلق بمدى ملاءمة المواد المدخلة لمعالجة الوجه وحركة الشفايف. فالمقاطع اللي فيها حجب للشخص، أو حركة معقدة فالوجه، أو علاقة ما بين الصوت والصورة ماشي واضحة، خاص فحص الإخراج مقطع بمقطع للتأكد واش حركة الشفايف والسنان ونسيج الوجه باينين طبيعيين.

المعطيات الحالية ما كتقدّمش خطوات النشر بالتحديد، ولا متطلبات العتاد، ولا سرعة المعالجة، ولا صيغ الإخراج، وما كتوضحش حتى الحدود ديال الاستعمال فالمشاهد المعقدة. قبل اعتمادو عملياً، خاص الرجوع لوثائق المشروع وتجريبو بمواد كتُمثّل الاستعمال الفعلي.