PersonaTalk চালু আছে

PersonaTalk একটি AI ভিজ্যুয়াল ডাবিং ফ্রেমওয়ার্ক হিসেবে কাজ করে। ডাবিং পরিবর্তনের পর ব্যক্তির ঠোঁটের নড়াচড়া ও কণ্ঠের অসামঞ্জস্য দূর করাই এর প্রধান লক্ষ্য। এটি ব্যক্তির ভিডিও এবং লক্ষ্য অডিও ইনপুট হিসেবে নিয়ে নতুন অডিও অনুসরণকারী ঠোঁটের নড়াচড়াসহ একটি ভিডিও সংস্করণ তৈরি করে, পাশাপাশি ব্যক্তির মূল মুখের অভিব্যক্তি ও দৃশ্যগত ধরনও বিবেচনায় রাখে।

ফ্রেমওয়ার্কটি ব্যক্তির কথা বলার দৃশ্য প্রক্রিয়াকরণের কনটেন্ট তৈরির কর্মপ্রবাহের জন্য তৈরি। ভাষা পরিবর্তন, চরিত্রে ডাবিং এবং মুখের অ্যানিমেশন তৈরির মতো কাজে এটি ব্যবহার করা যেতে পারে।

টুলটি লক্ষ্য অডিওকে ভিডিওতে থাকা ব্যক্তির ঠোঁটের নড়াচড়ার সঙ্গে মিলিয়ে নিতে পারে এবং ব্যক্তির স্বতন্ত্র কথা বলার ধরন ও মুখের অভিব্যক্তি ধরে রাখার চেষ্টা করে। দ্বৈত-মনোযোগভিত্তিক মুখ রেন্ডারিং ব্যবস্থা ঠোঁটের অঞ্চল এবং মুখের অন্যান্য অঞ্চলে আলাদাভাবে মনোযোগ দেয়। এটি ত্বকের গঠন, মেকআপের মতো বিবরণ বজায় রাখতে এবং দাঁতের ঝিলমিলের মতো দৃশ্যগত সমস্যা কমাতে সহায়তা করে।

PersonaTalk শূন্য-নমুনা পদ্ধতিতে নতুন ব্যক্তিদের প্রক্রিয়া করে। নথি অনুযায়ী, প্রতিটি নতুন ব্যক্তির জন্য আলাদাভাবে প্রশিক্ষণ বা ফাইন-টিউনিংয়ের প্রয়োজন নেই।

চলচ্চিত্র ও টেলিভিশন ডাবিংয়ে এটি বিভিন্ন ভাষার ডাবিং দৃশ্য তৈরিতে ব্যবহার করা যেতে পারে, যাতে লক্ষ্য ভাষার সঙ্গে ব্যক্তির ঠোঁটের নড়াচড়া পরিবর্তিত হয়। বিজ্ঞাপন দল একই ভিডিওকে বিভিন্ন অঞ্চলের ভাষা সংস্করণের জন্য মানিয়ে নিতে পারে এবং মূল দৃশ্যের ব্যক্তির অভিব্যক্তি ধরে রাখতে পারে।

অনলাইন শিক্ষার কনটেন্টে এটি কোর্সের ভাষা পরিবর্তন বা ভার্চুয়াল শিক্ষক ভিডিও তৈরিতে ব্যবহার করা যেতে পারে। অ্যানিমেটর এবং ডিজিটাল হিউম্যান ডেভেলপাররা চরিত্রের ঠোঁটের নড়াচড়া ও মুখের অভিব্যক্তি তৈরিতেও এটি ব্যবহার করতে পারেন। বিশেষ করে সামনের দিক থেকে কথা বলা ব্যক্তির দৃশ্য থাকা উপকরণের জন্য এটি উপযোগী।

ব্যবহারের আগে ব্যক্তির ভিডিও ও লক্ষ্য অডিও প্রস্তুত করতে হবে। চূড়ান্ত ফলাফল ইনপুট উপকরণ মুখ ও ঠোঁট প্রক্রিয়াকরণের উপযোগী কি না, তার ওপর নির্ভর করে। ব্যক্তির মুখ আংশিক ঢাকা থাকা, জটিল মুখের নড়াচড়া বা অস্পষ্ট অডিও-ভিডিও সম্পর্কযুক্ত অংশের ক্ষেত্রে আউটপুটের পর প্রতিটি অংশ পরীক্ষা করে দেখতে হবে ঠোঁটের নড়াচড়া, দাঁত এবং মুখের ত্বকের গঠন স্বাভাবিক কি না।

বর্তমান নথিতে নির্দিষ্ট স্থাপনের ধাপ, হার্ডওয়্যার প্রয়োজনীয়তা, প্রক্রিয়াকরণের গতি এবং আউটপুট ফরম্যাটের তথ্য দেওয়া হয়নি। জটিল দৃশ্যের ক্ষেত্রে ব্যবহারের সীমাও উল্লেখ করা হয়নি। বাস্তবে গ্রহণের আগে প্রকল্পের নথি পর্যালোচনা করে প্রতিনিধিত্বশীল উপকরণ দিয়ে পরীক্ষা করা উচিত।