SeedRealtime – بائٹ ڈانس کا پیش کردہ مقامی آڈیو و ویڈیو فل ڈوپلیکس بڑا ماڈل آپریشن میں

SeedRealtime بائٹ ڈانس کی Seed ٹیم کا پیش کردہ مقامی آڈیو و ویڈیو فل ڈوپلیکس بڑا ماڈل ہے۔ یہ متحدہ معماری کے ذریعے آڈیو، ویڈیو اور متن کو مقامی طور پر یکجا کرتا ہے اور دیکھتے، سنتے اور بولتے ہوئے مکمل کثیر الوسائط حقیقی وقت کے تعامل کو ممکن بناتا ہے۔ ماڈل کی تین بنیادی پیش رفتیں آڈیو و ویڈیو کی مشترکہ تفہیم، فعال تعامل اور رواں گفتگو کی رفتار ہیں۔ اینڈ ٹو اینڈ جائزوں سے ظاہر ہوتا ہے کہ سلسلہ وار ماڈل کے مقابلے میں گفتگو کی رفتار سے متعلق مسائل نصف رہ گئے ہیں۔ یہ فی الحال Doubao ایپ میں مکمل طور پر دستیاب ہے اور صنعت میں بڑے پیمانے پر نافذ ہونے والی پہلی آڈیو و ویڈیو فل ڈوپلیکس AI پروڈکٹ بن چکی ہے۔

آڈیو و ویڈیو کی مشترکہ تفہیم: آواز، منظر اور زمانی معلومات کو مقامی طور پر گہرائی سے یکجا کرتا ہے، بصری منظرنامے کی مدد سے ہم آواز الفاظ کا ابہام دور کر سکتا ہے، زمانی حوالوں کو درست طور پر سمجھ سکتا ہے اور دیکھی، سنی اور کہی گئی معلومات کو ایک متحد ادراک میں بدل دیتا ہے۔
فعال تعامل کی صلاحیت: ماحول کو مسلسل محسوس کرنے اور ازخود اظہار کی صلاحیت رکھتا ہے۔ منظر کی حالت تبدیل ہونے پر صارف کو خود متنبہ کر سکتا ہے اور اظہار میں مدد کے لیے ٹولز استعمال کر سکتا ہے، جس سے غیر فعال جواب دہی فعال تعاون میں بدل جاتی ہے۔
رواں تعامل کی رفتار: صارف کی گفتگو کی حالت اور تبادلے کی رفتار کو حقیقی وقت میں محسوس کرتا ہے، مناسب موقع پر قدرتی انداز میں گفتگو سنبھالتا، توقف کرتا اور جواب دیتا ہے۔ اس میں مداخلت کے خلاف مضبوط مزاحمت ہے اور یہ دوسروں کی گفتگو کو پسِ منظر کے شور سے الگ کر سکتا ہے۔
متعدد افراد والے مناظر کی شناخت: متعدد افراد اور شور والے ماحول میں چہروں کی بیک وقت شناخت، آواز کے ذرائع میں فرق اور مواد کی تفہیم کرتا ہے، جبکہ ہر شخص کی آواز کو اس کی شناخت سے مسلسل منسلک رکھتا ہے۔

اینڈ ٹو اینڈ متحدہ ماڈلنگ: اینڈ ٹو اینڈ متحدہ آڈیو و ویڈیو ماڈلنگ فریم ورک استعمال کرتا ہے، جس میں ادراک، تفہیم، فیصلہ سازی اور اظہار ایک ہی ماڈل میں بیک وقت انجام پاتے ہیں۔ اس طرح سلسلہ وار نظام میں ASR→VLM→TTS کے متعدد مراحل سے پیدا ہونے والے معلومات کے ضیاع اور تاخیر کے جمع ہونے سے بچا جاتا ہے۔
مقامی فل ڈوپلیکس تعامل: گفتگو کی باری طے کرنے کے لیے بیرونی VAD قواعد پر انحصار نہیں کرتا۔ ماڈل خود کثیر الوسائط معلوماتی بہاؤ کی بنیاد پر گفتگو کی حالت اور وقت کا مسلسل فیصلہ کرتا ہے، یوں ایک سوال ایک جواب والے نیم ڈوپلیکس طریقے کے بجائے حقیقی معنوں میں ”بولتے ہوئے سننے“ کو ممکن بناتا ہے۔
آڈیو و ویڈیو کی زمانی ہم آہنگی: آواز، منظر اور زمانی معلومات کو متحدہ انداز میں ماڈل کرتا ہے، اور موجودہ منظر، اشاروں، نگاہ اور سابقہ حرکات کو ملا کر صارف کی نیت سمجھتا ہے، جس سے کثیر الوسائط ابہام دور کرنے اور حوالوں کی解析 مکمل ہوتی ہے۔
انجینئرنگ کے ذریعے کم تاخیر کی اصلاح: آڈیو و ویڈیو ان پٹ کو حصوں میں تقسیم کرنے اور اسٹریمنگ جنریشن کے ذریعے، مؤثر کوانٹائزیشن اور استدلالی اصلاح کے ساتھ، ”سننے—سمجھنے—جواب دینے“ کی اینڈ ٹو اینڈ تاخیر کو مسلسل کم کرتا ہے۔

Doubao ایپ اپ ڈیٹ کریں: Doubao ایپ کو تازہ ترین ورژن پر اپ ڈیٹ کریں۔
صوتی کال میں داخل ہوں: ایپ کھولنے کے بعد کسی بھی گفتگو کے خانے میں ”کال کریں“ بٹن دبائیں۔
ویڈیو موڈ تبدیل کریں: کال کے انٹرفیس میں داخل ہونے کے بعد کیمرے اور مائیکروفون کی اجازت فعال کریں اور ویڈیو کال پر سوئچ کریں۔
حقیقی وقت کا تعامل شروع کریں: منظر دکھاتے ہوئے قدرتی انداز میں بات کریں۔ ماڈل آڈیو و ویڈیو بہاؤ کو بیک وقت محسوس کر کے حقیقی وقت میں جواب دے گا۔
فعال مشاہدہ استعمال کریں: مسلسل مشاہدے کی ہدایت دی جا سکتی ہے۔ ہدف ظاہر ہونے یا منظر تبدیل ہونے پر ماڈل خود متنبہ کرے گا۔

اینڈ ٹو اینڈ متحدہ معماری: ایک ہی ماڈل میں آڈیو، ویڈیو اور متن کو مقامی طور پر یکجا کرتا ہے، جس سے سلسلہ وار نظام میں متعدد ماڈیولز کے باہم جڑنے سے ہونے والے معلومات کے ضیاع اور تاخیر کا خاتمہ ہوتا ہے۔
مقامی فل ڈوپلیکس تعامل: بیرونی VAD قواعد پر انحصار نہیں کرتا۔ ماڈل کثیر الوسائط معلوماتی بہاؤ کی بنیاد پر گفتگو کے وقت کا مسلسل خود فیصلہ کرتا ہے اور ایک سوال ایک جواب کے بجائے حقیقی معنوں میں ”بولتے ہوئے سننے“ کو ممکن بناتا ہے۔
آڈیو و ویڈیو کی مشترکہ تفہیم: آواز، منظر اور زمانی معلومات کو گہرائی سے یکجا کرتا ہے، بصری منظرنامے کی مدد سے ہم آواز الفاظ کا ابہام دور کر سکتا ہے اور ”یہ“، ”وہاں“ جیسے کثیر الوسائط حوالوں کو درست طور پر سمجھ سکتا ہے۔
فعال ماحولیاتی ادراک: مسلسل بصری مشاہدے کی صلاحیت رکھتا ہے، منظر کی حالت تبدیل ہونے یا ہدف ظاہر ہونے پر خود متنبہ کر سکتا ہے، اور تعامل کو غیر فعال جواب دہی سے فعال تعاون میں بدل دیتا ہے۔
رواں اور مداخلت مزاحم رفتار: صارف کی گفتگو کی حالت کو حقیقی وقت میں محسوس کرتا ہے، شور والے ماحول میں غیر رسمی گفتگو اور رسمی سوال میں درست فرق کرتا ہے، جبکہ سلسلہ وار ماڈل کے مقابلے میں رکنے اور غلط فعال ہونے کے واقعات نصف رہ گئے ہیں۔

پروجیکٹ کی آفیشل ویب سائٹ: https://seed.bytedance.com/en/seedrealtime

ذہین گائیڈ: عجائب گھر میں نمائش کی اشیا کے مناظر کا مسلسل مشاہدہ کرتا ہے اور ہدف ظاہر ہونے پر تاریخی پس منظر اور کاریگری کی تفصیلات خود بیان کرتا ہے۔
غیر ملکی زبان کی مشق: منظر کو مدنظر رکھتے ہوئے حقیقی وقت میں تلفظ کی اصلاح اور مثالیں فراہم کرتا ہے، اور شور والے ماحول میں بھی سیکھنے والے ہدف پر توجہ برقرار رکھتا ہے۔
آلات کے استعمال کی رہنمائی: پیچیدہ آلات چلاتے وقت بصری حالت میں تبدیلی کی بنیاد پر حقیقی وقت میں غلطیوں کی نشاندہی اور اصلاحی تجاویز فراہم کرتا ہے۔
سفر کی معلومات کا معاون: ہوائی اڈے کے شور والے ماحول میں بڑی اسکرین پر پرواز کی معلومات شناخت کرتا ہے، آمد کا وقت بتاتا ہے اور راستے کی رہنمائی فراہم کرتا ہے۔
بچوں کی تعلیمی رہنمائی: بچے کے ساتھ پڑھائی کے دوران منظر کے مواد کا حقیقی وقت میں مشاہدہ کر کے تلفظ درست کرتا ہے اور پسِ منظر میں موجود لوگوں کی آوازوں سے متاثر نہیں ہوتا۔