SeedRealtime – বাইটড্যান্সের推出 করা নেটিভ অডিও-ভিডিও ফুল-ডুপ্লেক্স বড় মডেল চালু আছে

SeedRealtime হলো বাইটড্যান্সের Seed টিম推出 করা নেটিভ অডিও-ভিডিও ফুল-ডুপ্লেক্স বড় মডেল। এটি একটি ইউনিফায়েড আর্কিটেকচারের মাধ্যমে অডিও, ভিডিও ও টেক্সটকে নেটিভভাবে একীভূত করে এবং একই সঙ্গে দেখা, শোনা ও কথা বলার পূর্ণ-মোডাল রিয়েল-টাইম ইন্টারঅ্যাকশন实现 করে। মডেলটির তিনটি প্রধান অগ্রগতি হলো অডিও-ভিডিও যৌথ বোঝাপড়া, সক্রিয় ইন্টারঅ্যাকশন এবং স্বচ্ছন্দ কথোপকথনের ছন্দ। এন্ড-টু-এন্ড মূল্যায়নে দেখা গেছে, ক্যাসকেড মডেলের তুলনায় কথোপকথনের ছন্দ-সংক্রান্ত সমস্যা অর্ধেকে নেমে এসেছে। বর্তমানে এটি Doubao App-এ সম্পূর্ণভাবে চালু হয়েছে এবং শিল্পের প্রথম বৃহৎ পরিসরে বাস্তবায়িত অডিও-ভিডিও ফুল-ডুপ্লেক্স AI পণ্য।

অডিও-ভিডিও যৌথ বোঝাপড়া: শব্দ, দৃশ্য ও সময়ক্রমের তথ্যকে নেটিভভাবে গভীরভাবে একীভূত করে। দৃশ্যমান প্রেক্ষাপটের সঙ্গে মিলিয়ে সমোচ্চারিত শব্দের দ্ব্যর্থতা দূর করতে, সময়ক্রমভিত্তিক নির্দেশনা সঠিকভাবে বুঝতে এবং দেখা, শোনা ও বলার সমন্বিত উপলব্ধি অর্জন করতে পারে।
সক্রিয় ইন্টারঅ্যাকশন: পরিবেশকে ধারাবাহিকভাবে উপলব্ধি ও সক্রিয়ভাবে প্রকাশ করার সক্ষমতা রয়েছে। দৃশ্যের অবস্থার পরিবর্তন হলে ব্যবহারকারীকে সক্রিয়ভাবে সতর্ক করতে পারে এবং টুল ব্যবহার করে বক্তব্যে তা অন্তর্ভুক্ত করতে পারে, ফলে নিষ্ক্রিয় প্রতিক্রিয়া সক্রিয় সহযোগিতায় উন্নীত হয়।
স্বচ্ছন্দ ইন্টারঅ্যাকশন ছন্দ: ব্যবহারকারীর কথোপকথনের অবস্থা ও যোগাযোগের ছন্দ রিয়েল টাইমে বুঝে উপযুক্ত সময়ে স্বাভাবিকভাবে কথায় যোগ দেয়, বিরতি নেয় ও উত্তর দেয়। এর শক্তিশালী হস্তক্ষেপ-প্রতিরোধ ক্ষমতা রয়েছে এবং আশপাশের আলাপ ও পটভূমির শব্দ আলাদা করতে পারে।
বহু-ব্যক্তির দৃশ্য শনাক্তকরণ: বহু-ব্যক্তির ও কোলাহলপূর্ণ পরিবেশে একই সঙ্গে মুখ শনাক্ত করে, শব্দের উৎস আলাদা করে ও বিষয়বস্তু বোঝে এবং প্রতিটি ব্যক্তির কণ্ঠস্বরের সঙ্গে তার পরিচয়ের ধারাবাহিক মিল বজায় রাখে।

এন্ড-টু-এন্ড ইউনিফায়েড মডেলিং: এন্ড-টু-এন্ড ইউনিফায়েড অডিও-ভিডিও মডেলিং ফ্রেমওয়ার্ক ব্যবহার করে উপলব্ধি, বোঝাপড়া, সিদ্ধান্ত ও প্রকাশকে একই মডেলের মধ্যে একসঙ্গে সম্পন্ন করে। ফলে ক্যাসকেড সিস্টেমে ASR→VLM→TTS-এর বহু-ধাপের তথ্যক্ষয় ও বিলম্বের স্তরবৃদ্ধি এড়ানো যায়।
নেটিভ ফুল-ডুপ্লেক্স ইন্টারঅ্যাকশন: কথার পালা নির্ধারণে বাহ্যিক VAD নিয়মের ওপর নির্ভর করে না। মডেল নিজেই মাল্টিমোডাল তথ্যপ্রবাহের ভিত্তিতে কথোপকথনের অবস্থা ও সময় সম্পর্কে ধারাবাহিক সিদ্ধান্ত নেয়, ফলে প্রশ্ন-উত্তরভিত্তিক হাফ-ডুপ্লেক্সের পরিবর্তে সত্যিকারের “কথা বলতে বলতে শোনা” সম্ভব হয়।
অডিও-ভিডিও সময়ক্রমের সমন্বয়: শব্দ, দৃশ্য ও সময়ক্রমের তথ্যকে ইউনিফায়েডভাবে মডেল করে এবং বর্তমান দৃশ্য, অঙ্গভঙ্গি, দৃষ্টির দিক ও আগের ক্রিয়াকলাপের সঙ্গে মিলিয়ে ব্যবহারকারীর অভিপ্রায় বোঝে। এর মাধ্যমে আন্তঃমোডাল দ্ব্যর্থতা দূরীকরণ ও নির্দেশনা বিশ্লেষণ সম্পন্ন হয়।
ইঞ্জিনিয়ারিং পর্যায়ে কম-বিলম্ব অপ্টিমাইজেশন: খণ্ডিত অডিও-ভিডিও ইনপুট ও স্ট্রিমিং জেনারেশনের সঙ্গে কার্যকর কোয়ান্টাইজেশন ও ইনফারেন্স অপ্টিমাইজেশন ব্যবহার করে “শোনা—বোঝা—উত্তর দেওয়া”-এর এন্ড-টু-এন্ড বিলম্ব ধারাবাহিকভাবে কমায়।

Doubao App আপডেট করুন: Doubao App-কে সর্বশেষ সংস্করণে আপডেট করুন।
ভয়েস কল চালু করুন: App খুলে যেকোনো কথোপকথন উইন্ডোতে “ফোন করুন” বোতামে ক্লিক করুন।
ভিডিও মোডে বদলান: কল ইন্টারফেসে প্রবেশের পর ক্যামেরা ও মাইক্রোফোনের অনুমতি দিন এবং ভিডিও কলে বদলে নিন।
রিয়েল-টাইম ইন্টারঅ্যাকশন শুরু করুন: দৃশ্য দেখাতে দেখাতে স্বাভাবিকভাবে কথা বলুন; মডেল একই সঙ্গে অডিও-ভিডিও স্ট্রিম উপলব্ধি করে রিয়েল টাইমে উত্তর দেবে।
সক্রিয় পর্যবেক্ষণ ব্যবহার করুন: ধারাবাহিক পর্যবেক্ষণের নির্দেশ দিতে পারেন। লক্ষ্যবস্তু দেখা দিলে বা দৃশ্যের পরিবর্তন হলে মডেল সক্রিয়ভাবে সতর্ক করবে।

এন্ড-টু-এন্ড ইউনিফায়েড আর্কিটেকচার: একটি একক মডেলের মাধ্যমে অডিও, ভিডিও ও টেক্সটকে নেটিভভাবে একীভূত করে এবং ক্যাসকেড সিস্টেমে একাধিক মডিউল পরপর যুক্ত থাকার কারণে সৃষ্ট তথ্যক্ষয় ও বিলম্বের স্তরবৃদ্ধি দূর করে।
নেটিভ ফুল-ডুপ্লেক্স ইন্টারঅ্যাকশন: বাহ্যিক VAD নিয়মের ওপর নির্ভর না করে মডেল মাল্টিমোডাল তথ্যপ্রবাহের ভিত্তিতে কথোপকথনের সময় সম্পর্কে ধারাবাহিকভাবে স্বয়ংক্রিয় সিদ্ধান্ত নেয়, ফলে প্রশ্ন-উত্তরভিত্তিক হাফ-ডুপ্লেক্সের পরিবর্তে সত্যিকারের “কথা বলতে বলতে শোনা” সম্ভব হয়।
অডিও-ভিডিও যৌথ বোঝাপড়া: শব্দ, দৃশ্য ও সময়ক্রমের তথ্যকে গভীরভাবে একীভূত করে এবং দৃশ্যমান প্রেক্ষাপটের সঙ্গে মিলিয়ে সমোচ্চারিত শব্দের দ্ব্যর্থতা দূর করতে পারে, পাশাপাশি “এটি”, “সেখানে”-এর মতো আন্তঃমোডাল নির্দেশনা সঠিকভাবে বিশ্লেষণ করে।
সক্রিয় পরিবেশ উপলব্ধি: ধারাবাহিক দৃশ্য পর্যবেক্ষণের সক্ষমতা রয়েছে। দৃশ্যের অবস্থার পরিবর্তন বা লক্ষ্যবস্তু দেখা দিলে সক্রিয়ভাবে সতর্ক করতে পারে, ফলে ইন্টারঅ্যাকশন নিষ্ক্রিয় প্রতিক্রিয়া থেকে সক্রিয় সহযোগিতায় উন্নীত হয়।
স্বচ্ছন্দ ও হস্তক্ষেপ-প্রতিরোধী ছন্দ: ব্যবহারকারীর কথোপকথনের অবস্থা রিয়েল টাইমে বুঝে কোলাহলপূর্ণ পরিবেশে আলাপ ও আনুষ্ঠানিক প্রশ্ন সঠিকভাবে আলাদা করে। ক্যাসকেড মডেলের তুলনায় আটকে যাওয়া ও ভুল ট্রিগার অর্ধেকে নেমে এসেছে।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://seed.bytedance.com/en/seedrealtime

স্মার্ট গাইড: জাদুঘরে প্রদর্শনীর দৃশ্য ধারাবাহিকভাবে পর্যবেক্ষণ করে এবং লক্ষ্যবস্তু দেখা দিলে ইতিহাস ও কারুশিল্পের বিবরণ সক্রিয়ভাবে ব্যাখ্যা করে।
বিদেশি ভাষা অনুশীলন: দৃশ্যের ভিত্তিতে রিয়েল টাইমে উচ্চারণ সংশোধন ও উদাহরণসহ বাক্য গঠন করায় এবং কোলাহলপূর্ণ পরিবেশেও নির্দিষ্ট শিক্ষার্থীর ওপর মনোযোগ ধরে রাখে।
যন্ত্র পরিচালনার নির্দেশনা: জটিল যন্ত্র পরিচালনার সময় দৃশ্যের অবস্থার পরিবর্তনের ভিত্তিতে রিয়েল টাইমে ভুল সংশোধন করে এবং সমন্বয়ের পরামর্শ দেয়।
ভ্রমণ তথ্য সহকারী: বিমানবন্দরের কোলাহলপূর্ণ পরিবেশে বড় পর্দার ফ্লাইট তথ্য শনাক্ত করে, পৌঁছানোর সময়ের উত্তর দেয় এবং পথনির্দেশ প্রদান করে।
শিশুদের শিক্ষাসহায়তা: শিশুর সঙ্গে পড়াশোনার সময় দৃশ্যের বিষয়বস্তু রিয়েল টাইমে পর্যবেক্ষণ করে উচ্চারণ সংশোধন করে এবং পটভূমির মানুষের কথায় প্রভাবিত হয় না।