বাইটড্যান্স Seed আজ অডিও-ভিডিও ফুল-ডুপ্লেক্স বড় মডেল SeedRealtime প্রকাশের ঘোষণা দিয়েছে, যা সর্বাঙ্গীণ স্বাভাবিক ইন্টারঅ্যাকশনের দিকে এগিয়ে যাচ্ছে।
SeedRealtime একটি একীভূত আর্কিটেকচারের মাধ্যমে অডিও, ভিডিও ও টেক্সটকে স্বাভাবিকভাবে একত্র করে। এটি ধারাবাহিক মাল্টিমোডাল তথ্যপ্রবাহে রিয়েল-টাইমে ইন্টারঅ্যাক্ট করতে পারে এবং একইসঙ্গে দেখা, শোনা ও কথা বলার নতুন অভিজ্ঞতা নিয়ে আসে। এতে তিনটি মূল অগ্রগতি অর্জিত হয়েছে:
অডিও-ভিডিওর যৌথ উপলব্ধি: শব্দ, দৃশ্য ও সময়ক্রমের তথ্যের গভীর সমন্বয় স্বাভাবিকভাবে সমর্থন করে। মডেলটি দৃশ্যের প্রেক্ষাপটের সঙ্গে মিলিয়ে সমোচ্চারিত শব্দের দ্ব্যর্থতা দূর করতে পারে এবং ভিজ্যুয়াল উপাদানের সময়ক্রমগত নির্দেশনাও নির্ভুলভাবে বুঝতে পারে, ফলে দেখা, শোনা ও বলা একীভূত হয়।
সক্রিয় ইন্টারঅ্যাকশন ক্ষমতা: পরিবেশকে ধারাবাহিকভাবে উপলব্ধি করা এবং সক্রিয়ভাবে প্রকাশ করার ক্ষমতা রয়েছে। দৃশ্যের অবস্থার পরিবর্তন, যেমন গুরুত্বপূর্ণ কোনো লক্ষ্যবস্তুর উপস্থিতি, শনাক্ত হলে মডেলটি নিজে থেকে সতর্ক করতে পারে। পাশাপাশি এটি টুল ব্যবহার করে কথোপকথনে তা সংযুক্ত করতে পারে, ফলে ইন্টারঅ্যাকশন নিষ্ক্রিয় প্রতিক্রিয়া থেকে সক্রিয় সহযোগিতায় উন্নীত হয়।
সাবলীল ইন্টারঅ্যাকশন ছন্দ: ব্যবহারকারীর কথোপকথনের অবস্থা ও যোগাযোগের ছন্দ রিয়েল-টাইমে বুঝে উপযুক্ত সময়ে স্বাভাবিকভাবে কথায় যোগ দেওয়া, বিরতি নেওয়া ও উত্তর দেওয়া সম্ভব। একইসঙ্গে এর শক্তিশালী হস্তক্ষেপ-প্রতিরোধ ক্ষমতা রয়েছে; এটি আশপাশের মানুষের কথাবার্তা ও পটভূমির শব্দ আলাদা করতে পারে, হস্তক্ষেপের কারণে ভুলভাবে সক্রিয় হয় না এবং যোগাযোগের সাবলীলতা ও ধারাবাহিকতা বজায় রাখে।
এন্ড-টু-এন্ড মানব মূল্যায়নের ফলাফল দেখায়, ক্যাসকেড মডেলের তুলনায় SeedRealtime-এর অডিও-ভিডিও কথোপকথনের ছন্দসংক্রান্ত সমস্যা অর্ধেকে নেমে এসেছে। কথা বলার সময় নির্ধারণে মডেলটির দক্ষতা আরও স্বাভাবিক হয়েছে; “কথা শেষ হওয়ার আগেই বাধা পাওয়া, কথা শেষ হওয়ার পরও দেরিতে উত্তর আসা, অথবা পটভূমির শব্দ ও পাশের কথাবার্তার কারণে ভুলভাবে সক্রিয় হওয়া”-এর মতো অসংলগ্নতার ঘটনা উল্লেখযোগ্যভাবে কমেছে। একইসঙ্গে একবারের কথোপকথনে সম্পূর্ণ ও সাবলীলভাবে যোগাযোগ সম্পন্ন হওয়ার সম্ভাবনাও স্পষ্টভাবে বেড়েছে।
বর্তমানে SeedRealtime Doubao App-এ সবার জন্য চালু হয়েছে এবং শিল্পক্ষেত্রে প্রথমবারের মতো অডিও-ভিডিও ফুল-ডুপ্লেক্স প্রযুক্তির বৃহৎ পরিসরে বাস্তবায়ন করেছে। Doubao App-টি সর্বশেষ সংস্করণে আপডেট করে কথোপকথনের উইন্ডোতে “ফোন করা” নির্বাচন করুন, তারপর ভিডিও কলের ইন্টারফেসে প্রবেশ করে এটি ব্যবহার করে দেখুন।
প্রকল্পের হোমপেজ:
https://seed.bytedance.com/seedrealtime