Eleven Realtime চালু আছে

Eleven Realtime হলো ElevenLabs-এর প্রকাশিত সমন্বিত ভয়েস Agent মডেল সিরিজ, যাতে v1 Mini এবং v1 Max—এই দুটি সংস্করণ রয়েছে। Eleven Realtime ভয়েস শনাক্তকরণ, ভাষা মডেল ইনফারেন্স, টুল কল এবং ভয়েস সংশ্লেষণকে একটি একক মডেলে একীভূত করে, প্রচলিত একাধিক উপাদান-নির্ভর সমাধানের বিকল্প হিসেবে কাজ করে এবং 90টিরও বেশি ভাষা ও 17,000টিরও বেশি ভয়েস সমর্থন করে। Mini কম খরচে স্বাভাবিক কথোপকথনের জন্য, আর Max জটিল কাজের জন্য তৈরি। এর ভয়েস ইনফারেন্স নির্ভুলতা 98.8%, প্রথম শব্দের বিলম্ব মাত্র 0.57 সেকেন্ড এবং API OpenAI Realtime স্পেসিফিকেশনের সঙ্গে সামঞ্জস্যপূর্ণ, ফলে ডেভেলপাররা সহজে মাইগ্রেট করতে পারেন।

সমন্বিত ভয়েস ইন্টারঅ্যাকশন: ভয়েস শনাক্তকরণ, LLM ইনফারেন্স, টুল কল এবং ভয়েস সংশ্লেষণকে একটি একক মডেলে একীভূত করে; আলাদাভাবে ASR, VAD, LLM ও TTS টেকনোলজি স্ট্যাক তৈরি করার প্রয়োজন নেই।
বহুভাষা সমর্থন: 90টিরও বেশি ভাষা সমর্থন করে, তাই বিশ্বব্যাপী ব্যবহারকারীদের জন্য ভয়েস অ্যাপ্লিকেশনে উপযোগী।
বিপুল ভয়েস নির্বাচন: ElevenLabs ভয়েস লাইব্রেরির 17,000টিরও বেশি ভয়েসের সঙ্গে সামঞ্জস্যপূর্ণ; ইচ্ছামতো ভয়েস পরিবর্তন করা যায়।
দুটি সংস্করণের নমনীয় নির্বাচন: v1 Mini কম খরচে স্বাভাবিক কথোপকথনের জন্য, v1 Max জটিল কাজের জন্য উপযোগী।
কম বিলম্বে সাড়া: গড় প্রথম শব্দের বিলম্ব মাত্র 0.57–0.62 সেকেন্ড। একই সঙ্গে 98.8% ভয়েস ইনফারেন্স নির্ভুলতা বজায় রেখে Max আরও দ্রুত কাজ করে।
স্বাভাবিক কথোপকথনের অভিজ্ঞতা: ভয়েস বিরতি, পালাক্রমে কথা বলা এবং বাধা দেওয়ার মতো কথোপকথনের গতিশীলতা উন্নত করা হয়েছে; Full-Duplex-Bench স্কোর 94%-এর বেশি।
টুল কলের সক্ষমতা: v1 Max-এর টুল ব্যবহারের কাজ সম্পন্নের হার 87.1%; এটি বাহ্যিক সিস্টেমের সঙ্গে সংযুক্ত হয়ে বহু ধাপের কাজ সম্পাদন করতে পারে।
OpenAI API-র সঙ্গে সামঞ্জস্য: OpenAI Realtime API স্পেসিফিকেশন অনুসরণ করে; বিদ্যমান ইন্টিগ্রেশন থাকা ডেভেলপাররা শুধু endpoint ও মডেলের নাম পরিবর্তন করেই দ্রুত মাইগ্রেট করতে পারেন।

Speech-to-Speech এন্ড-টু-এন্ড আর্কিটেকচার: Eleven Realtime ভয়েস-টু-ভয়েস এন্ড-টু-এন্ড মডেল ব্যবহার করে। ব্যবহারকারীর অডিও সরাসরি মডেলে প্রবেশ করে; মডেলের ভেতরেই বোঝাপড়া, ইনফারেন্স ও সিদ্ধান্ত গ্রহণ সম্পন্ন হয়ে সরাসরি ভয়েস উত্তর তৈরি হয়। মাঝখানে আলাদা টেক্সট ট্রান্সক্রিপশনের ধাপ না থাকায় উপাদানগুলোর মধ্যে স্থানান্তর বিলম্ব ও তথ্যের ক্ষতি কমে।
একীভূত মডেলের ভেতর ইনফারেন্স ও টুল কল: মডেল নিজেই ভাষা মডেলের ইনফারেন্সের কাজ করে—ব্যবহারকারীর অভিপ্রায় বোঝে, বহু-পর্যায়ের কথোপকথনে ইনফারেন্স করে, কখন বাহ্যিক টুল কল করতে হবে তা নির্ধারণ করে এবং টুলের ফলাফলের ভিত্তিতে ভয়েস উত্তর তৈরি করে। v1 Max এই প্রক্রিয়াকে শক্তিশালী করার জন্য তৈরি; এর টুল ব্যবহারের কাজ সম্পন্নের হার 87.1%, যা Mini-এর 60.3%-এর তুলনায় অনেক বেশি।
অন্তর্নির্মিত কথোপকথনগত গতিশীলতা: মডেল ভয়েস ইন্টারঅ্যাকশনের সূক্ষ্ম সিদ্ধান্তগুলো স্বয়ংক্রিয়ভাবে পরিচালনা করে—ব্যবহারকারীর বিরতির কতক্ষণ পর কথা বলা উচিত, ব্যবহারকারী বাধা দিলে কীভাবে স্বাভাবিকভাবে থেমে আবার শুরু করতে হবে এবং কখন ”হুম” বা ”ঠিক” ধরনের প্রতিক্রিয়া দিতে হবে। Full-Duplex-Bench-এর মতো বেঞ্চমার্কে এটি যাচাই করা হয়েছে, ফলে কথোপকথনের ছন্দ মানুষের মতো হয়।
স্ট্রিমিং ইনফারেন্সে কম বিলম্ব: মডেলটি স্ট্রিমিং পদ্ধতিতে কাজ করে, অর্থাৎ বোঝার সঙ্গে সঙ্গে তৈরি করে। সম্পূর্ণ ইনপুট বা পুরো আউটপুটের পরিকল্পনা শেষ হওয়ার জন্য অপেক্ষা করতে হয় না, তাই প্রথম শব্দের বিলম্ব 570–620 মিলিসেকেন্ডের মধ্যে থাকে। এ কারণেই বেশি নির্ভুলতা থাকা সত্ত্বেও Max দ্রুত সাড়া দেয়।
WebSocket-এর মাধ্যমে Realtime API সক্ষমতা প্রকাশ: WebSocket দীর্ঘ সংযোগের মাধ্যমে দ্বিমুখী রিয়েল-টাইম অডিও স্ট্রিম সরবরাহ করে এবং OpenAI Realtime API স্পেসিফিকেশনের সঙ্গে সামঞ্জস্যপূর্ণ। ডেভেলপাররা OpenAI SDK ব্যবহার করেই সংযুক্ত হতে পারেন। উপরের স্তরের ElevenAgents প্ল্যাটফর্মে ফোন, Web, WhatsApp-এর মতো চ্যানেল এবং নলেজ বেস, গার্ডরেল ও মনিটরিংয়ের মতো এন্টারপ্রাইজ বৈশিষ্ট্য অতিরিক্তভাবে যুক্ত করা হয়েছে।

পদ্ধতি এক: ElevenAgents-এর মাধ্যমে (প্রস্তাবিত, কোড ছাড়াই) নিবন্ধন ও লগইন: ElevenLabs-এর অফিসিয়াল ওয়েবসাইটে অ্যাকাউন্ট খুলে লগইন করুন।
Agent তৈরি: ElevenAgents-এ প্রবেশ করে একটি নতুন Agent তৈরি করুন অথবা বিদ্যমান Agent খুলুন।
মডেল নির্বাচন: ড্রপডাউন মেনু থেকে Realtime v1 Mini অথবা v1 Max নির্বাচন করুন।
সক্ষমতা কনফিগার: প্রয়োজন অনুযায়ী নলেজ বেস, ওয়ার্কফ্লো ও গার্ডরেল কনফিগার করুন।
প্রকাশ ও চালু: ফোন, Web, WhatsApp ইত্যাদি চ্যানেলের সঙ্গে সংযুক্ত করুন। প্ল্যাটফর্মের অন্তর্নির্মিত পরীক্ষা ও মনিটরিং ব্যবহার করে এটি চালু করা যাবে।
পদ্ধতি দুই: Realtime API-এর মাধ্যমে (ডেভেলপারদের জন্য) কী প্রস্তুত: ElevenLabs কনসোল থেকে API Key সংগ্রহ করে অথেনটিকেশনের জন্য ব্যবহার করুন।
বিদ্যমান কোড পুনর্ব্যবহার: OpenAI Realtime API আগে থেকেই সংযুক্ত থাকলে শুধু WebSocket ঠিকানা wss://api.elevenlabs.io/v1/convai/realtime-এ পরিবর্তন করুন এবং মডেলের নাম বদলান।
মডেল ও ভয়েস নির্ধারণ: যেমন eleven_realtime_v1_mini সেট করে brian-এর মতো একটি ভয়েস নির্বাচন করুন।
WebSocket সংযোগ স্থাপন: OpenAI SDK-এর RealtimeAgent + WebSocket transport ব্যবহার করে দ্বিমুখী অডিও স্ট্রিম তৈরি করুন।
কথোপকথন শুরু: সংযোগ সফল হলে রিয়েল-টাইম ভয়েস ইন্টারঅ্যাকশন করা যাবে। চ্যানেল, নলেজ বেস ইত্যাদি প্ল্যাটফর্ম সুবিধা প্রয়োজন হলে ElevenAgents ব্যবহার করতে হবে।

সমন্বিত আর্কিটেকচার: ভয়েস শনাক্তকরণ, ইনফারেন্স, টুল কল ও সংশ্লেষণকে একটি একক মডেলে একীভূত করে, ফলে একাধিক উপাদান নির্বাচন ও সমন্বয়ের খরচ কমে।
গতি ও নির্ভুলতার ভারসাম্য অতিক্রম: v1 Max 98.8% ভয়েস ইনফারেন্স নির্ভুলতার সঙ্গে 0.57 সেকেন্ডের প্রথম শব্দের বিলম্ব দেয়; উচ্চ নির্ভুলতা ও কম বিলম্ব একসঙ্গে পাওয়া যায়।
স্বাভাবিক কথোপকথনের অভিজ্ঞতা: Full-Duplex-Bench স্কোর 94%-এর বেশি; বিরতির পর কথা বলা, বাধার পর পুনরায় শুরু এবং পালাক্রমে কথা বলার মতো সূক্ষ্মতা মানুষের কাছাকাছি।
জটিল কাজে শক্তিশালী: v1 Max-এর টুল কল-নির্ভর কাজ সম্পন্নের হার 87.1%; এটি বহু ধাপের ওয়ার্কফ্লো সম্পাদন করতে পারে এবং এন্টারপ্রাইজ ব্যবহারের জন্য উপযোগী।
ভাষা ও ভয়েসের বিস্তৃত পরিসর: 90টিরও বেশি ভাষা এবং 17,000টিরও বেশি ভয়েস সমর্থন করে; একটি সিস্টেমেই বিশ্বব্যাপী ব্যবহারকারীদের সেবা দেওয়া যায়।
সহজ মাইগ্রেশন: API OpenAI Realtime স্পেসিফিকেশনের সঙ্গে সামঞ্জস্যপূর্ণ; বিদ্যমান ইন্টিগ্রেশন থাকা ডেভেলপাররা মাত্র দুই লাইন কোড পরিবর্তন করেই সুইচ করতে পারেন।
দুটি সংস্করণের নমনীয় নির্বাচন: Mini কম খরচে অধিকাংশ দৈনন্দিন কথোপকথন সামলায়, আর Max জটিল ইনফারেন্সে মনোযোগ দেয়; প্রয়োজন অনুযায়ী নির্বাচন করে খরচ নিয়ন্ত্রণ করা যায়।
প্রোডাকশন-রেডি: ElevenAgents-এর মাধ্যমে চ্যানেল সংযোগ, নলেজ বেস, গার্ডরেল, পরীক্ষা ও মনিটরিংসহ সম্পূর্ণ ডিপ্লয়মেন্ট সক্ষমতা সরাসরি পাওয়া যায়।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://elevenlabs.io/blog/realtime

AI ভয়েস সহকারী: দৈনন্দিন কথোপকথনের ব্যক্তিগত সহকারী, যা নির্দেশ বুঝে স্বাভাবিক ভয়েসে তাৎক্ষণিক উত্তর দেয়; কম খরচের Mini সংস্করণ এ কাজে যথেষ্ট।
অনলাইন শিক্ষা/ভাষা শেখা: যেমন শিশুদের ইংরেজি শেখার অ্যাপ, যেখানে চরিত্রকে শিক্ষার্থীর কথ্য ভাষা বুঝে দ্রুত সংশোধন করতে এবং স্বাভাবিক ভয়েসে ইন্টারঅ্যাক্ট করতে হয়; ভয়েসের স্বাভাবিকতা ও সাড়ার গতির ওপর এখানে বেশি গুরুত্ব থাকে।
এন্টারপ্রাইজ ফোন কাস্টমার সার্ভিস: ”অর্ডার খোঁজা, ঠিকানা পরিবর্তন” ইত্যাদি ব্যবসায়িক সিস্টেম কল করা প্রয়োজন এমন বহু ধাপের অনুরোধ পরিচালনা করে; Max সংস্করণের উচ্চ টুল কল সাফল্যের হার এই ধরনের কাজে উপযোগী।
সেলস লিড筛াই: সম্ভাব্য গ্রাহকদের স্বয়ংক্রিয়ভাবে ফোন করা বা ফোন গ্রহণ করে কথোপকথনের মাধ্যমে আগ্রহ যাচাই, তথ্য সংগ্রহ ও রেকর্ড করা; Max প্রক্রিয়া অনুযায়ী ইনফারেন্স করে কাজ সম্পন্ন করতে পারে।
ভার্চুয়াল চরিত্র/গেম NPC: ইন্টারঅ্যাক্টিভ চরিত্রে রিয়েল-টাইম ভয়েস কথোপকথনের সক্ষমতা যুক্ত করা; 90টিরও বেশি ভাষা ও বিপুল ভয়েস সমর্থনের কারণে বৈশ্বিক কনটেন্ট ও নিমগ্ন অভিজ্ঞতার জন্য উপযোগী।