Eleven Realtime آپریشن میں

Eleven Realtime، ElevenLabs کی جانب سے پیش کردہ ایک مربوط وائس ایجنٹ ماڈل سیریز ہے، جس میں v1 Mini اور v1 Max کے دو ورژن شامل ہیں۔ Eleven Realtime آواز کی شناخت، زبان کے ماڈل کی تفہیم، ٹول کالنگ اور آواز کی ترکیب کو ایک ہی ماڈل میں یکجا کرتا ہے، روایتی کثیر اجزائی طریقے کی جگہ لیتا ہے، اور 90 سے زیادہ زبانوں اور 17,000 سے زیادہ آوازوں کو سپورٹ کرتا ہے۔ Mini کم لاگت والی قدرتی گفتگو کے لیے ہے، جبکہ Max پیچیدہ کاموں کے لیے بنایا گیا ہے۔ اس کی صوتی استدلال کی درستگی 98.8% تک ہے، پہلی آواز کی تاخیر صرف 0.57 سیکنڈ ہے، اور API، OpenAI Realtime کے معیار سے مطابقت رکھتی ہے، جس سے ڈویلپرز کے لیے منتقلی آسان ہو جاتی ہے۔

مربوط صوتی تعامل: آواز کی شناخت، LLM استدلال، ٹول کالنگ اور آواز کی ترکیب کو ایک ہی ماڈل میں یکجا کرتا ہے، اس لیے ASR، VAD، LLM اور TTS ٹیکنالوجی اسٹیک الگ سے بنانے کی ضرورت نہیں رہتی۔
کثیر لسانی سپورٹ: 90 سے زیادہ زبانوں کو سپورٹ کرتا ہے، اس لیے عالمی صارفین کے لیے صوتی ایپلی کیشنز میں موزوں ہے۔
آوازوں کا وسیع انتخاب: ElevenLabs کی صوتی لائبریری میں موجود 17,000 سے زیادہ آوازوں کے ساتھ مطابقت، اور آواز آزادانہ طور پر تبدیل کرنے کی سہولت۔
دو ورژن کا انتخاب: v1 Mini کم لاگت والی قدرتی گفتگو کے لیے، جبکہ v1 Max پیچیدہ کاموں کے لیے موزوں ہے۔
کم تاخیر والا ردعمل: پہلی آواز کی اوسط تاخیر صرف 0.57–0.62 سیکنڈ ہے؛ Max، 98.8% صوتی استدلال کی درستگی برقرار رکھتے ہوئے زیادہ تیز بھی ہے۔
قدرتی گفتگو کا تجربہ: صوتی وقفوں، باری باری گفتگو اور مداخلت کے انتظام جیسی گفتگو کی حرکیات کو بہتر بناتا ہے، اور Full-Duplex-Bench پر 94% سے زیادہ اسکور حاصل کرتا ہے۔
ٹول کالنگ کی صلاحیت: v1 Max میں ٹول استعمال کرنے والے کاموں کی تکمیل کی شرح 87.1% ہے، اور یہ بیرونی نظاموں سے منسلک ہو کر متعدد مراحل پر مشتمل کارروائیاں انجام دے سکتا ہے۔
OpenAI API سے مطابقت: OpenAI Realtime API کے معیار کی پیروی کرتا ہے؛ پہلے سے انضمام رکھنے والے ڈویلپرز صرف endpoint اور ماڈل کا نام تبدیل کر کے تیزی سے منتقل ہو سکتے ہیں۔

Speech-to-Speech اینڈ ٹو اینڈ فن تعمیر: Eleven Realtime آواز سے آواز تک اینڈ ٹو اینڈ ماڈل استعمال کرتا ہے: صارف کی آڈیو براہِ راست ماڈل میں داخل ہوتی ہے، ماڈل کے اندر سمجھ، استدلال اور فیصلہ سازی مکمل ہوتی ہے، اور پھر صوتی جواب براہِ راست تیار ہوتا ہے۔ درمیان میں واضح متنی نقل کا مرحلہ نہیں ہوتا، جس سے اجزا کے درمیان منتقلی کی تاخیر اور معلوماتی نقصان کم ہو جاتا ہے۔
ایک ہی ماڈل میں استدلال اور ٹول کالنگ: ماڈل خود زبان کے ماڈل کا استدلالی کردار ادا کرتا ہے: صارف کی نیت سمجھتا ہے، متعدد مراحل کی گفتگو پر استدلال کرتا ہے، فیصلہ کرتا ہے کہ بیرونی ٹول کب استعمال کرنا ہے، اور ٹول کے نتائج کی بنیاد پر صوتی جواب جاری رکھتا ہے۔ v1 Max اسی سلسلے کو مضبوط بنانے کے لیے ڈیزائن کیا گیا ہے، اور اس میں ٹول استعمال کرنے والے کاموں کی تکمیل کی شرح 87.1% ہے، جو Mini کی 60.3% شرح سے کہیں زیادہ ہے۔
گفتگو کی اندرونی حرکیات: ماڈل صوتی تعامل کے ”چھوٹے فیصلے“ خود سنبھالتا ہے: صارف کے وقفے کے بعد کتنی دیر میں جواب دینا ہے، صارف کی مداخلت پر شائستگی سے گفتگو کیسے روک کر دوبارہ جاری کرنی ہے، اور ”ہمم“ یا ”جی“ جیسے جوابی اشارے کب دینے ہیں۔ Full-Duplex-Bench جیسے معیارات سے اس کی جانچ ہوتی ہے، جس سے گفتگو کی رفتار انسانوں کے قریب رہتی ہے۔
اسٹریمنگ استدلال کے ذریعے کم تاخیر: ماڈل اسٹریمنگ انداز میں کام کرتا ہے، یعنی سمجھنے کے ساتھ ساتھ جواب تیار کرتا ہے۔ اسے مکمل ان پٹ یا پورے آؤٹ پٹ کی منصوبہ بندی مکمل ہونے کا انتظار نہیں کرنا پڑتا، اس لیے پہلی آواز کی تاخیر 570–620 ملی سیکنڈ تک محدود رہتی ہے۔ یہی وجہ ہے کہ زیادہ درستگی کے باوجود Max کا ردعمل زیادہ تیز ہے۔
WebSocket کے ذریعے Realtime API کی فراہمی: بیرونی طور پر WebSocket کے مستقل کنکشن کے ذریعے دو طرفہ ریئل ٹائم آڈیو اسٹریم فراہم کی جاتی ہے۔ پروٹوکول OpenAI Realtime API کے معیار سے مطابقت رکھتا ہے، اس لیے ڈویلپرز موجودہ OpenAI SDK استعمال کر سکتے ہیں۔ اوپری سطح کا ElevenAgents پلیٹ فارم ٹیلی فون، Web اور WhatsApp جیسے چینلز، نیز نالج بیس، حفاظتی پابندیوں اور نگرانی جیسی کاروباری سہولیات بھی فراہم کرتا ہے۔

طریقہ اول: ElevenAgents کے ذریعے (تجویز کردہ، بغیر کوڈ کے) رجسٹریشن اور لاگ اِن: ElevenLabs کی ویب سائٹ پر اکاؤنٹ بنائیں اور لاگ اِن کریں۔
ایجنٹ بنائیں: ElevenAgents کھولیں، نیا Agent بنائیں یا موجودہ Agent کھولیں۔
ماڈل منتخب کریں: ڈراپ ڈاؤن مینو سے Realtime v1 Mini یا v1 Max منتخب کریں۔
صلاحیتیں ترتیب دیں: ضرورت کے مطابق نالج بیس، ورک فلو اور حفاظتی پابندیاں ترتیب دیں۔
شائع کریں: ٹیلی فون، Web یا WhatsApp جیسے چینلز سے منسلک کریں۔ پلیٹ فارم میں ٹیسٹنگ اور نگرانی شامل ہے، اس لیے اسے چلایا جا سکتا ہے۔
طریقہ دوم: Realtime API کے ذریعے (ڈویلپرز کے لیے) کلید تیار کریں: ElevenLabs کنسول سے API Key حاصل کریں تاکہ تصدیق کی جا سکے۔
موجودہ کوڈ دوبارہ استعمال کریں: اگر OpenAI Realtime API پہلے سے مربوط ہے تو صرف WebSocket ایڈریس کو wss://api.elevenlabs.io/v1/convai/realtime میں تبدیل کریں اور ماڈل کا نام بدل دیں۔
ماڈل اور آواز متعین کریں: مثلاً eleven_realtime_v1_mini سیٹ کریں اور brian جیسی آواز منتخب کریں۔
WebSocket کنکشن قائم کریں: OpenAI SDK کے RealtimeAgent + WebSocket transport کے ذریعے دو طرفہ آڈیو اسٹریم قائم کریں۔
گفتگو شروع کریں: کنکشن کامیاب ہونے کے بعد ریئل ٹائم صوتی تعامل کیا جا سکتا ہے؛ چینلز، نالج بیس اور دیگر پلیٹ فارم سہولیات کے لیے ElevenAgents استعمال کرنا ہوگا۔

مربوط فن تعمیر: آواز کی شناخت، استدلال، ٹول کالنگ اور ترکیب کو ایک ہی ماڈل میں یکجا کرتا ہے، جس سے متعدد اجزا کے انتخاب اور باہمی انضمام کی لاگت ختم ہو جاتی ہے۔
رفتار اور درستگی کے درمیان سمجھوتے سے آگے: v1 Max، 98.8% صوتی استدلال کی درستگی کے ساتھ 0.57 سیکنڈ کی پہلی آواز کی تاخیر فراہم کرتا ہے، یعنی زیادہ درستگی اور کم تاخیر دونوں حاصل ہوتی ہیں۔
قدرتی گفتگو کا تجربہ: Full-Duplex-Bench پر 94% سے زیادہ اسکور؛ وقفے کے بعد جواب دینا، مداخلت کے بعد بحالی اور باری باری گفتگو جیسی تفصیلات انسانی سطح کے قریب ہیں۔
پیچیدہ کاموں میں مضبوط: v1 Max میں ٹول کالنگ والے کاموں کی تکمیل کی شرح 87.1% ہے، اور یہ متعدد مراحل پر مشتمل ورک فلو انجام دے سکتا ہے، اس لیے کاروباری استعمال کے لیے موزوں ہے۔
زبانوں اور آوازوں کی وسیع کوریج: 90 سے زیادہ زبانیں اور 17,000 سے زیادہ آوازیں، ایک ہی نظام سے عالمی صارفین کی خدمت۔
آسان منتقلی: API، OpenAI Realtime کے معیار سے مطابقت رکھتی ہے؛ پہلے سے انضمام رکھنے والے ڈویلپرز صرف دو سطریں تبدیل کر کے منتقل ہو سکتے ہیں۔
دو ورژن کا لچکدار انتخاب: Mini کم لاگت پر روزمرہ گفتگو کے بیشتر منظرناموں کو پورا کرتا ہے، جبکہ Max پیچیدہ استدلال پر توجہ دیتا ہے، جس سے ضرورت کے مطابق لاگت قابو میں رہتی ہے۔
پروڈکشن کے لیے تیار: ElevenAgents کے ذریعے چینل انضمام، نالج بیس، حفاظتی پابندیاں، ٹیسٹنگ اور نگرانی جیسی مکمل تعیناتی سہولیات براہِ راست دستیاب ہیں۔

پروجیکٹ کی ویب سائٹ: https://elevenlabs.io/blog/realtime

AI صوتی معاون: روزمرہ گفتگو پر مبنی ذاتی معاون، جو ہدایات سمجھ کر قدرتی آواز میں فوری جواب دے؛ Mini کا کم لاگت والا ورژن اس کام کے لیے کافی ہے۔
آن لائن تعلیم/زبان سیکھنا: مثلاً بچوں کے لیے انگریزی سیکھنے کی ایپلی کیشن، جہاں کردار کو طالب علم کی بول چال سمجھنی، بروقت اصلاح کرنی اور قدرتی آواز میں تعامل کرنا ہو؛ اس میں آواز کی فطری روانی اور ردعمل کی رفتار اہم ہیں۔
کاروباری ٹیلی فون کسٹمر سروس: ”آرڈر چیک کریں، پتہ تبدیل کریں“ جیسے کاروباری نظام کو کال کرنے والے متعدد مراحل کے حامل سوالات سنبھالنا؛ Max کی ٹول کالنگ کی زیادہ تکمیل کی شرح ایسے منظرناموں کے لیے موزوں ہے۔
سیلز لیڈز کی چھان بین: ممکنہ صارفین کو خودکار طور پر کال کرنا یا ان کی کال وصول کرنا، گفتگو کے ذریعے دلچسپی جانچنا، معلومات جمع کرنا اور ریکارڈ کرنا؛ Max عمل کے مطابق استدلال کرتے ہوئے یہ کام انجام دے سکتا ہے۔
ورچوئل کردار/گیم NPC: انٹرایکٹو کرداروں کو ریئل ٹائم صوتی گفتگو کی صلاحیت دینا؛ 90 سے زیادہ زبانوں اور متعدد آوازوں کی سپورٹ عالمی مواد اور عمیق تجربات کے لیے موزوں ہے۔