Eleven Realtime خدام

Eleven Realtime هي سلسلة ديال موديلات الصوت المدمجة من ElevenLabs للـAgent، فيها جوج ديال النسخ: v1 Mini وv1 Max. Eleven Realtime كتجمع التعرف على الصوت، الاستدلال ديال الموديل اللغوي، استدعاء الأدوات وتركيب الصوت فموديل واحد، بلاصة الحلول التقليدية اللي كتوصل بزاف ديال المكونات ببعضياتها، وكتدعم كثر من 90 لغة وكثر من 17,000 صوت. Mini موجه للمحادثات الطبيعية بتكلفة قليلة، وMax للمهام المعقدة، بدقة فاستدلال الصوت كتوصل لـ98.8% وتأخير فالصوت الأول غير 0.57 ثانية. والـAPI ديالها متوافق مع مواصفات OpenAI Realtime، باش يسهل على المطورين الانتقال.

تفاعل صوتي مدمج: كتجمع التعرف على الصوت، استدلال LLM، استدعاء الأدوات وتركيب الصوت فموديل واحد، بلا ما تكون الحاجة تبني بشكل منفصل تقنيات ASR وVAD وLLM وTTS.
دعم لغات متعددة: كتدعم كثر من 90 لغة، ومناسبة للتطبيقات الصوتية الموجهة للمستخدمين فالعالم كامل.
اختيار واسع ديال الأصوات: متوافقة مع كثر من 17,000 صوت فمكتبة ElevenLabs، وتقدر تبدل الصوت بحرية.
اختيار مرن بين جوج نسخ: v1 Mini مناسبة للمحادثات الطبيعية قليلة التكلفة، وv1 Max للمهام المعقدة.
استجابة سريعة: التأخير المتوسط فالصوت الأول غير 0.57–0.62 ثانية، وMax أسرع مع الحفاظ على دقة استدلال صوتي كتوصل لـ98.8%.
تجربة محادثة طبيعية: محسنة للتوقفات الصوتية، التناوب فالكلام، والتعامل مع المقاطعة، وكتجيب أكثر من 94% فـFull-Duplex-Bench.
القدرة على استدعاء الأدوات: v1 Max كيوصل لمعدل إتمام ديال 87.1% فمهام استعمال الأدوات، ويقدر يتصل بأنظمة خارجية وينفذ عمليات متعددة المراحل.
التوافق مع OpenAI API: كيتبع مواصفات OpenAI Realtime API، والمطورين اللي عندهم تكامل من قبل يقدرو ينتاقلو بسرعة غير بتبديل الـendpoint واسم الموديل.

بنية Speech-to-Speech من البداية للنهاية: Eleven Realtime كتستعمل موديل من الصوت للصوت من البداية للنهاية: صوت المستخدم كيدخل مباشرة للموديل، والموديل كيفهم وكيستدل وكيقرر داخليا، ومن بعد كيخرج جواب صوتي مباشرة. ما كايناش مرحلة ظاهرة ديال تحويل الصوت لنص فالوسط، وهاد الشي كينقص التأخير وضياع المعلومات بين المكونات.
الاستدلال واستدعاء الأدوات كيكملو داخل موديل موحد: الموديل براسو كيتكلف بوظيفة الموديل اللغوي: كيفهم نية المستخدم، كيدير الاستدلال فمحادثات متعددة الجولات، كيحدد إمتى يستدعي أداة خارجية، ومن بعد كيكمل توليد الجواب الصوتي اعتمادا على النتيجة ديال الأداة. v1 Max تصممات باش تقوي هاد السلسلة، ووصل معدل إتمامها لمهام استعمال الأدوات لـ87.1%، مقابل 60.3% عند Mini.
آلية مدمجة لديناميكيات المحادثة: الموديل كيتعامل أصلا مع القرارات الصغيرة ديال التفاعل الصوتي: كيحدد من بعد شحال من الوقت على توقف المستخدم خاصو يجاوب، وكيفاش يوقف ويرجع يكمل بطريقة طبيعية ملي المستخدم يقاطعو، وفاش يطلق إشارات بحال ”همم” و”آه”. وهاد الشي كتأكد منو معايير بحال Full-Duplex-Bench، وكيخلي إيقاع المحادثة قريب من الإنسان الحقيقي.
استدلال متدفق باش ينقص التأخير: الموديل كيخدم بطريقة متدفقة، كيفهم وكيولد فآن واحد، بلا ما يستنى الإدخال كامل ولا يكمل التخطيط ديال الإخراج كامل، وبهذا كيبقى التأخير فالصوت الأول بين 570 و620 ميلي ثانية. وهاد الشي كيفسر علاش Max كيستجيب بسرعة أكثر رغم أن الدقة ديالو أعلى.
إتاحة القدرات عبر Realtime API باستعمال WebSocket: من الخارج، كيوفر اتصال WebSocket دائم لنقل الصوت ثنائي الاتجاه فالحين، والبروتوكول متوافق مع مواصفات OpenAI Realtime API، والمطورين يقدرو يستعملو OpenAI SDK للربط. ومنصة ElevenAgents كتزيد كتغلف قنوات بحال الهاتف والويب وWhatsApp، ووظائف الشركات بحال قاعدة المعرفة، الحواجز والمراقبة.

الطريقة الأولى: عبر ElevenAgents (موصى بها، بلا كود) التسجيل والدخول: سجل حساب فموقع ElevenLabs ودخل ليه.
إنشاء Agent: دخل لـElevenAgents، وأنشئ Agent جديد ولا حل واحد موجود.
اختيار الموديل: من اللائحة المنسدلة اختار Realtime v1 Mini ولا v1 Max.
ضبط القدرات: ضبط حسب الحاجة قاعدة المعرفة، سير العمل، الحواجز وغيرها.
النشر والتشغيل: ربط الهاتف والويب وWhatsApp وغيرها من القنوات، واستافد من الاختبار والمراقبة المدمجين فالمنصة، ومن بعد شغلو.
الطريقة الثانية: عبر Realtime API (للمطورين) تحضير المفتاح: خذ API Key من لوحة تحكم ElevenLabs باش تستعملو فالمصادقة.
إعادة استعمال الكود الموجود: إلا كنت رابط OpenAI Realtime API من قبل، غير بدل عنوان WebSocket لـ wss://api.elevenlabs.io/v1/convai/realtime وبدل اسم الموديل.
تحديد الموديل والصوت: مثلا عيّن eleven_realtime_v1_mini واختار صوت بحال brian.
إنشاء اتصال WebSocket: استعمل RealtimeAgent + WebSocket transport ديال OpenAI SDK لإنشاء تدفق صوتي ثنائي الاتجاه.
بداية المحادثة: من بعد ما ينجح الاتصال، تقدر تدير تفاعل صوتي فالحين؛ إلا بغيتي قدرات المنصة بحال القنوات وقاعدة المعرفة، خاصك تستعمل ElevenAgents.

بنية مدمجة: كتجمع التعرف على الصوت والاستدلال واستدعاء الأدوات والتركيب فموديل واحد، وكتحيد تكلفة اختيار مكونات متعددة وربطها واختبارها.
تجاوز المفاضلة بين السرعة والدقة: v1 Max كيحقق دقة 98.8% فاستدلال الصوت مع تأخير فالصوت الأول قدره 0.57 ثانية، يعني دقة عالية وتأخير منخفض فآن واحد.
تجربة محادثة طبيعية: كيتجاوز 94% فـFull-Duplex-Bench، وتفاصيل بحال الرد من بعد التوقف، والتعافي من المقاطعة والتناوب فالكلام قريبة من مستوى الإنسان.
قوي فالمهام المعقدة: معدل إتمام مهام استدعاء الأدوات فـv1 Max كيوصل لـ87.1%، ويقدر ينفذ سير عمل متعدد المراحل، ومناسب للاستعمالات ديال الشركات.
تغطية واسعة للغات والأصوات: كيدعم كثر من 90 لغة وكثر من 17,000 صوت، ونظام واحد يقدر يخدم المستخدمين فالعالم كامل.
الانتقال ساهل: الـAPI متوافق مع مواصفات OpenAI Realtime، والمطورين اللي عندهم تكامل من قبل يقدرو يبدلو غير جوج ديال السطور باش ينتاقلو.
اختيار مرن بين جوج نسخ: Mini بتكلفة قليلة كيغطي أغلب المحادثات اليومية، وMax مركز على الاستدلال المعقد، وتقدر تختار حسب الحاجة وتتحكم فالتكلفة.
جاهز للإنتاج من الأول: عبر ElevenAgents تقدر تحصل مباشرة على ربط القنوات، قاعدة المعرفة، الحواجز، الاختبار والمراقبة، وقدرات النشر الكاملة.

الموقع الرسمي للمشروع: https://elevenlabs.io/blog/realtime

المساعد الصوتي بالذكاء الاصطناعي: مساعد شخصي للمحادثات اليومية، كيفهم التعليمات وكيرد فالحين بصوت طبيعي، ونسخة Mini تقدر تقوم بهاد الدور بتكلفة قليلة.
التعليم عبر الإنترنت وتعلم اللغات: بحال تطبيق لتعلم الإنجليزية للأطفال، فين خاص الشخصية تفهم كلام الطالب، تصلح الأخطاء بسرعة وتتفاعل بصوت طبيعي، مع متطلبات عالية فطبيعية الصوت وسرعة الاستجابة.
خدمة الزبناء الهاتفية للشركات: التعامل مع طلبات متعددة المراحل بحال ”قلب على الطلب” و”بدل العنوان” واللي كتحتاج استدعاء أنظمة العمل، وارتفاع معدل إتمام استدعاء الأدوات فنسخة Max مناسب لهاد النوع ديال الاستعمال.
تصفية العملاء المحتملين: إجراء مكالمات صادرة آلية أو استقبال العملاء المحتملين، وتحديد الاهتمام وجمع المعلومات وتسجيلها عبر المحادثة، وMax يقدر يستدل وينفذ العملية حسب المسار المحدد.
الشخصيات الافتراضية وNPCs ديال الألعاب: إعطاء الشخصيات التفاعلية قدرة على المحادثة الصوتية فالحين، مع دعم كثر من 90 لغة وعدد كبير ديال الأصوات، ومناسب للمحتوى العالمي والتجارب الغامرة.