IndexTTS-2.5 خدام

IndexTTS-2.5 هو موديل صناعي مفتوح المصدر من Bilibili لاستنساخ الصوت بلا أمثلة، بعدد غير 0.8B ديال المعاملات، وكيدعم النقل بين خمس لغات: الصينية، الإنجليزية، اليابانية، الإسبانية والعربية. الموديل عاود بنى معمارية الاستدلال، وطلع سرعة الاستدلال بـ 2.28 مرة، وكيدعم تعديل سرعة الكلام من 0.5x حتى 2.0x، مع تحكم دقيق فالنطق والعاطفة وغيرهم. الكود كامل، وأوزان الموديل والبحث العلمي كاملين منشورين، وكيستعملو رخصة Bilibili Model License.

استنساخ الصوت بلا أمثلة: غير بمقطع صوتي مرجعي مدتو من 3 حتى 10 ثواني، تقدر تنسخ بدقة خصائص صوت أي متكلم، بلا ما تحتاج تدريب إضافي على المتكلم المستهدف.
دعم النقل بين خمس لغات: كيدعم الصينية، الإنجليزية، اليابانية، الإسبانية والعربية.
تحكم دقيق فالعاطفة: كيوفر طرق متعددة لضبط العاطفة: نقل الإحساس عبر مقطع صوتي مرجعي مستقل، وتحديد شدة العاطفة بدقة باستعمال متجه عاطفي من ثمانية أبعاد، وتفعيل الاستنتاج التلقائي للعاطفة انطلاقاً من النص، وضبط قوة العاطفة باستعمال معامل emo_alpha.
فصل الصوت على العاطفة: يمكن تحديد الصوت المرجعي والعاطفة المرجعية بشكل مستقل تماماً. المستخدم يقدر يتحكم بوحدو فـ”شكون كيهضر” و”كيفاش كيهضر”.
تعديل السرعة بلا درجات محددة: باستعمال معامل duration_factor، يمكن تعديل سرعة الصوت المركب بحرية بين 0.5 و2.0 مرة، حسب إيقاع كل استعمال.
التحكم الدقيق فالنطق: كيدعم ثلاث درجات للتحكم فالنطق: البينيين الصينية، وفونيمات CMU الإنجليزية، والكانا اليابانية، وكيعاون على حل مشاكل الحروف متعددة النطق، والكلمات ذات القراءات المختلفة، والنطق المرتبط بالسياق.

تابعونا فـ WeChat وجاوبو بـ“开源” باش تنضمو لمجموعة مشاريع الذكاء الاصطناعي مفتوحة المصدر
خط إنتاج من ثلاث مراحل: الموديل كيستعمل معمارية من ثلاث مراحل: ”النص → الرموز الدلالية → طيف ميل → الموجة الصوتية”. موديل لغوي مبني على Transformer كيحوّل النص للرموز الدلالية (T2S)، ومن بعد وحدة مطابقة التدفق من الدلالة لطيف الميل (S2M)، اللي ما كتخدمش بطريقة ذاتية الرجوع، كتولّد مخطط طيف الميل، وفي الأخير كيرجع المشفّر الصوتي العصبي الصوت النهائي.
ضغط المرمّز الدلالي وفك التشفير: كيهبط معدل إطارات الرموز الدلالية من 50Hz لـ 25Hz، وكيقصّر طول السلسلة للنصف مباشرة، وكيخفّض بشكل واضح الحسابات والذاكرة اللي كيحتاجها مكوّن T2S فالتدريب والاستدلال، وهادشي واحد من المفاتيح الرئيسية لتسريع الاستدلال.
ترقية معمارية Zipformer: الشبكة الأساسية ديال مكوّن S2M تبدلات من U-DiT لمعمارية Zipformer الأكثر كفاءة. Zipformer حققات قدرة أقوى على نمذجة الاعتماديات بعيدة المدى بعدد أقل من المعاملات، وخلات توليد طيف الميل أسرع وأكثر استقراراً، مع الحفاظ على جودة الصوت المركب.
استراتيجية النمذجة متعددة اللغات: باش يتفادو الخلط الناتج عن تشابه الحروف فالسياقات متعددة اللغات، اقترح الفريق ثلاث استراتيجيات: المحاذاة الواعية بالحدود (إدخال علامات اللغة قبل النص وبعده بحال )، والدمج على مستوى Token (دمج تضمين خاص باللغة مع كل Token داخل)، والتوليد الموجّه بالتعليمات (إضافة بادئة بتعليمة بلغة طبيعية قبل النص بحال ”قرا بالإنجليزية”).
تحسين التعلم المعزز باستعمال GRPO: فمرحلة ما بعد التدريب ديال مكوّن T2S، تم إدخال GRPO (Group Relative Policy Optimization)، مع تجميد معدل أخطاء الكلمات (WER) ديال موديل ASR كإشارة للمكافأة. فكل مرة كيتولدو أربعة نماذج مرشحة، ومن خلال تحسين الاحتمال النسبي للنماذج ذات المكافأة العالية، كتتحسن باستمرار دقة النطق وطبيعية الصوت.

تحضير البيئة: خاص المستخدم يثبت Git ومدير الحزم uv أولاً، ومن بعد يحمّل مستودع الكود الرسمي محلياً باستعمال git clone https://github.com/index-tts/index-tts.git.
تثبيت الاعتماديات: من بعد الدخول لمجلد المشروع، نفّذ الأمر uv sync --all-extras باش يتخلق تلقائياً بيئة افتراضية ويتثبتو جميع اعتماديات Python الضرورية.
تحميل الموديل: باستعمال أداة huggingface-cli أو modelscope، حمّل أوزان الموديل من المستودع الرسمي IndexTeam/IndexTTS-2.5 إلى المجلد المحلي checkpoints.
تشغيل واجهة الويب: نفّذ uv run webui.py باش تشغّل واجهة Gradio التفاعلية، ومن بعد دخل فالمتصفح لـ http://127.0.0.1:7860 باش تدير تركيب صوتي بصري وتفاعلي.
تحميل الموديل: فسكريبت Python، استورد الكلاس IndexTTS2 من indextts.infer_v2_5، ودوز ليه مسار ملف الإعدادات ومجلد الموديل باش تنشئ نسخة الموديل.
استنساخ صوتي أساسي: عيّط على الدالة infer ديال النسخة، ودوز ليها مسار الصوت المرجعي، والنص المستهدف، وكود اللغة، وغادي يتولد ويتحفظ ملف صوتي بنفس الصوت المستنسخ.
التحكم فالعاطفة: فالدالة infer، دوز زيادة المعامل emo_audio_prompt باش تحدد مقطع صوتي مرجعي للعاطفة، أو استعمل emo_vector ودوز متجه عاطفي من ثمانية أبعاد للتحكم فالتعبير العاطفي للصوت المركب.
تعديل السرعة: أثناء الاستدلال، عيّن معامل duration_factor لقيمة بين 0.5 و2.0، وغادي تقدر تسرّع أو تبطّأ سرعة الصوت المركب حسب النسبة.
التدخل فالنطق: دخل فالنص علامات بحال <行|XING2>، أو <上手|じょうず> باش تتحكم بدقة فنطق الحروف متعددة النطق أو الكلمات ذات القراءات المختلفة.

معاملات قليلة وكفاءة عالية: عدد معاملات الموديل غير 0.8B، وبفضل ضغط المرمّز الدلالي وفك التشفير وترقية معمارية Zipformer، تحققت سرعة استدلال أكبر بـ 2.28 مرة، ووصل معدل الوقت الحقيقي (RTF) فدقة BF16 حتى 0.20، مع الجمع بين الخفة والأداء العالي.
النقل بين خمس لغات: كيدعم الصينية، الإنجليزية، اليابانية، الإسبانية والعربية، ويقدر المستخدم يستعمل صوتاً مرجعياً بأي لغة باش يستنسخ صوت بلغة أخرى، بلا ما يحتاج بيانات تدريب عاطفية باللغة المستهدفة لتحقيق النقل العاطفي بين اللغات.
تحكم متعدد الأبعاد ودقيق: الموديل كيدعم تعديل السرعة بلا درجات محددة من 0.5x حتى 2.0x، والتحكم بمتجه عاطفي من ثمانية أبعاد، والاستنتاج العاطفي انطلاقاً من النص، والتدخل فالنطق بثلاث درجات: البينيين، وفونيمات CMU، والكانا اليابانية، وهادشي كيلبي الحاجة للتحكم الدقيق فتركيب الصوت أثناء صناعة المحتوى.
فصل كامل بين الصوت والعاطفة: المستخدم يقدر يحدد بشكل مستقل الصوت المرجعي والعاطفة المرجعية، وحتى يقدرو يكونو بجوج من لغتين مختلفتين، مع الحفاظ على صوت المتكلم المستهدف وإضافة الأسلوب العاطفي المطلوب بمرونة.
دعم مفتوح المصدر للعربية: وسط موديلات TTS الرئيسية مفتوحة المصدر، IndexTTS-2.5 واحد من الموديلات القليلة اللي كيدعم بشكل كامل استنساخ الصوت بالعربية والنقل بين اللغات، وكيعمر الخصاص ديال هاد اللغة فمجال تركيب الصوت مفتوح المصدر.

مستودع GitHub: https://github.com/index-tts/index-tts
البحث التقني على arXiv: https://arxiv.org/pdf/2601.03888

الدبلجة بالذكاء الاصطناعي وإنشاء المحتوى الصوتي: صانعو المحتوى غير خاصهم مقطع صوتي مرجعي ديال مذيع أو شخصية، ويقدرو بسرعة ينشئو كتباً صوتية، وتمثيليات إذاعية، ومحتوى بودكاست بعدة لغات وبأساليب عاطفية مختلفة، بلا إعادة التسجيل.
توطين الفيديوهات بين اللغات: فرق الأفلام والفيديوهات القصيرة تقدر تستعمل صوتاً مرجعياً بالصينية لإنتاج دبلجة بالإنجليزية أو اليابانية أو الإسبانية أو العربية، مع الحفاظ على صوت الممثل الأصلي، وتقليل تكلفة التوزيع خارج البلاد بشكل كبير.
أصوات الألعاب والشخصيات الافتراضية: مطورو الألعاب يقدرو يستنسخو صوتاً معيناً لشخصيات NPC أو للأصنام الافتراضية، ويبدلو بين الفرح والغضب والحزن والفرح باستعمال المتجه العاطفي فالحين، باش يحققو أصواتاً ديناميكية للقصة وتفاعلاً أثناء البث المباشر.
التفاعل الصوتي الفوري والإنسان الرقمي: بفضل معدل الوقت الحقيقي المنخفض جداً، 0.20، يقدر IndexTTS-2.5 يخدم فخدمة الزبناء الذكية، والبث المباشر بالإنسان الرقمي، والترجمة الفورية، مع دعم ردود صوتية شخصية بزمن تأخير منخفض.
التعليم وتعلم اللغات: المؤسسات التعليمية تقدر تستعمل وظيفة التحكم فالنطق لإنشاء تسجيلات نموذجية معيارية للبينيين، أو لفونيمات CMU، أو للكانا اليابانية، كما يمكنها استنساخ صوت المدرس لإنتاج دروس متزامنة متعددة اللغات.