AuK خدام

AuK هو موديل أساسي مفتوح المصدر من Tencent Hunyuan لتوليد وتحرير الصوت، فيه 1.5 مليار بارامتر، وكيعتمد على بنية الانتشار بمطابقة التدفق بدل التوليد التلقائي. الموديل كيقدر ينفّذ 16 مهمة صوتية عبر واجهة موحّدة للتعليمات باللغة الطبيعية، ومنها TTS بلا أمثلة أو بالتعليمات، وتحرير محتوى الصوت، والضبط الصوتي، وتحرير الأصوات غير الكلامية، وتقليل الضجيج وفصل صوت المتكلم. كيوفّر الموديل نسخة سريعة AuK-Flash باستدلال من 4 خطوات، وبسرعة كتزيد بحوالي 4.5 مرات.

Zero-shot TTS: استنساخ نبرة الصوت وتركيب كلام جديد باستعمال بضع ثواني من الصوت المرجعي.
Instruct TTS: توليد الصوت غير بوصف خصائص الصوت بالكلام، بلا حاجة لصوت مرجعي.
تحرير محتوى الصوت: تبديل أو إدخال أو حذف الكلام فالتسجيل مع الحفاظ على نبرة الصوت وإيقاعه.
تحرير الكلمات الغنائية: الحفاظ على اللحن وخصائص الغناء مع تغيير الكلمات فقط.
تحرير طبقة الصوت/السرعة/مستوى الصوت: ضبط الخصائص الصوتية بدقة بوحدات نصف النغمة، ومضاعف السرعة، والديسيبل.
تحرير المشاعر ونبرة الصوت: تغيير الطابع العاطفي بلا تبديل الكلمات، أو تحويل نبرة الصوت مع الحفاظ على المحتوى.
تحرير اللكنة وتقليل الضجيج: إزالة اللكنة، وتقليل الضجيج والصدى، وتحسين الوضوح.
تحرير الأحداث غير الكلامية: إضافة أو إزالة صوت التنفس والضحك والسعال، والتحويل بين الكلام العادي والهمس.
فصل الأصوات: تقسيم تسجيلات متعددة المتكلمين حسب ترتيب الكلام، أو استخراج المتكلم المستهدف حسب وصف المحتوى.
فصل الموسيقى: استخراج صوت المغني من الأغنية وإزالة المصاحبة الموسيقية.

تابع حساب WeChat وردّ بكلمة «开源» باش تنضم لمجموعة مشاريع الذكاء الاصطناعي مفتوحة المصدر
النموذج العام: AuK كيعتمد على بنية انتشار بمطابقة التدفق لتوليد تمثيل كامن للصوت، وهاد الشي مناسب بطبيعته لمهام «التحرير». كياخذ التمثيل الكامن للصوت الأصلي كنقطة بداية لإزالة الضجيج، وكيبدّل غير الجزء اللي كتطلبو التعليمة، وبهذا كيحافظ بشكل أفضل على نبرة الصوت الأصلية واللحن والمحتوى اللي ما تبدلش. وهاد الشي هو الأساس التقني لتغطية مجموعة مهام التحرير.
بنية خط أنابيب من ثلاثة مكونات: النظام مكوّن من ثلاثة أجزاء: موديل لغوي كبير متعدد الوسائط كيقرا التعليمات باللغة الطبيعية والصوت المرجعي وكيولّد الشروط الدلالية؛ وAudio VAE كيشفّر الموجة الصوتية بتردد 24kHz ففضاء كامن صوتي بتردد 50Hz؛ وTransformer هجين أساسي مكوّن من 10 طبقات MMDiT ثنائية التدفق و20 طبقة DiT أحادية التدفق، بعرض 1536 وبإجمالي 1.5 مليار بارامتر.
التدريب على محاذاة التعليمات على نطاق واسع: بيانات التدريب فيها حوالي 3.03 مليار زوج «تعليمة—صوت»، بإجمالي حوالي 1.95 مليون ساعة من الإشراف الفعلي. النقطة الأساسية هي توحيد جميع المهام فصيغة «تعليمة + صوت الإدخال ← صوت الإخراج»، باش يقدر الموديل يعمّم عبر واجهة وحدة على 16 مهمة.
التدريب اللاحق وتحسين تفضيلات البشر: من بعد التدريب الأساسي، كيدوز الموديل من تحسين تفضيلات البشر والتدريب اللاحق بالتعلم المعزز (RL post-training)، باش تتحسن طبيعية الصوت المولّد، واتباع التعليمات، وجودة الاستماع.

تأكد من العتاد: وجد حاسوب فيه بطاقة NVIDIA GPU بذاكرة فيديو حوالي 24GB، بحال RTX 3090/4090.
نسخ مستودع الكود: نسخ مستودع Tencent-Hunyuan/AuK من GitHub للحاسوب المحلي.
تثبيت البيئة: جهّز بيئة Python وثبّت الحزم المطلوبة حسب متطلبات المستودع.
تحميل أوزان الموديل: حمّل أوزان AuK وملفات VAE المرافقة من Hugging Face أو ModelScope.
تحميل موديل الشروط الدلالية: حمّل وتهيّأ بشكل مستقل الموديل متعدد الوسائط Qwen2.5-Omni-3B لتحليل التعليمات والصوت المرجعي.
تحضير مواد الإدخال: وجد النص المستهدف، أو الصوت المرجعي، أو ملف الصوت الأصلي اللي بغيتي تحرّرو.
كتابة التعليمات باللغة الطبيعية: كتب التعليمات حسب المهمة، بحال وصف خصائص الصوت أو تحديد الجملة اللي بغيتي تبدّلها أو ضبط طبقة الصوت والسرعة.
تشغيل الاستدلال: دخل التعليمات والمواد عبر سطر الأوامر (CLI)، ونفّذ التوليد أو التحرير وتسنى النتيجة.
الاستماع والتعديل: راجع الصوت الناتج، وإلا ما عجبكش بدّل صياغة التعليمات أو عدد خطوات أخذ العينات أو قوة CFG وعاود التوليد.

واجهة موحّدة وتغطية شاملة للمهام: الموديل كيقدر ينفّذ 16 مهمة صوتية، منها TTS والتحرير والتحسين والفصل، باستعمال التعليمات باللغة الطبيعية، بلا حاجة لنشر موديل مستقل لكل مهمة.
قدرة تحرير نادرة فالمجال: كيدعم تغيير الكلمات وإدخال الجمل وضبط طبقة الصوت وتغيير المشاعر وغيرها من عمليات التحرير الدقيقة، مع الحفاظ قدر الإمكان على نبرة الصوت وإيقاعه الأصليين.
Instruct TTS بلا صوت مرجعي: يقدر يولّد الصوت اعتماداً على وصف مكتوب لخصائصه، وبهذا كيقلّل صعوبة الاستعمال.
بنية مطابقة التدفق كتضمن وفاء أكبر: كيعتمد على التوليد بالانتشار بدل التنبؤ بالتوكنات وحدة بوحدة، وكيستعمل الصوت الأصلي كنقطة بداية لإزالة الضجيج أثناء التحرير، لذلك كتظل الأجزاء غير المعدّلة تقريباً بلا فقدان.

الموقع الرسمي للمشروع: https://auk-project.github.io/
مستودع GitHub: https://github.com/Tencent-Hunyuan/AuK
مستودع النماذج على HuggingFace: https://huggingface.co/tencent/AuK
البحث التقني على arXiv: https://arxiv.org/pdf/2609.08936

إصلاح الحوارات فمرحلة ما بعد إنتاج الأفلام والمسلسلات القصيرة: إلا نطق الممثل كلمة غلط أو تبدّل السيناريو بشكل بسيط، يمكن تبديل كلمات أو جمل محددة فالتسجيل مباشرة بلا إعادة التسجيل فالأستوديو، مع الحفاظ على مشاعر الأداء الأصلي.
إنتاج البودكاست والمقابلات: حذف زلات اللسان والكلام الزائد، وضبط سرعة الإيقاع، وإزالة ضجيج الخلفية والصدى، وتحويل المواد الأولية إلى نسخة جاهزة بضغطة وحدة.
الكتب الصوتية وإنتاج الدبلجة بالذكاء الاصطناعي: استعمال Instruct TTS لتوليد نبرات مختلفة حسب وصف كل شخصية، مع إمكانية تعديل المشاعر والإيقاع لاحقاً لنفس الراوي، وتقليل تكلفة إنتاج الشخصيات المتعددة.
الإبداع الموسيقي وإعادة الإنتاج: إعادة كتابة كلمات أغانٍ مع الحفاظ على اللحن الأصلي وخصائص الغناء، أو استخراج صوت المغني من الأغنية لاستعماله فمواد remix.
تدريب اللغات وتطبيقات الولوج: إزالة اللكنة عند المستخدمين اللي عندهم لهجة أو صعوبات فالنطق، وضبط السرعة ومستوى الصوت، وتوليد محتوى صوتي أوضح وأسهل للفهم.