Nemotron 3.5 Transcribe خدام

Nemotron 3.5 Transcribe هو موديل كبير مفتوح المصدر ديال الصوت طوّراتو NVIDIA، كيستعمل معمارية فيها مُرمّز صوتي مع MoE، وحوالي 4.3 مليار بارامتر نشيط، وكيْدعم 40 لغة، وكيقدر يعالج تسجيلات حتى لساعة وحدة وبحد أقصى 8 ديال المتكلمين. كيغطي التفريغ الحرفي، تمييز المتكلمين، الترجمة ووظائف خرى. Nemotron 3.5 Transcribe كيدعم تخصيص صيغة الإخراج باستعمال تعليمات باللغة الطبيعية، ويمكن تكييفو مع المجالات المتخصصة بالتوليف الدقيق، والاستعمال التجاري ديالو مجاني.

التفريغ متعدد اللغات: كيدعم 40 لغة، وكيحوّل التسجيلات لنصوص، وكيقدر يتعرف على اللغات المستعملة فالكلام.
تمييز المتكلمين: كيقدر يفرّق بين حتى لـ 8 ديال المتكلمين، وكيحدد شكون قال كل جملة، وهادشي مناسب للاجتماعات والمقابلات الجماعية.
معالجة التسجيلات الطويلة: كيقدر يعالج فكل مرة تسجيلات حتى لحوالي ساعة وحدة.
التفريغ بالتعليمات: كتحدد صيغة الإخراج باللغة الطبيعية، بحال التفريغ الحرفي، ترتيب النص بصيغة مكتوبة، حذف الكلمات الحشو، وطريقة كتابة المصطلحات، بلا ما تحتاج تعاود تدرّبو.
الترجمة الصوتية: كيقدر يترجم ذهاباً وإياباً بين 31 لغة والإنجليزية.
الطوابع الزمنية على مستوى الكلمات: كيرجع الموضع الزمني ديال كل كلمة فالصوت، باش يسهل الرجوع للتسجيل والبحث فيه.
التوليف الدقيق للمجالات: باستعمال حزمة NeMo Speech، يمكن تكييفو بسرعة مع المجالات المتخصصة باستعمال بيانات قليلة وعلى GPU وحدة.

تابعنا فـ WeChat وردّ بـ “开源” باش تنضم لمجموعة مشاريع الذكاء الاصطناعي مفتوحة المصدر
موديل اللغة المعزّز بالصوت (SALM): الموديل مكوّن من 3 أجزاء. مُرمّز صوتي Transformer كيتكلف باستخراج خصائص الصوت، وموديل مجمّد لفصل المتكلمين Nemotron 3 كيوفّر معلومات على نشاط المتكلمين، بجوجهم كيدخلو فموديل اللغة الكبير Nemotron 3.5 Lightning 30B-A3B، اللي كيجمع بين Mamba وTransformer وMoE. مجموع البارامترات حوالي 34 مليار، ولكن فكل عملية استدلال كيتفعّلو غير حوالي 4.3 مليار بارامتر، وهادشي كيجمع بين القدرة والكفاءة.
مُرمّز الخبراء المتوازي: إشارات نشاط المتكلمين اللي كيخرجها موديل الفصل المجمّد كتدخل فتمثيلات مُرمّز ASR، وهادشي كيخلي الموديل يدير التفريغ مع تحديد المتكلمين داخل معمارية LLM وحدة بلا تغييرات، وكيتم تدريبو باستعمال إخراج متسلسل.
المزج المتوازن بالإشراف: بيانات التدريب كيتدار ليها أخذ العينات حسب عدد رموز الأجوبة، ماشي حسب عدد الأمثلة. كل مثال ASR يقدر يتستعمل مع بزاف ديال تعليمات المهام، وبهاد الطريقة يمكن إضافة قدرات جديدة بمعدل أخذ عينات أقل من 1%. التدريب كامل كيتقسم لمرحلتين: التوليف الدقيق بالإشراف، ومن بعد مرحلة قصيرة ديال التعلم بالتعزيز، اللي كتحسّن مباشرة دقة التفريغ.
فكّ الترميز التخمني MTP: الموديل كيتدرّب مع التحسين المشترك لهدف التنبؤ بعدة رموز (MTP)، وبهذا طبقات MTP ديالو تقدر تخدم مباشرة كموديل مسودة لفك الترميز التخمني فـ vLLM. وكاين حتى موديل مسودة مستقل DFlash2 كخيار بديل. بجوجهم يقدرو يوصلو فـ GPU وحدة من نوع RTX PRO 6000 Blackwell لمردودية ديال تفريغ 2238 ثانية من الصوت فكل ثانية.
مُكيّف الطوابع الزمنية CTC: من بعد فك الترميز، كيتستعمل مُكيّف CTC خفيف باش يطابق النص المولّد مع الصوت، ويعطي طوابع زمنية على مستوى الكلمات مع تحديد المتكلمين فالتسجيلات الطويلة والحوارات اللي فيها تداخل كبير، بلا ما يزيد الحمل على الموديل الرئيسي.

وجد العتاد: نسخة BF16 كتحتاج تقريباً 80GB ديال ذاكرة الفيديو، وتقدر تختار نسخة FP8/NVFP4 أو GGUF باش تنقص المتطلبات.
جيب الموديل: قلّب فـ Hugging Face أو ModelScope على NVIDIA-Nemotron-3.5-Transcribe-30B-A4B، وحمّل الأوزان بترخيص OpenMDW-1.1.
نصّب البيئة: كاينين 3 طرق للنشر، Nemotron Transcribe NIM (الحاوية الرسمية)، أو vLLM (كيدعم تسريع MTP)، أو NeMo-Speech.cpp (تشغيل محلي بصيغة GGUF).
وجد الصوت: حمّل ملف تسجيل مدتو القصوى ساعة وحدة، وحوّل الصيغة حسب المتطلبات ديال الإطار اللي غادي تستعمل.
كتب التعليمات: شرح المهمة باللغة الطبيعية، بحال ”خلي الكلام حرفياً وحدد المتكلمين“ أو ”حيد الكلمات الحشو وترجم للإنجليزية“.
شغّل الاستدلال: عيط للواجهة وأرسل الصوت والتعليمات، وغادي يرجع الموديل النص المفرّغ، ومع الحاجة يقدر يزيد علامات المتكلمين والطوابع الزمنية على مستوى الكلمات.
(اختياري) تجربة سريعة: إلا ما بغيتيش تنصّب، تقدر تجرب مباشرة المساحة nvidia/nemotron-transcribe فـ Hugging Face.
(اختياري) التوليف الدقيق للمجال: استعمل حزمة NeMo Speech وجد بيانات معلّمة، ويمكن تكييف الموديل مع اللكنة والمصطلحات والصيغة ديالك فـ GPU وحدة خلال حوالي 0.5–2.3 ساعة.

الإخراج بالتعليمات: بجملة وحدة باللغة الطبيعية تقدر تبدّل بين التفريغ الحرفي، النص المرتب، الترجمة وصيغ خرى، بلا إعادة التدريب ولا إعداد موديلات متعددة.
دقة قوية فالتفريغ: متوسط WER فترتيب Open ASR ديال الإنجليزية هو غير 4.71%، وفالترتيب متعدد اللغات 4.62%، وكيحتل المرتبة الأولى بين الموديلات ذات الأوزان المفتوحة.
تمييز متقدم للمتكلمين: فمهام التفريغ المعلّم للمتكلمين مع الكلام المتداخل بين عدة أشخاص، تفوّق لأول مرة على الأنظمة المتسلسلة المتخصصة، مع دعم سيناريوهات حتى لساعة وحدة و8 ديال المتكلمين.
قدرة قوية على تصحيح السياق: منين كتعطي لائحة ديال المصطلحات والأسماء، يقدر معدل أخطاء الكيانات المسماة ينقص بـ 6 مرات، وما تبقاش الكلمات المتخصصة كتتخمن.
طوابع زمنية على مستوى الكلمات مع تحديد المتكلمين: المحاذاة الخفيفة بـ CTC كتخلي نتائج التفريغ قابلة للرجوع والاستعمال فالبحث، وكتدعم مباشرة تطبيقات بحال إعادة مشاهدة الدروس والبحث فالمحاضر.
كفاءة عالية فاستدلال: فك الترميز التخمني MTP الأصلي مع موديل المسودة DFlash2 كيخلي GPU وحدة RTX PRO 6000 تعالج 2238 ثانية من الصوت فكل ثانية.

مستودع موديل HuggingFace: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
الورقة التقنية: https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Transcribe-Technical-Report.pdf

محاضر الاجتماعات واستخراج القرارات: كيميز المتكلمين أوتوماتيكياً، وكيحافظ على الكلام الأصلي ديال النقاش، وكيستخرج حسب التعليمات الخلاصات والمهام اللي خاصها تتدار.
المقابلات الإعلامية والتحرير الصحفي: كيحافظ حرفياً على كلام الضيف وكيحدد المتكلمين، باش يضمن دقة الاقتباسات، ومع الحاجة يقدر يحيد الكلمات الحشو.
إعادة مشاهدة الدروس والتكوين: كينتج تفريغ فيه طوابع زمنية على مستوى الكلمات، وكيخلي الطلبة يقلبو مباشرة على الكلمات المفتاحية ويمشيو للحظة اللي شرح فيها الأستاذ الفكرة.
التسجيلات الطبية والمجالات المتخصصة: بدمج لائحة المصطلحات والتوليف الدقيق للمجال، كيحوّل حوارات الطبيب والمريض لنصوص طبية بالصيغة المعتمدة، وكيقلل أخطاء المصطلحات المتخصصة.
توطين المحتوى متعدد اللغات: كيترجم تسجيلات بـ 40 لغة مباشرة لنصوص بالإنجليزية، للاستعمال فاجتماعات ومقابلات دولية أو إعداد ترجمات الفيديو.