أعلن مختبر الذكاء الاصطناعي التابع لـ Google نهار 12 بالتوقيت المحلي على إطلاق نموذج كبير ومتعدد اللغات لترجمة لغة الإشارة إلى نص (SL2T).
وبفضل هاد النموذج، الذكاء الاصطناعي للغة الإشارة كيدخل لأول مرة لمنتجات المستهلك: تطبيقات Gboard وLive Transcribe فالهواتف الذكية من سلسلة Google Pixel 11 ولات كتدعم إدخال لغة الإشارة وتحويلها لنص (فالبداية غير لغة الإشارة الأمريكية، ومن بعد غادي يتوسّع الدعم للغات إشارة وأجهزة أكثر).
كيستعملو حوالي 70 مليون شخص من ذوي ضعف السمع حول العالم أكثر من 200 لغة إشارة، والخاصية الجديدة كتخليهم يستافدو من تجربة مرنة بحال الإملاء الصوتي كبديل للكتابة. وبيّنت الاختبارات أن استعمال لغة الإشارة الأمريكية أسرع وأكثر طبيعية ومتعة من الكتابة بالإنجليزية.
وضّحت DeepMind أن لغة الإشارة لغة طبيعية مستقلة، عندها قواعد ومفردات خاصة بها. لذلك، ترجمة لغة الإشارة كتحتاج لترجمة آلية حقيقية، ماشي غير تحويل الإشارات لنص بالترتيب. والنموذج القادر على إنجاز مهمة SL2T خاصو يقدر «يفهم» الحركات المتزامنة ديال أجزاء مختلفة من جسم مستعمل لغة الإشارة، وهاد الشي كيتطلب قدرات قوية فمعالجة الرؤية الحاسوبية.
تدرّب نموذج SL2T ديال Google DeepMind على 100 ألف ساعة من البيانات بأكثر من 50 لغة إشارة. وكيحوّل لغة الإشارة لمعلومات على مواقع نقاط مميّزة للحركات، باش يحافظ على خصوصية المستخدمين وأمانهم، ومن غير ما يرسل تدفق الفيديو الأصلي للخوادم. كما تخلّى على «التعليقات الوسيطة» اللي كانت كتستعمل على نطاق واسع من قبل، وولا كيفسر المعلومات المكانية مباشرة.