گوگل نے آج اعلان کیا ہے کہ جدید ترین Gemini 3.7 Flash، 3.6 Flash اور 3.5 Flash-Lite ماڈلز میں ایجنٹک ویڈیو انڈراسٹینڈنگ (agentic video understanding) فنکشن متعارف کرا دیا گیا ہے۔ یہ نیا فنکشن ویڈیو تجزیے کی درستگی بہتر بنانے کے ساتھ ویڈیو تجزیے کے دوران Token کے استعمال اور لاگت میں نمایاں کمی کرتا ہے۔
یہ فنکشن معیاری Gemini API Token قیمتوں کے مطابق کام کرتا ہے اور اضافی فنکشن فیس وصول نہیں کی جاتی۔
موجودہ "جامد" طریقہ کار کے برعکس، جس میں ماڈل مقررہ فریم ریٹ پر ویڈیو پڑھتا ہے، ڈیفالٹ طور پر 1 FPS، جسے API کے ذریعے تبدیل کیا جا سکتا ہے، ایجنٹک ویڈیو انڈراسٹینڈنگ ماڈل کی بنیادی استدلالی صلاحیت کو مقامی ویڈیو ٹولز کے ساتھ جوڑتی ہے۔ اس کے ذریعے ہدف ویڈیو کے حصوں میں بصری فریمز، آڈیو اور ٹرانسکرپٹ متن کے اندر متحرک طور پر تلاش، اسکین اور جانچ کی جا سکتی ہے۔
معیاری ویڈیو تجزیہ بینچ مارک ٹیسٹ میں ایجنٹک ویڈیو انڈراسٹینڈنگ سے لیس Gemini ماڈلز تجزیے کی لاگت میں زیادہ سے زیادہ 66% اور Token کے استعمال میں زیادہ سے زیادہ 88% کمی کر سکتے ہیں، جبکہ درستگی میں زیادہ سے زیادہ 7% اضافہ ہوتا ہے۔ یہ کارکردگی طویل ویڈیوز کے منظرناموں میں خاص طور پر نمایاں ہے، کیونکہ روایتی جامد طریقہ کار ڈویلپرز کو زیادہ Token لاگت اور اہم تفصیلات ضائع ہونے کے درمیان انتخاب پر مجبور کرتا ہے۔
گوگل کے مطابق، Gemini 3.7 Flash کو ایجنٹک ویڈیو انڈراسٹینڈنگ کے ساتھ استعمال کرنے سے مجموعی معیار بہترین حاصل ہوتا ہے، جبکہ معیار اور لاگت کی کارکردگی کے درمیان بہترین توازن قائم رہتا ہے۔ ویڈیو انڈراسٹینڈنگ کے کاموں میں یہ درستگی اور لاگت کے پاریٹو بہترین محاذ پر واقع ہے۔
جامد طریقہ کار میں ماڈل مقررہ فریم ریٹ پر میڈیا اسٹریم پڑھتا ہے، جبکہ ایجنٹک ویڈیو انڈراسٹینڈنگ Gemini کو فعال اور ہدفی انداز میں یہ فیصلہ کرنے دیتی ہے کہ کون سا مواد دیکھنا ہے، کس رفتار سے دیکھنا ہے، اور معلومات کس موڈیلٹی، یعنی فریم، آڈیو یا ٹرانسکرپٹ متن، کے ذریعے حاصل کرنی ہے۔ یوں صرف مطلوبہ حصے اور سگنلز نکالے جاتے ہیں۔ اس سے پہلے ڈویلپرز کو یہ کام دستی طور پر کرنا پڑتا تھا، لیکن ایجنٹک ویڈیو انڈراسٹینڈنگ کی مدد سے Gemini اسے ذہین لوپ کے ذریعے انجام دے سکتا ہے اور ویڈیو کے متعلقہ حصے لوڈ کرنے کے لیے اندرونی ٹولز استعمال کر سکتا ہے، جس سے ڈویلپمنٹ کا کام نمایاں طور پر کم ہو جاتا ہے۔
IT之家 کے مطابق، یہ فنکشن ڈویلپرز کے لیے طویل ویڈیو مواد پر کارروائی کی متعدد نئی صلاحیتیں فراہم کرتا ہے۔
ایک سیکنڈ سے کم دورانیے کے لمحات کی بازیافت: ان لمحاتی حالت کی تبدیلیوں اور مختصر ایڈیٹنگ حدود کی درست نشاندہی جو 1 FPS پر آسانی سے رہ جاتی ہیں، جس سے اعلیٰ درستگی والی خودکار ویڈیو ایڈیٹنگ ممکن ہوتی ہے۔
طویل ویڈیوز میں "سوئی کی تلاش": کئی گھنٹوں پر مشتمل ویڈیوز میں پیچیدہ سوالات کے جواب، وہ بھی لاکھوں Tokens خرچ کیے بغیر۔
غیر معمولی صورتِ حال کا پتا لگانا: دلچسپی کے وقت کے وقفوں کو زیادہ فریم ریٹ پر دوبارہ سیمپل کر کے تیز حرکت اور معمولی بصری نقائص کی جانچ۔
حرکات اور اشیا کی گنتی: وقت گزرنے کے ساتھ دہرائی جانے والی جسمانی حرکات اور مختلف اشیا کی درست ٹریکنگ۔
فی الحال یہ فنکشن Google AI Studio اور Gemini Enterprise Agent Platform کے Gemini API میں دستیاب ہے، اور ویڈیو اپ لوڈز اور YouTube ویڈیو تجزیے کو سپورٹ کرتا ہے۔ ڈویلپرز API کنفیگریشن میں پروسیسنگ موڈ کو صرف "agentic" پر سیٹ کر کے یہ فنکشن فعال کر سکتے ہیں۔
گوگل اس صلاحیت کو عام صارفین کے لیے اپنی مزید مصنوعات تک پہنچانے کا بھی منصوبہ رکھتا ہے۔ یہ فنکشن جلد ہی Gemini ایپ میں تمام Flash اور Flash-Lite ماڈلز کے صارفین کے لیے جاری کیا جائے گا۔ آنے والے چند ماہ میں ایجنٹک ویڈیو انڈراسٹینڈنگ YouTube ویڈیوز کے واچ پیج پر موجود "Ask YouTube" فنکشن کو بھی سپورٹ کرے گی، جس کے ذریعے Gemini ویڈیو کے بصری مواد کی بنیاد پر زیادہ معیاری جوابات فراہم کرے گا۔