Google hôm nay thông báo ra mắt tính năng hiểu video tác nhân (agentic video understanding) trong các mô hình Gemini 3.7 Flash, 3.6 Flash và 3.5 Flash-Lite mới nhất. Tính năng này giúp nâng cao độ chính xác phân tích video, đồng thời giảm đáng kể lượng Token sử dụng và chi phí trong quá trình phân tích video.
Tính năng này sử dụng cơ chế định giá Token API Gemini tiêu chuẩn và không thu thêm phí chức năng.
Khác với phương thức xử lý “tĩnh” hiện nay, trong đó mô hình đọc video theo tốc độ khung hình cố định, mặc định là 1 FPS và có thể điều chỉnh qua API, tính năng hiểu video tác nhân kết hợp khả năng suy luận cốt lõi của mô hình với các công cụ video gốc, cho phép tìm kiếm, quét và kiểm tra linh hoạt các đoạn video mục tiêu trong khung hình, âm thanh và văn bản chuyển lời.
Trong các bài kiểm thử chuẩn về phân tích video, mô hình Gemini được trang bị tính năng hiểu video tác nhân có thể giảm chi phí phân tích tối đa 66%, giảm lượng Token tiêu thụ tối đa 88%, đồng thời nâng độ chính xác tối đa 7%. Mức cải thiện hiệu quả này đặc biệt rõ rệt với các video dài, bởi phương thức xử lý tĩnh truyền thống buộc nhà phát triển phải lựa chọn giữa chi phí Token cao và nguy cơ bỏ sót chi tiết quan trọng.
Google cho biết Gemini 3.7 Flash kết hợp với tính năng hiểu video tác nhân mang lại chất lượng tổng thể tốt nhất, đồng thời đạt sự cân bằng tối ưu giữa chất lượng và hiệu quả chi phí, nằm trên biên Pareto tối ưu về độ chính xác và chi phí trong các tác vụ hiểu video.
Khác với phương thức xử lý tĩnh, trong đó mô hình đọc luồng phương tiện theo tốc độ khung hình cố định, tính năng hiểu video tác nhân cho phép Gemini chủ động và có mục tiêu xác định nội dung cần xem, tốc độ xem cũng như phương thức lấy thông tin, gồm khung hình, âm thanh hoặc văn bản chuyển lời. Mô hình chỉ trích xuất những đoạn và tín hiệu cần thiết. Trước đây, nhà phát triển phải tự thực hiện các thao tác này, còn với tính năng hiểu video tác nhân, Gemini có thể hoàn tất thông qua vòng lặp thông minh, gọi các công cụ nội bộ để tải những phần liên quan của video, qua đó giảm đáng kể khối lượng công việc phát triển.
Theo tìm hiểu của IT之家, tính năng này mang đến nhiều khả năng mới cho nhà phát triển khi xử lý nội dung video dài.
Truy xuất khoảnh khắc dưới một giây: xác định chính xác những thay đổi trạng thái thoáng qua và ranh giới các đoạn cắt ngắn dễ bị bỏ qua ở tốc độ 1 FPS, giúp tự động hóa chỉnh sửa video với độ chính xác cao.
Tìm kiếm kiểu “mò kim đáy bể” trong video dài: trả lời các truy vấn phức tạp trong những video kéo dài hàng giờ mà không cần tiêu tốn hàng triệu Token.
Phát hiện bất thường: lấy mẫu lại các khoảng thời gian quan tâm ở tốc độ khung hình cao hơn để kiểm tra chuyển động nhanh và các nhiễu hình ảnh tinh vi.
Đếm hành động và vật thể: theo dõi chính xác các hành động vật lý lặp lại và những vật thể khác nhau theo thời gian.
Hiện tính năng này đã được triển khai trong Gemini API trên Google AI Studio và Gemini Enterprise Agent Platform, hỗ trợ tải video lên và phân tích video YouTube. Nhà phát triển chỉ cần đặt chế độ xử lý thành “agentic” trong cấu hình API để bật tính năng.
Google cũng có kế hoạch đưa khả năng này vào nhiều sản phẩm dành cho người dùng phổ thông hơn. Tính năng sẽ sớm được cung cấp cho người dùng tất cả mô hình Flash và Flash-Lite trong ứng dụng Gemini; trong vài tháng tới, tính năng hiểu video tác nhân cũng sẽ hỗ trợ chức năng “Ask YouTube” trên trang xem video YouTube, giúp Gemini cung cấp câu trả lời chất lượng cao hơn dựa trên hình ảnh trong video.