WeVisOne-VL Đang hoạt động

WeVisOne-VL là mô hình nền tảng thị giác-ngôn ngữ mã nguồn mở do đội ngũ Thị giác WeChat của Tencent phát triển, dựa trên Qwen3-VL, gồm hai phiên bản 2B và 4B. WeVisOne-VL sử dụng phương thức dự đoán token có cấu trúc thống nhất, giúp một mô hình đồng thời thực hiện bảy loại tác vụ: phát hiện, định vị quy chiếu, đếm, chỉ điểm, OCR, phân đoạn quy chiếu và tách nền có hướng dẫn. Bộ giải mã pixel chỉ có 9,6 triệu tham số có thể trực tiếp xuất mặt nạ hoặc alpha tách nền đến từng sợi tóc mà không cần tích hợp SAM. WeVisOne-VL được huấn luyện trên hơn 100 triệu ảnh và khoảng 3,6 tỷ hộp mục tiêu, trải qua ba giai đoạn tinh chỉnh theo chương trình kết hợp học tăng cường, dẫn đầu các mô hình cùng loại trên hơn 30 bộ tiêu chuẩn.

Phát hiện đối tượng: Có thể trực tiếp xuất tất cả hộp mục tiêu trong ảnh theo các chỉ dẫn như “tìm tất cả chó”.
Định vị quy chiếu: Có thể xác định mục tiêu cụ thể trong ảnh dựa trên mô tả ngôn ngữ tự nhiên như “người mặc áo đỏ”.
Đếm: Trả lời số lượng vật thể thuộc một danh mục được chỉ định trong ảnh.
Chỉ điểm: Hiểu các mô tả mang tính chỉ hướng như “chiếc cốc đó” và tìm vật thể được chỉ đến.
OCR: Đọc nội dung văn bản trong ảnh và đánh dấu vị trí của văn bản.
Phân đoạn quy chiếu: Vẽ đường bao mục tiêu theo từng pixel và xuất mặt nạ nhị phân.
Tách nền có hướng dẫn: Xuất kênh alpha liên tục, giữ tự nhiên các chi tiết bán trong suốt như sợi tóc và có thể trực tiếp thay nền.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án mã nguồn mở AI
Đầu ra có cấu trúc, trong đó tọa độ là token: Mô hình rời rạc hóa tọa độ thành 1001 token chuyên dụng. Mỗi hộp chiếm đúng 4 token, mỗi điểm chiếm 2 token. Hộp phát hiện, vị trí văn bản và mặt nạ pixel đều sử dụng cùng một bộ từ vựng, sau đó được tạo thống nhất bằng dự đoán next-token có cấu trúc. Khi đổi tác vụ, chỉ cần thay tiền tố prompt; nếu mục tiêu không tồn tại, mô hình trực tiếp xuất None.
Bộ giải mã pixel tích hợp thay thế chuỗi SAM: Bên ngoài nền tảng Qwen3-VL, mô hình tích hợp một mô-đun nhỏ chỉ có 9,6 triệu tham số. Bộ thích ứng đặc trưng thị giác lấy đặc trưng ViT bốn tầng trước khi hợp nhất từ nền tảng, tinh chỉnh bằng tích chập sâu để tạo thành tháp đặc trưng dùng chung. Trạng thái ẩn của mỗi token kết hợp với tiên nghiệm hộp được mã hóa Fourier để tạo truy vấn phiên bản. Sáu khối chú ý chéo biến dạng sẽ liên tục tinh chỉnh truy vấn. Cuối cùng, đầu dày đặc có điều kiện theo phiên bản dùng kernel tích chập động để dự đoán mặt nạ, rồi khôi phục alpha tách nền toàn độ phân giải đến từng sợi tóc qua chuỗi thô đến tinh S/4→S/2→S/1. Toàn bộ quy trình không phụ thuộc vào các mô hình phân đoạn bên ngoài như SAM.
Huấn luyện theo chương trình kết hợp học tăng cường đa tác vụ: Sau giai đoạn tiền huấn luyện, mô hình lần lượt trải qua ba giai đoạn SFT: căn chỉnh tác vụ, độ phân giải cao và bối cảnh dày đặc. Cuối cùng, 178K mẫu được sàng lọc theo độ bất định được dùng cho học tăng cường GRPO đa tác vụ. Các hộp chính xác hơn và hiện tượng ảo giác ít hơn. Hai loại lỗi “ảnh không có mục tiêu nhưng vẫn vẽ hộp” và “ảnh có mục tiêu nhưng bỏ sót hộp” bị phạt trọng điểm, giúp đồng thời cải thiện khả năng từ chối nhận diện và độ chính xác định vị khi có mục tiêu.
Công cụ dữ liệu dựa trên đồ thị tri thức: Đồ thị tri thức về danh mục và biểu đạt quy chiếu được dùng để thu thập dữ liệu có mục tiêu. SAM3 kết hợp bộ phát hiện DINO nội bộ tạo các hộp ứng viên, Qwen3-VL kiểm tra chéo tính đúng sai, SAM2 mở rộng thành mặt nạ, còn BiRefNet và MatAnyone2 tạo các ứng viên alpha liên tục. Mẫu chỉ được chấp nhận sau khi vượt qua hàng loạt kiểm tra về IoU, tỷ lệ bao phủ, độ chính xác tiền cảnh và các tiêu chí khác; một phần được kiểm tra thủ công. Lỗi của mô hình được đưa trở lại vòng sàng lọc tiếp theo. Tổng cộng đã gắn nhãn hơn 100 triệu ảnh và khoảng 3,6 tỷ hộp mục tiêu, hình thành vòng lặp gắn nhãn tự cải thiện.

Lấy mã nguồn: Sao chép kho Tencent/WeVisOne-VL từ GitHub và cài đặt môi trường phụ thuộc theo README.
Chuẩn bị mô hình: Tải trọng số WeVisOne-VL-2B hoặc WeVisOne-VL-4B từ Hugging Face.
Tạo prompt tác vụ: Viết rõ yêu cầu trong prompt theo từng tác vụ, chẳng hạn phát hiện “Locate all the instances of …”, mô tả mục tiêu cho định vị quy chiếu, yêu cầu xuất alpha cho tách nền; đồng thời có thể truyền nhãn có sẵn qua các thẻ có cấu trúc như 、 và 。
Gọi suy luận: Sử dụng API model.predict() do kho mã cung cấp, cũng là API được dùng trong bản trình diễn chính thức, để gửi ảnh cùng prompt vào mô hình.
Phân tích đầu ra: Mô hình tạo kết quả theo từng token. Tọa độ được khôi phục từ các token chuyên dụng <0>–<1000> thành tọa độ chuẩn hóa; kích hoạt bộ giải mã pixel để xuất mặt nạ hoặc alpha, còn khi mục tiêu không tồn tại, mô hình trả về None.
Ứng dụng hậu xử lý: Ánh xạ hộp, mặt nạ hoặc kết quả tách nền về kích thước ảnh gốc để sử dụng cho các tác vụ hạ nguồn như truy xuất, gắn nhãn và thay nền.

Từ chối nhận diện đáng tin cậy: Khi ảnh không có mục tiêu, mô hình dám trả lời “không có” thay vì cố đưa ra đáp án, giúp giảm đáng kể ảo giác trong khâu cảm nhận thị giác.
Một mô hình, nhiều tác vụ: Bảy loại tác vụ gồm phát hiện, định vị quy chiếu, đếm, chỉ điểm, OCR, phân đoạn và tách nền dùng chung một mô hình. Khi đổi tác vụ, chỉ cần thay prompt, loại bỏ chi phí triển khai và bảo trì hệ thống ghép nhiều mô hình.
Không cần SAM bên ngoài: Bộ giải mã pixel 9,6 triệu tham số tích hợp trực tiếp xuất mặt nạ và alpha tách nền đến từng sợi tóc, thay thế chuỗi ba bước “bộ phát hiện + SAM + mô hình tách nền”, giúp rút ngắn chuỗi suy luận.
Cân bằng độ chính xác và mức độ chi tiết: Dữ liệu gắn nhãn quy mô lớn gồm 100 triệu ảnh và 3,6 tỷ hộp, kết hợp huấn luyện theo chương trình và học tăng cường đa tác vụ, giúp mô hình đồng thời dẫn đầu VLM đa dụng và mô hình chuyên dụng trên hơn 30 bộ tiêu chuẩn; MAD khi tách nền gần như giảm một nửa.
Mã nguồn mở, dễ triển khai: Trọng số, mã nguồn và chuỗi công cụ của hai phiên bản 2B và 4B được công khai đầy đủ theo giấy phép Apache 2.0, có thể dùng thử trên web hoặc chạy cục bộ, phù hợp với các nhóm nhỏ.

Trang web dự án: https://tencent.github.io/WeVisOne-VL/
Kho GitHub: https://github.com/Tencent/WeVisOne-VL
Thư viện mô hình HuggingFace: https://huggingface.co/collections/tencent/wevisone-vl
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2610.31329

Kiểm duyệt nội dung và phát hiện an toàn: Nhờ khả năng từ chối nhận diện và “dám nói không có”, mô hình xác định chính xác các vật thể vi phạm trong ảnh; khi không tìm thấy, mô hình trả về rõ ràng là không có, giúp giảm bỏ sót và báo động nhầm, phù hợp với nhu cầu kiểm duyệt của hệ sinh thái nội dung WeChat.
Tách nền sản phẩm thương mại điện tử: Nhập ảnh sản phẩm để trực tiếp xuất alpha tách nền đến từng sợi tóc, nhanh chóng tạo ảnh nền trắng và áp phích thay nền, thay thế quy trình chỉnh sửa thủ công và ghép nhiều mô hình.
Cấu trúc hóa tài liệu, hóa đơn: OCR kết hợp đầu ra vị trí chuyển hóa đơn, hợp đồng và biểu mẫu thành dữ liệu có cấu trúc kèm tọa độ, thực hiện tự động nhập liệu và đối soát.
Gắn nhãn dữ liệu và tăng cường truy xuất: Dùng định vị quy chiếu và phân đoạn để tạo hàng loạt dữ liệu gắn nhãn kèm hộp và mặt nạ; hoặc khi tìm ảnh bằng văn bản, trả về vùng mục tiêu chính xác thay vì toàn bộ ảnh, phục vụ huấn luyện và truy xuất cho các mô hình hạ nguồn.
Nhận thức cho robot và xe tự hành: Triển khai ở thiết bị biên để nhận thức môi trường và thao tác với mục tiêu. Cơ chế từ chối nhận diện tránh ảo giác “coi không khí là chướng ngại vật”, nâng cao độ an toàn khi vận hành.