Mistral AI đã đăng thông báo hôm qua (ngày 4 tháng 8), công bố mô hình AI kiểm duyệt nội dung Shieldstral với tổng cộng 3B (3 tỷ) tham số, sử dụng trọng số mở và được phát hành theo giấy phép Apache 2.0.
Mô hình đã được cung cấp trên nền tảng Hugging Face, hỗ trợ 12 ngôn ngữ và có thể chạy trên một GPU 16GB. Mistral cho biết về khả năng bảo đảm an toàn nội dung, mô hình này có hiệu năng tương đương các mô hình mở có quy mô lớn gấp 7 lần, đồng thời đạt SOTA trong lĩnh vực kiểm duyệt nội dung đa phương thức.
Ghi chú: SOTA là viết tắt của state-of-the-art, chỉ tập hợp các mô hình hoặc thuật toán có thành tích tốt nhất và trình độ tiên tiến nhất trong một nhiệm vụ AI hoặc bài kiểm tra chuẩn cụ thể. Khái niệm này liên tục thay đổi theo sự phát triển của công nghệ và các nghiên cứu mới.
Mistral chỉ ra rằng phần lớn các mô hình bảo vệ đều cố định hệ thống phân loại tác hại trong trọng số mô hình. Sau khi thay đổi bối cảnh sử dụng sản phẩm, nhà phát triển thường phải huấn luyện lại mô hình.
Shieldstral đưa chính sách kiểm duyệt vào nội dung đầu vào: người vận hành có thể nhập một câu hỏi “có hoặc không”, sau đó cung cấp bối cảnh đánh giá và mức độ nghiêm ngặt. Mô hình sẽ tạo ra điểm an toàn đã được hiệu chỉnh từ một token đầu ra duy nhất.
Mô hình chuyển mỗi nhiệm vụ kiểm duyệt thành dạng hỏi đáp nhị phân, với đầu vào gồm 3 trường được gắn nhãn:
<Instruct>: Mô tả bối cảnh đánh giá và mức độ nghiêm ngặt.
<Query>: Đặt một câu hỏi “có hoặc không” duy nhất, chẳng hạn “Nội dung này có cổ xúy bạo lực thể chất không?”
<Document>: Cung cấp nội dung cần kiểm duyệt, có thể là lời nhắc, câu trả lời, tổ hợp lời nhắc và câu trả lời, hoặc hình ảnh kèm văn bản tùy chọn.
Khi suy luận, mô hình chỉ đọc các giá trị logic của hai token “có” và “không”, sau đó chuẩn hóa bằng softmax thành điểm liên tục và sử dụng 0,5 làm ngưỡng để đưa ra phán đoán nhị phân. Cơ chế này có thể bao quát việc phân loại lời nhắc, kiểm duyệt câu trả lời, phát hiện từ chối trả lời và phát hiện nội dung độc hại.
