LMArena Đang hoạt động

LMArena là nền tảng đánh giá mô hình trí tuệ nhân tạo trực tuyến. Nền tảng không tập trung cung cấp một dịch vụ mô hình đơn lẻ mà tổ chức các mô hình khác nhau tham gia đấu đối kháng ẩn danh. Người dùng xem câu trả lời của các mô hình đã được ẩn danh trước, bình chọn dựa trên chất lượng nội dung, rồi mới xem tên mô hình sau khi hoàn tất bình chọn.

Quy trình này làm giảm ảnh hưởng trực tiếp của nhận diện thương hiệu đối với phán đoán, đồng thời để kết quả đánh giá được tích lũy liên tục thông qua bình chọn của cộng đồng. Định vị của nền tảng gần với một công cụ so sánh và quan sát mô hình trong các tình huống sử dụng thực tế hơn là một bài kiểm thử chuẩn hóa đơn lẻ.

Nền tảng hỗ trợ đấu đối kháng giữa hai mô hình ẩn danh. Sau khi người dùng nhập câu hỏi hoặc chỉ thị, hệ thống hiển thị câu trả lời của hai mô hình. Người dùng có thể chọn bên phù hợp hơn với nhu cầu và gửi bình chọn để phản hồi về chất lượng câu trả lời.

LMArena cập nhật bảng xếp hạng động dựa trên dữ liệu bình chọn và cơ chế tính điểm Elo tương tự cờ vua, đồng thời hiển thị hiệu suất mô hình theo từng hướng tác vụ. Các tác vụ được hỗ trợ gồm hội thoại văn bản, lập trình, hiểu hình ảnh và phát triển web. Người dùng cũng có thể tải ảnh lên để tham gia đánh giá kết hợp hình ảnh và văn bản.

Một phần dữ liệu bình chọn được nền tảng tích lũy sẽ được cung cấp dưới dạng bộ dữ liệu mở, phục vụ nghiên cứu về năng lực mô hình, sở thích người dùng và phương pháp đánh giá.

Các nhà nghiên cứu có thể sử dụng dữ liệu đấu đối kháng ẩn danh và bộ dữ liệu mở để quan sát sự khác biệt giữa các mô hình trong từng tác vụ cụ thể, phân tích sở thích người dùng và tham khảo cho nghiên cứu phương pháp đánh giá.

Các nhà phát triển và người phụ trách lựa chọn công nghệ có thể xem câu trả lời thực tế của nhiều mô hình trên cùng một nền tảng để bước đầu nắm được hiệu suất tương đối của chúng trong các tác vụ như hỏi đáp tổng quát, lập trình hoặc hiểu hình ảnh, sau đó tiến hành xác minh thêm theo nhu cầu cụ thể.

Những người yêu công nghệ, sinh viên và người dùng phổ thông có thể trực tiếp gửi câu hỏi và tham gia bình chọn, từ đó nhận biết một cách trực quan hơn về phong cách trả lời và sự khác biệt về năng lực giữa các mô hình.

Bảng xếp hạng là kết quả tương đối được tạo từ bình chọn của cộng đồng và chịu ảnh hưởng của loại câu hỏi, người tham gia, xu hướng bình chọn cũng như thay đổi theo thời gian. Vị trí của một mô hình trên bảng xếp hạng không có nghĩa là mô hình đó phù hợp hơn cho mọi nghiệp vụ hoặc tác vụ chuyên môn.

Đấu mô hình phù hợp để so sánh ban đầu và hình thành định hướng lựa chọn, nhưng khi liên quan đến độ chính xác, độ ổn định phản hồi, yêu cầu xử lý dữ liệu, chi phí gọi API hoặc quy định của ngành cụ thể, vẫn cần sử dụng bộ dữ liệu kiểm thử thực tế để xác minh độc lập. Kết quả của tác vụ hình ảnh và văn bản cũng nên được xem xét riêng, không nên suy luận đơn giản từ loại này sang loại kia.