Arena AI Đang hoạt động

Arena AI kết hợp trò chuyện với mô hình lớn, đánh giá ẩn danh và xếp hạng mô hình trên cùng một nền tảng. Người dùng quan sát câu trả lời của các mô hình qua những câu hỏi thực tế, sau đó phản hồi lựa chọn bằng hình thức bình chọn.

Nền tảng phù hợp hơn với việc so sánh và trải nghiệm nhiều mô hình, thay vì đóng vai trò là công cụ kiểm thử chuẩn hóa cho mọi loại nhiệm vụ. Hiện nền tảng chủ yếu cung cấp hình thức sử dụng miễn phí.

Nền tảng cung cấp các cuộc đối đầu kiểm thử mù ẩn danh: hai mô hình cùng trả lời một câu hỏi và người dùng bình chọn trước khi xem danh tính của chúng. Người dùng cũng có thể chọn hai mô hình để so tài song song, thuận tiện quan sát sự khác biệt trong câu trả lời trước cùng một prompt.

Ngoài ra, Arena AI hỗ trợ trò chuyện với một mô hình. Nền tảng sử dụng điểm Elo để cập nhật thứ hạng mô hình dựa trên kết quả bình chọn trong các cuộc trò chuyện; bảng xếp hạng phản ánh hiệu suất tương đối trong nền tảng.

Các nhà nghiên cứu thuật toán có thể dùng kết quả đấu ẩn danh làm cơ sở tham khảo để quan sát mức độ ưa thích và đánh giá mô hình; kỹ sư prompt có thể so sánh ảnh hưởng của những chỉ dẫn khác nhau đến câu trả lời; nhà sáng tạo nội dung công nghệ có thể dùng cùng một câu hỏi để kiểm thử nhiều mô hình và xây dựng nội dung so sánh.

Với người dùng phổ thông và những người yêu thích công nghệ, nền tảng cũng phù hợp để trải nghiệm sự khác biệt về phong cách trả lời và năng lực của nhiều mô hình mà không cần tìm lối vào riêng cho từng mô hình.

Thứ hạng mô hình phụ thuộc vào bình chọn của người dùng và các mẫu câu hỏi trên nền tảng, vì vậy kết quả có thể thay đổi theo chủ đề câu hỏi, ngôn ngữ, thành phần người tham gia và thời điểm. Vị trí cao trên bảng xếp hạng không có nghĩa một mô hình phù hợp hơn cho mọi nhiệm vụ chuyên môn.

Khi lựa chọn chính thức, vẫn nên kiểm thử riêng bằng dữ liệu, prompt và tiêu chí đánh giá phù hợp với nghiệp vụ thực tế, đồng thời chú ý đến độ chính xác, tính ổn định của câu trả lời và phạm vi sử dụng cụ thể của mô hình.