Việc dùng mô hình AI để huấn luyện các mô hình AI khác đang trở thành hướng được thế hệ phòng thí nghiệm AI mới tập trung nghiên cứu. Ngày 28 theo giờ địa phương, một nhà nghiên cứu thuộc chương trình nghiên cứu của Anthropic đã trình bày diện mạo mà ý tưởng này có thể mang lại khi được triển khai thực tế.
Anthropic đã công bố论文 mới nhất có tiêu đề 《Các nhà nghiên cứu tự động có thể giảm thiểu đáng tin cậy những thất bại trong việc căn chỉnh》, giới thiệu cách sử dụng hệ thống AI để cải thiện hiệu suất của mô hình trong một loạt bài kiểm tra chuẩn về căn chỉnh. Nhóm nghiên cứu thiết lập bài kiểm tra cho 10 hành vi mất căn chỉnh cụ thể. Cuối cùng, hệ thống tự động đã cải thiện cả 10 chỉ số mà không làm suy giảm năng lực tổng thể của mô hình.
Hệ thống này do Chen Nhạc Hàn (phiên âm), thành viên chương trình nghiên cứu của Anthropic, dẫn dắt phát triển, với quy trình làm việc tương tự nghiên cứu khoa học truyền thống. Hệ thống tự động trước tiên tra cứu các tài liệu hiện có, đề xuất phương pháp huấn luyện, sau đó huấn luyện mô hình theo phương án trong 30 phút và từng bước cải thiện điểm kiểm tra qua nhiều vòng thử nghiệm. Các phương án hiệu quả được giữ lại, còn phương án không hiệu quả sẽ bị loại bỏ, giúp nhanh chóng mở rộng quy mô toàn bộ quá trình nghiên cứu.
Bài luận cho biết, nhìn chung, những kết quả này bước đầu chứng minh rằng hậu huấn luyện căn chỉnh tự động có thể sớm trở thành một phương pháp thực sự khả thi.
Nghiên cứu này cũng đánh dấu một bước tiến hướng tới tự cải thiện đệ quy, được nhiều người xem là giai đoạn quan trọng tiếp theo của sự phát triển AI. Nếu mô hình AI có thể cải thiện phương pháp huấn luyện căn chỉnh của chính mình, thì việc tiếp tục cải thiện các quy trình huấn luyện rộng hơn cũng không phải là điều bất khả thi. Khi đạt đến bước đó, các nhà nghiên cứu AI là con người thậm chí có thể dần mất đi sự cần thiết phải tồn tại.
Bài luận cũng trực tiếp so sánh hiệu suất của các nhà nghiên cứu căn chỉnh tự động (AAR) và các nhà nghiên cứu con người: “Các phương pháp AAR xuất sắc nhất trung bình chỉ cần 6 giờ là có thể vượt qua phương án do các nhà nghiên cứu con người giàu kinh nghiệm đề xuất. Định hướng nghiên cứu do con người dẫn dắt không mang lại hiệu suất tốt hơn.”
Chênh lệch chi phí cũng rất rõ rệt. “AAR chỉ cần khoảng 4 đô la mỗi giờ cho chi phí suy luận API (lưu ý: theo tỷ giá hiện tại tương đương khoảng 27 nhân dân tệ), trong khi chúng tôi trả cho các nhà nghiên cứu con người 150 đô la mỗi giờ (theo tỷ giá hiện tại tương đương khoảng 1.011 nhân dân tệ).”
Tuy nhiên, phương pháp này vẫn có những hạn chế rõ rệt. Hiệu quả của hệ thống tự động trước hết phụ thuộc vào việc các bài kiểm tra chuẩn có phản ánh chính xác mục tiêu căn chỉnh thực sự hay không. Ngay cả khi bản thân bài kiểm tra đáng tin cậy, việc xây dựng và duy trì lâu dài các bộ kiểm tra chuẩn này vẫn đòi hỏi nguồn lực lớn. Các tài liệu nghiên cứu mà nhà nghiên cứu tự động dựa vào cũng cần được duy trì và bổ sung liên tục.
Tham khảo
Automated researchers can reliably mitigate alignment failures