Hôm qua (ngày 6 tháng 8), Neon đăng bài viết công bố việc hợp tác với Castform để giới thiệu một phương pháp đào tạo dành cho các mô hình truy xuất.
Lưu ý: Neon là cơ sở dữ liệu PostgreSQL serverless được quản lý hoàn toàn. Nền tảng này tách biệt lớp tính toán và lưu trữ, hỗ trợ tự động mở rộng, thu hẹp theo nhu cầu về 0 và tính năng phân nhánh cơ sở dữ liệu tương tự Git, rất phù hợp với các ứng dụng cloud-native và tác nhân AI hiện đại.
Castform chủ yếu cung cấp các tác nhân giọng nói AI và nền tảng đào tạo mô hình dành cho doanh nghiệp và nhà phát triển. Thông qua tương tác bằng giọng nói có độ chân thực cao và quy trình tự động hóa, nền tảng này giúp doanh nghiệp xử lý các cuộc gọi thường ngày, theo dõi bán hàng và hỗ trợ khách hàng.
Bài viết chỉ ra rằng một tác nhân AI tốt cần có 2 khả năng: thứ nhất là tìm đúng dữ liệu ngữ cảnh thông qua các công cụ; thứ hai là định tuyến để xác định nên sử dụng mô hình nào cho việc tìm kiếm đó.
Vì vậy, đội ngũ Neon đã hợp tác với Castform để sử dụng học tăng cường và hậu huấn luyện một mô hình mã nguồn mở 4B tham số. Trong các tác vụ tìm kiếm, độ chính xác của mô hình này tương đương, thậm chí cao hơn GPT-5.6 Sol của OpenAI, trong khi chi phí chỉ khoảng 1/100.
Đội ngũ Neon cho biết trong lĩnh vực tìm kiếm tài liệu, phương pháp phổ biến hiện nay là tìm kiếm nhúng (embedded search), thường chuyển tài liệu thành dữ liệu số rồi tìm các nội dung tương tự.
Cùng với sự phổ biến của các tác nhân AI, quy trình tìm kiếm đang chuyển sang tìm kiếm kiểu tác nhân. Trong các hệ thống này, mô hình AI sẽ chia một vấn đề lớn thành nhiều vấn đề nhỏ, tự quyết định truy vấn tìm kiếm, xem kết quả tìm kiếm và dựa trên kết quả đó để thực hiện lượt tìm kiếm tiếp theo cho đến khi thu thập đủ thông tin cần thiết.
Neon cho biết tìm kiếm kiểu tác nhân phù hợp hơn để xử lý các vấn đề phức tạp, nhưng mỗi lượt tìm kiếm đều cần gọi một mô hình hiệu năng cao, từ đó làm tăng thời gian và chi phí. Theo cách tính cho một yêu cầu điển hình do Neon đưa ra, một lượt tìm kiếm sử dụng GPT-5.6 Sol mất hơn 10 giây, với chi phí khoảng $0.03.
Castform lựa chọn đào tạo một mô hình mã nguồn mở tương đối nhỏ, để mô hình học cách tìm thông tin cần thiết từ dữ liệu cụ thể. Neon chịu trách nhiệm cung cấp nơi lưu trữ tài liệu và chức năng tìm kiếm, còn Castform phụ trách đào tạo mô hình xác định “nên tìm kiếm gì”.
Trong quy trình đào tạo, mô hình sẽ thử hoàn thành nhiệm vụ, hệ thống chấm điểm kết quả và đưa kết quả đánh giá vào các thử nghiệm tiếp theo. Các tiêu chí đánh giá bao gồm: có tìm thấy đúng tài liệu hay không, có trích dẫn đoạn văn phù hợp hay không và câu trả lời cuối cùng có chính xác hay không.
Trong quá trình xác minh của Neon, mô hình được Castform hậu huấn luyện đạt điểm đánh giá trung bình 1.447, vượt GPT-5.6 Sol với 1.369 và cao hơn GPT-5.4 được dùng làm đối chứng với 1.377, lập kỷ lục cao nhất trong lần xác minh này.
Về chi phí, chi phí suy luận mỗi lượt của mô hình hậu huấn luyện là 0.000929 đô la Mỹ (theo tỷ giá hiện tại tương đương khoảng 0.0063 nhân dân tệ); chi phí suy luận mỗi lượt của GPT-5.6 Sol là 0.087338 đô la Mỹ (theo tỷ giá hiện tại tương đương khoảng 0.59 nhân dân tệ).