APUS-OpenJev-v1 Đang hoạt động

APUS-OpenJev-v1 là dòng mô hình ngôn ngữ lớn ra quyết định System 1 chạy tại thiết bị do APUS AI Lab phát hành mã nguồn mở, tương tự Jev độc quyền của TypeSafe AI, cung cấp các phiên bản trọng số 4B, 9B và 35B-A3B, có thể nhanh chóng lựa chọn thao tác tiếp theo trong các tác vụ như tự động hóa trình duyệt, điền biểu mẫu và định tuyến quy trình. Mô hình tiên phong với độ sâu tính toán động effort="low/high": low chỉ chạy 16 lớp kết hợp với phép chiếu nhận biết ứng viên, cho tốc độ nhanh và chi phí thấp; high sử dụng toàn bộ độ sâu để đạt độ chính xác cao hơn.

Ra quyết định hành động ứng viên: dựa trên tác vụ, ngữ cảnh trang và mô tả thao tác ứng viên để xuất ra hành động nghiệp vụ tiếp theo.
Tự động hóa trình duyệt: nhận diện thông tin DOM như nút, ô nhập liệu và phần tử điều hướng, hỗ trợ Agent hoàn thành thao tác trên web.
Định tuyến quy tắc nghiệp vụ: phù hợp với các kịch bản ra quyết định như phân luồng phiếu yêu cầu dịch vụ khách hàng, phê duyệt quy trình và gửi biểu mẫu.
Điều khiển tính toán động: chuyển đổi giữa thông lượng cao và chất lượng cao thông qua effort="low/high".
Tạo văn bản biểu mẫu: ngoài việc ra quyết định dạng câu hỏi lựa chọn, còn có thể tạo nội dung mở như từ khóa tìm kiếm và văn bản nhập liệu.
Triển khai cục bộ ở cấp mili giây: hỗ trợ GPU đơn và triển khai dưới dạng dịch vụ vLLM, giảm độ trễ API đám mây và chi phí gọi.
Lựa chọn đa dạng quy mô mô hình: cung cấp các phiên bản 4B, 9B và 35B-A3B, lần lượt hướng đến nhu cầu chạy nhẹ tại thiết bị, sử dụng phổ thông trong sản xuất và hiệu năng cao.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Giao diện ra quyết định gốc bằng ngôn ngữ: mô hình nhận mục tiêu tác vụ, ngữ cảnh và mô tả thao tác ứng viên dưới dạng đầu vào ngôn ngữ tự nhiên, đồng thời gán các Token ngắn gọn như A, B, C cho các hành động ứng viên. Khi suy luận, mô hình chỉ cần tính xác suất của các Token ứng viên hợp lệ này, sau đó chương trình máy chủ ánh xạ chúng về hành động nghiệp vụ cụ thể.
Độ sâu tính toán động effort="low/high": cùng một bộ trọng số mô hình tích hợp hai đầu ra quyết định: effort="low" chỉ chạy 16 lớp Transformer đầu tiên, kết hợp với phép chiếu đầu ra nhận biết ứng viên để hoàn thành các thao tác thông thường với ít năng lực tính toán hơn; effort="high" thực hiện suy luận đầy đủ qua 32 lớp, phù hợp với các thao tác rủi ro cao như thanh toán và xác nhận quyền hạn. Nhờ đó, hệ thống Agent có thể phân bổ tài nguyên tính toán động dựa trên mức độ quan trọng và độ chắc chắn của hành động.
Hậu huấn luyện liên kết đa độ sâu và tự chưng cất: để đầu ra nông vẫn có khả năng phán đoán đáng tin cậy sau khi giảm một nửa lượng tính toán, mô hình đồng thời áp dụng giám sát nhãn thực cho cả đường dẫn nông và sâu, đồng thời sử dụng phân phối xác suất từ đầu ra sâu làm “nhãn mềm” để chưng cất cho đường dẫn nông thông qua độ phân kỳ KL. Để tránh việc dung lượng không đủ của đường dẫn nông ảnh hưởng đến mô hình sâu, quá trình huấn luyện còn áp dụng chặn gradient cho đầu ra sâu, giúp đầu ra này vừa tự tối ưu vừa đóng vai trò giáo viên cho đường dẫn nông.
Phép chiếu đầu ra nhận biết ứng viên: mỗi khi mô hình ngôn ngữ lớn truyền thống tạo một Token, mô hình phải duyệt qua khoảng 248.000 mục từ; trong khi đó, quyết định có cấu trúc thường chỉ có vài hành động ứng viên. Bằng cách trực tiếp trích xuất các hàng trọng số đầu ra tương ứng với Token ứng viên, phép tính ma trận được thu nhỏ từ toàn bộ từ vựng xuống còn K ứng viên. Trong khi vẫn giữ được tính tương đương về logic xác suất ứng viên, phương pháp này giảm đáng kể lượng tính toán của đầu ra và chi phí truy cập bộ nhớ GPU.

Chuẩn bị môi trường: cài đặt PyTorch hỗ trợ CUDA, Transformers và huggingface_hub, đồng thời đảm bảo GPU cục bộ hoặc máy chủ có đủ bộ nhớ GPU.
Tải mô hình: thực thi hf download apus-ailab/APUS-OpenJev-v1 --include "9B-3000/*" --local-dir ./APUS-OpenJev-v1 để tải thư mục mô hình cần thiết.
Truy cập thư mục mô hình: chuyển đến thư mục con của mô hình đã tải xuống để sử dụng trực tiếp thành phần suy luận openjet_runtime đi kèm.
Nạp mô hình: sử dụng OpenJet.from_pretrained(".", device="cuda:0") để nạp mô hình vào GPU được chỉ định.
Tạo yêu cầu ra quyết định: nhập mục tiêu tác vụ, ngữ cảnh hiện tại và thao tác ứng viên theo ba trường instructions, state và candidates.
Thực hiện quyết định nhanh: gọi model.decide(request_data, effort="low") để nhận các thao tác thông thường với chi phí tính toán thấp hơn.
Thực hiện quyết định chuyên sâu: gọi model.decide(request_data, effort="high") để nhận kết quả suy luận đầy đủ, phù hợp với các thao tác quan trọng như thanh toán và gửi biểu mẫu.
Tạo văn bản quy trình: trong các kịch bản cần điền từ khóa tìm kiếm hoặc nội dung biểu mẫu, gọi model.generate_text() để tạo văn bản cụ thể.
Triển khai dịch vụ sản xuất: chạy python deployment/serve_vllm.py --port 8000 để khởi động giao diện tương thích OpenAI thông qua vLLM.

Độ chính xác ra quyết định cao: trong bộ chuẩn đóng băng chính thức gồm 80 câu hỏi, phiên bản 9B đạt 85%, cao hơn mức 82,5% của API thương mại Jev.
Tốc độ phản hồi cực nhanh: trong cấu hình triển khai vLLM cục bộ được chỉ định, độ trễ P50 của phiên bản 9B thấp tới 25,58ms, còn phiên bản 4B chỉ 18ms.
Tài nguyên tính toán có thể điều chỉnh động: tiên phong với chế độ effort="low/high", cho phép linh hoạt chuyển đổi giữa tốc độ và độ chính xác tùy theo rủi ro của hành động.
Chi phí thao tác thường xuyên thấp hơn: effort="low" chỉ chạy 16 lớp và sử dụng phép chiếu đầu ra nhận biết ứng viên, phù hợp với các quyết định thường xuyên như cuộn và nhấp vào bước tiếp theo.
Thao tác quan trọng đáng tin cậy hơn: effort="high" thực hiện đầy đủ độ sâu mạng, phù hợp với các kịch bản rủi ro cao như xác nhận thanh toán và phê duyệt quyền hạn.
Tránh lỗi định dạng đầu ra: sử dụng giao diện ra quyết định gốc bằng ngôn ngữ, giới hạn đầu ra trong tập ứng viên được định nghĩa trước và loại bỏ hiện tượng sinh ảo định dạng JSON.
Khả năng chuyển đổi nghiệp vụ mạnh: cùng một mô hình có thể thích ứng với nhiều tác vụ khác nhau như thao tác trình duyệt, phân luồng dịch vụ khách hàng và kiểm tra quy tắc thông qua mô tả bằng ngôn ngữ tự nhiên.

Kho mô hình HuggingFace: https://huggingface.co/apus-ailab/APUS-OpenJev-v1

Tự động hóa trình duyệt: dựa trên DOM, nút và thông tin ô nhập liệu của trang web để nhanh chóng quyết định thao tác tiếp theo như nhấp, cuộn hoặc chuyển hướng.
Định tuyến quy trình doanh nghiệp: trong quá trình phê duyệt, xử lý phiếu yêu cầu hoặc luân chuyển biểu mẫu, tự động lựa chọn hướng xử lý như gửi, trả lại hoặc chuyển tiếp theo quy tắc nghiệp vụ.
Phân bổ phiếu yêu cầu dịch vụ khách hàng: kết hợp vấn đề của người dùng, thông tin lịch sử và bộ phận xử lý ứng viên để xác định theo thời gian thực đội ngũ chăm sóc khách hàng hoặc hành động xử lý phù hợp nhất.
Kiểm tra tài chính và tuân thủ: sử dụng effort="high" để phán đoán chuyên sâu các thao tác rủi ro cao, nhận diện giao dịch bất thường, rủi ro quyền hạn hoặc luồng dữ liệu vi phạm quy định.
Trợ lý thông minh tại thiết bị: triển khai mô hình nhẹ trên thiết bị cục bộ hoặc máy chủ riêng, cung cấp năng lực ra quyết định độ trễ thấp và bảo vệ quyền riêng tư cho các tác vụ Agent thường xuyên.