SemIf Đang hoạt động

SemIf (trước đây là OpenJev) là mô hình ra quyết định AI mã nguồn mở, tái hiện mô hình giao diện quyết định ngữ nghĩa của Jev đóng của TypeSafe bằng các mô hình mã nguồn mở. SemIf đọc trực tiếp điểm logits tương ứng với các tùy chọn ứng viên trong một lần truyền tiến, còn máy chủ xây dựng kết quả có cấu trúc; khi nhiều câu hỏi dùng chung trạng thái, tiền tố cũng có thể được tái sử dụng, giúp tăng tốc gần một bậc độ lớn. SemIf có thể chạy trên RTX 3090, cung cấp bản trình diễn trên trình duyệt, bao gồm benchmark có thể tái tạo từng dòng, hiệu chỉnh nhiệt độ và cầu nối mô hình 27B.

Trả lời “开源” trên WeChat để tham gia nhóm trao đổi dự án AI mã nguồn mở
Chấm điểm logit trực tiếp: đọc logits của các tùy chọn trong một lần truyền tiến để tính xác suất, không cần sinh văn bản câu trả lời rồi phân tích, nhanh hơn khoảng 5 lần so với sinh tự hồi quy.
Tái sử dụng trạng thái chung: khi nhiều quyết định dùng chung một ngữ cảnh, chỉ cần nạp trước tiền tố một lần, sau đó đánh giá tuần tự hoặc song song từng tiêu chí, giúp thông lượng tăng gần một bậc độ lớn.
Định nghĩa quyết định trong thời gian chạy: mô tả tiêu chí và tùy chọn được truyền theo yêu cầu, không cần tinh chỉnh hoặc định nghĩa tác vụ trước, phù hợp với các quyết định nhỏ của agent như định tuyến và phán đoán thử lại.
Hoàn toàn có thể kiểm toán: prompt cố định, phiên bản mô hình, hàm băm prompt, đầu ra từng dòng và mọi lỗi đã biết đều được提交 trong kho lưu trữ, hỗ trợ tái tạo chính xác.
Hiệu chỉnh nhiệt độ: tích hợp tính năng co giãn nhiệt độ được khớp theo tải công việc, cải thiện độ nhất quán giữa độ tin cậy xác suất và độ chính xác thực tế.
Hỗ trợ nhiều backend: hỗ trợ GPU CUDA, Apple Silicon (MPS/MLX), CPU và bản trình diễn WebGPU trên trình duyệt.

Chuẩn bị môi trường: cài đặt Python 3.10+, CUDA và GPU có thể chứa mô hình 4B BF16.
Cài đặt dự án: sau khi tạo môi trường ảo, chạy pip install -e '.[test]'.
Chuẩn bị đầu vào: viết tệp quyết định ở định dạng JSONL, mỗi dòng chứa danh sách ứng viên id, state, question và options.
Chạy chấm điểm: thực thi semif-score --mode direct --model Qwen/Qwen3.5-4B --revision <phiên bản cố định> --input examples/decisions.jsonl --output results.jsonl để nhận xác suất tùy chọn từng dòng, thời gian xử lý và hàm băm prompt.
Chế độ trạng thái chung: khi state của tất cả các dòng hoàn toàn giống nhau, chuyển sang --mode shared để nạp trước tiền tố một lần rồi đánh giá song song tất cả tiêu chí.
Áp dụng hiệu chỉnh: dùng tập lệnh có sẵn của dự án để khớp độ co giãn nhiệt độ trên tải công việc mục tiêu, giúp độ tin cậy đầu ra phù hợp với độ chính xác thực tế.

Tốc độ ra quyết định nhanh: đọc trực tiếp logits của tùy chọn, loại bỏ quy trình sinh và phân tích, 21 quyết định nhị phân chỉ mất khoảng 1 giây, nhanh hơn 5.2 lần so với sinh JSON.
Tái sử dụng tiền tố chung: nạp trước một lần, đánh giá nhiều nhánh; trong kịch bản dùng chung trạng thái, thông lượng tăng từ 2.33 lên tối đa 20.03 quyết định/giây.
Không sinh token: không lấy mẫu văn bản câu trả lời, loại bỏ lỗi định dạng JSON, vòng lặp giải mã và lỗi phân tích đầu ra.
Yêu cầu phần cứng thấp: mô hình 4B cố định có thể chạy trên một RTX 3090 duy nhất, đồng thời hỗ trợ CPU, Apple Silicon và WebGPU trên trình duyệt.
Mã nguồn mở và có thể tái tạo hoàn toàn: tất cả prompt, phiên bản mô hình, kết quả từng dòng và lỗi đã biết đều được提交 trong kho lưu trữ, có thể kiểm toán và xác minh từng mục.
Độ tin cậy có thể hiệu chỉnh: tích hợp co giãn nhiệt độ theo tải công việc, căn chỉnh độ tin cậy xác suất với độ chính xác thực tế để đầu ra có thể dùng trực tiếp cho quyết định tự động.

Trang web dự án: https://openjev.com/
Kho GitHub: https://github.com/TheoLeeCJ/SemIf-OpenJev

Định tuyến phiếu hỗ trợ khách hàng: dựa trên mô tả vấn đề của khách hàng và trạng thái tài khoản, chấm điểm trực tiếp các tùy chọn hàng đợi như “hỗ trợ tài khoản / hỗ trợ thanh toán” để tự động phân công trong vài mili giây.
Tường lửa hành động của agent: trước khi agent thực hiện thao tác rủi ro cao, đánh giá nhị phân các hành động ứng viên; độ chính xác tổng hợp 0.700 đủ để đảm nhiệm lớp phòng vệ đầu tiên.
Truy xuất và xếp hạng bằng chứng: thay thế reranker truyền thống trong truy xuất mã nguồn và hỏi đáp trên kho tri thức doanh nghiệp (0.929), cho điểm các tài liệu ứng viên trong một lần truyền tiến.
Xác minh kết luận suy luận: dùng cho các tác vụ dạng NLI để phán đoán “bằng chứng có hỗ trợ kết luận hay không”; sau khi hiệu chỉnh, độ tin cậy có thể trực tiếp điều khiển tự động hóa hạ nguồn.