Cách khám phá và đánh giá các dự án Jev ra quyết định có kiểu trong thực tế

awesome-jev là gì

awesome-jev là một thư mục tuyển chọn các dự án và thực tiễn công khai được xây dựng xoay quanh mô hình Jev System One của TypeSafe AI. Thư mục này được thiết kế như một cẩm nang thực địa giúp quét nhanh để khám phá nơi Jev đang đưa ra các quyết định cụ thể và những mẫu triển khai nào có thể chuyển giao giữa các ngành.

Jev không phải là một mô hình trò chuyện thông thường. Mô hình này tiếp nhận trạng thái không có cấu trúc cùng một câu hỏi có kiểu dữ liệu và trả về một quyết định có kiểu dữ liệu, chẳng hạn như lựa chọn, điểm số hoặc giá trị boolean, kèm theo độ tin cậy. Ứng dụng có thể sử dụng kết quả đó như một lớp quyết định có giới hạn cho việc phân loại, định tuyến, chấm điểm, xác minh và thiết lập rào chắn cho tác nhân.

Một dự án xuất hiện trong awesome-jev đã đáp ứng các quy tắc đưa vào của kho lưu trữ, nhưng không nhất thiết đã qua đánh giá mã nguồn, kiểm tra bảo mật, kiểm tra khả năng tái lập hoặc đánh giá mức độ trưởng thành.

Tính năng chính của thư mục

Các danh mục tập trung vào ứng dụng

Mỗi mục thuộc chính xác một danh mục, được chọn theo ứng dụng Jev trực tiếp nhất của mục đó. Thư mục hiện bao gồm các lĩnh vực như:

• Phân loại và định tuyến: chọn mô hình, định tuyến mục đích email, tuyển dụng, lọc trình duyệt và phân loại sự cố.
• Xác minh và rào chắn: cổng đánh giá mã nguồn, an toàn khi gọi công cụ, kiểm tra tấn công chèn lệnh vào prompt và xác minh nội dung hoàn tất.
• Chấm điểm và xếp hạng: độ liên quan của tìm kiếm, mức hỗ trợ của trích dẫn, chất lượng mã nguồn, SEO và lập bản đồ ngữ nghĩa.
• Quyết định của tác nhân: hành động trên trình duyệt, phán đoán của tác nhân lập trình, cắt tỉa ngữ cảnh và các hành động robot có giới hạn.
• Gắn nhãn và tuyển chọn dữ liệu: lọc tập dữ liệu và phân loại vấn đề.
• Đánh giá và chuẩn đối sánh: kiểm thử so sánh, công cụ hiệu chỉnh và bộ khung đánh giá có thể tái lập.
• Hiệu chỉnh và nghiên cứu: các bản tái tạo cục bộ, các lựa chọn thay thế mở và các mô hình quyết định theo định hướng Jev.
• Hạ tầng và tích hợp: SDK, cổng kết nối, công cụ dòng lệnh và tích hợp framework.
• Danh mục theo lĩnh vực: trò chơi, mô phỏng, tài chính, giao dịch, tuân thủ, quy trình pháp lý và kiểm duyệt nội dung.
• Thực tiễn và thảo luận liên quan: các báo cáo công khai đáng tin cậy về việc sử dụng thực tế khi chưa có trang dự án độc lập đủ mạnh.

Kho lưu trữ cũng xác định các danh mục vẫn đang được bổ sung. Ví dụ, README hiện liệt kê Scientific Pipelines nhưng chưa có mục nào.

Các mục cô đọng, tập trung vào bằng chứng

Mỗi mục được chấp nhận liên kết đến một nguồn công khai và tóm tắt kịch bản, phương pháp cùng giá trị trong một câu. Một mục phải xác định rõ Jev, tham chiếu cách tiếp cận System One của TypeSafe AI hoặc minh họa một vòng lặp có kiểu dữ liệu, trong đó một câu hỏi tạo ra câu trả lời có kiểu dữ liệu kèm độ tin cậy và ứng dụng chấp nhận, từ chối hoặc chuyển cấp câu trả lời đó.

Trang chủ được tạo tự động

README chính tổng hợp các tệp danh mục. README được tạo bởi scripts/build-readme.py, vì vậy người đóng góp nên chỉnh sửa tệp danh mục tương ứng thay vì chỉ thay đổi nội dung danh mục được tạo trong README.

Cài đặt và thiết lập

Duyệt mà không cần cài đặt

awesome-jev là một thư mục, không phải SDK, framework hay ứng dụng thực thi. Bạn có thể sử dụng trực tiếp trên GitHub bằng cách mở README, chọn một danh mục và theo các liên kết đến từng dự án. Không cần cài đặt gói hay thông tin xác thực API để duyệt danh sách.

Làm việc với bản sao cục bộ

Nếu muốn tìm kiếm các tệp cục bộ hoặc chuẩn bị đóng góp, hãy sao chép kho lưu trữ bằng URL GitHub của kho:

git clone <repository-url>
cd awesome-jev

Các tệp nguồn của danh mục được lưu trong categories/. Một số ví dụ hữu ích gồm:

categories/classification-routing.md
categories/verification-guardrails.md
categories/scoring-ranking.md
categories/evaluation-benchmarking.md

Sau khi chỉnh sửa tệp danh mục, hãy tạo lại README tổng hợp bằng scripts/build-readme.py. Hãy tuân theo hướng dẫn môi trường và đóng góp của chính kho lưu trữ trước khi chạy. Nếu tập lệnh được cấu hình để chạy Python trực tiếp, lệnh thường là:

python scripts/build-readme.py

Tham khảo CONTRIBUTING.md để biết các quy tắc có thẩm quyền, đặc biệt là những quy tắc liên quan đến công việc có hỗ trợ của AI, độ chuyên sâu của dự án và việc gửi hàng loạt.

Cách sử dụng cơ bản: Tìm mẫu Jev phù hợp

Bước 1: Xác định quyết định, không phải ngành

Hãy bắt đầu bằng cách mô tả quyết định cụ thể mà phần mềm của bạn phải đưa ra. Xác định xem đầu ra cần là một lựa chọn, điểm số hay giá trị boolean, cũng như điều gì sẽ xảy ra khi độ tin cậy không đủ.

Một hợp đồng quyết định mang tính khái niệm có thể trông như sau:

State: đầu vào không có cấu trúc liên quan
Question: một câu hỏi có kiểu dữ liệu được định nghĩa ở phạm vi hẹp
Decision: Choice | Score | Boolean
Confidence: độ tin cậy của mô hình đối với quyết định đó
Action: accept | reject | escalate

Đây là một mẫu mang tính khái niệm, không phải cú pháp API của Jev. Hãy sử dụng tài liệu API và SDK được dự án cụ thể mà bạn chọn liên kết.

Bước 2: Chọn danh mục trực tiếp gần nhất

Nếu hệ thống của bạn phải chọn một mô hình, phân loại email hoặc định tuyến yêu cầu, hãy bắt đầu với Classification and Routing. Nếu hệ thống phải phê duyệt một hành động của tác nhân hoặc xác minh công việc đã hoàn thành, hãy bắt đầu với Verification and Guardrails. Sử dụng Scoring and Ranking khi đầu ra chủ yếu là một giá trị được chấm điểm hoặc một thứ tự.

Đừng chỉ tìm kiếm theo ngành. Một mẫu định tuyến được sử dụng bởi tác nhân lập trình vẫn có thể chuyển sang hỗ trợ khách hàng, xử lý tài liệu hoặc một lĩnh vực khác nếu quyết định có kiểu dữ liệu có cùng cấu trúc.

Bước 3: So sánh các ví dụ cụ thể

Giả sử bạn cần định tuyến yêu cầu giữa các mô hình. Thư mục này bao gồm một số phương án liên quan:

• jev-router yêu cầu Jev chọn trong số các mô hình ứng viên dựa trên tác vụ.
• pi-jev-router bổ sung khả năng định tuyến mô hình theo từng yêu cầu cho tác nhân lập trình Pi thông qua Vercel AI Gateway.
• jcm-router chọn mô hình Claude và mức độ suy luận cho từng tin nhắn, đồng thời duy trì cuộc hội thoại chính đã được lưu trong bộ nhớ đệm.
• duet-agent duy trì một bảng định tuyến dựa trên Jev để lựa chọn mô hình.

Các mục này cùng sử dụng một mô hình định tuyến có kiểu dữ liệu rõ ràng, nhưng khác nhau về môi trường chạy, ứng dụng đích và ranh giới tích hợp. Hãy mở từng liên kết nguồn và kiểm tra cách triển khai trước khi lựa chọn.

Bước 4: Theo dõi toàn bộ vòng lặp ra quyết định

Một triển khai đáng tin cậy cần thể hiện nhiều hơn một tuyên bố liên quan đến Jev trong README. Hãy tìm toàn bộ quy trình:

1. Ứng dụng thu thập trạng thái cần thiết cho quyết định.
2. Ứng dụng gửi một câu hỏi có kiểu dữ liệu rõ ràng và phạm vi hẹp đến Jev.
3. Ứng dụng phân tích kết quả có kiểu dữ liệu rõ ràng và mức độ tin cậy.
4. Mã ứng dụng so sánh kết quả với một chính sách hoặc ngưỡng được xác định rõ.
5. Hệ thống chấp nhận kết quả, từ chối kết quả hoặc chuyển trường hợp đó lên cấp xử lý cao hơn.

Ví dụ, tích hợp Notra được liệt kê định tuyến các bộ phân loại mức độ hiển thị thương hiệu đến các quyết định boolean của Jev dưới cờ NOTRA_JEV_CLASSIFIERS và ghi rõ ngưỡng 0.5. Điều này hữu ích hơn một dự án chỉ đơn thuần tuyên bố rằng mình sử dụng phân loại bằng AI.

Bước 5: Chạy các bằng chứng do chính dự án cung cấp

Sau khi xác định được ứng viên, hãy rời khỏi danh sách awesome và làm theo hướng dẫn thiết lập của dự án đó. Ưu tiên các mục có kiểm thử, dữ liệu đầu vào mẫu cùng kết quả đầu ra mong đợi hoặc bản trình diễn công khai. Kho lưu trữ awesome-jev không xác minh rằng phần mềm được liệt kê có thể biên dịch hay các kết quả đã công bố có thể tái tạo.

Ví dụ khám phá thực tế

Xây dựng cơ chế bảo vệ cho hành động của tác nhân

Mở danh mục Xác minh và Cơ chế bảo vệ khi bạn cần kiểm tra một hành động trước khi thực thi. Các mô hình được liệt kê có liên quan gồm kiểm tra các lệnh gọi công cụ Pi có rủi ro bằng pi-jev, chặn hành vi chèn lời nhắc hoặc hành động nguy hiểm bằng jev-guard và so sánh mọi lệnh gọi công cụ gây tác động phụ với yêu cầu của người dùng thông qua pi-heed.

Khi đánh giá các dự án này, hãy xác định chính xác nơi cơ chế kiểm soát được thực thi. Cơ chế kiểm soát trước khi thực thi có thể ngăn một hành động, trong khi trình đánh giá sau chỉnh sửa chỉ có thể phát hiện hoặc báo cáo vấn đề sau khi thay đổi đã xảy ra.

Chấm điểm và xếp hạng lại kết quả

Danh mục Chấm điểm và Xếp hạng bao gồm xếp hạng lại kết quả tìm kiếm, xác minh trích dẫn, đánh giá chất lượng mã và chấm điểm nội dung. Hãy kiểm tra xem Jev tạo ra một điểm tổng thể hay nhiều khía cạnh để mã ứng dụng kết hợp sau đó.

Đồng thời, hãy xem danh mục Đánh giá và Đối chuẩn trước khi cho rằng việc xếp hạng lại sẽ cải thiện hệ thống. Một báo cáo đo lường được liệt kê cho biết việc chỉ sử dụng xếp hạng lại bằng Jev không vượt trội hơn truy xuất vector trên danh mục và tập truy vấn được kiểm thử. Các kết quả tiêu cực có thể giá trị không kém các ví dụ thành công khi lựa chọn kiến trúc.

Quản lý các quyết định có độ tin cậy thấp

Độ tin cậy nên dẫn đến một chính sách ứng dụng rõ ràng thay vì chỉ được hiển thị rồi bỏ qua. Một kiến trúc phổ biến là chấp nhận các quyết định có kiểu dữ liệu rõ ràng và độ tin cậy cao, đồng thời chuyển các trường hợp không chắc chắn cho con người hoặc một mô hình đắt tiền hơn. Dự án jevcal được liệt kê đặc biệt phù hợp: dự án này thiết lập ngưỡng theo từng câu hỏi để đạt độ chính xác mục tiêu trên dữ liệu có nhãn, kiểm tra các ngưỡng đó trên một phần dữ liệu giữ lại, báo cáo lưu lượng chuyển cấp xử lý và có thể làm CI thất bại khi bản cập nhật mô hình phá vỡ các ngưỡng đã khóa.

Cách đánh giá một dự án được liệt kê

Vì việc tuyển chọn không đồng nghĩa với bảo chứng, hãy áp dụng một danh sách kiểm tra nhất quán trước khi sử dụng:

1. Xác nhận có lệnh gọi Jev thực sự. Tìm một yêu cầu chứa các câu hỏi có kiểu dữ liệu rõ ràng và mã phân tích câu trả lời.
2. Tìm một bước kiểm tra có thể chạy. Ưu tiên kiểm thử, ví dụ có kết quả mong đợi, bài đối chuẩn hoặc bản trình diễn công khai.
3. Truy nguyên các tuyên bố định lượng. Các số liệu về độ chính xác, chi phí, độ trễ và khối lượng phải liên kết đến bằng chứng có thể tái tạo hoặc được ghi chép rõ ràng.
4. Đo lường chiều sâu triển khai. Xác định xem kho lưu trữ chứa mã hoạt động, một khung sườn mỏng hay chủ yếu là lời nhắc và tài liệu.
5. Kiểm tra giấy phép. Giấy phép bị thiếu hoặc không tương thích có thể ngăn việc sử dụng lại và phân phối lại, ngay cả khi mã được công khai.
6. Xem xét lịch sử và đội ngũ duy trì. Các kho lưu trữ được tạo trong cùng ngày, có khung sườn tương tự và lịch sử commit tối thiểu có thể hợp pháp, nhưng vẫn chưa được chứng minh.

Hãy xem các mục trong thư mục là đầu mối nghiên cứu. Đánh giá độc lập về bảo mật, độ tin cậy, khả năng bảo trì và giấy phép trước khi sử dụng chúng trong môi trường production.

Mẹo nâng cao

Tách phán đoán của mô hình khỏi chính sách ứng dụng

Giữ quyết định có kiểu dữ liệu rõ ràng và độ tin cậy tách biệt khỏi hành động mà hệ thống thực hiện. Các ngưỡng, lộ trình chuyển cấp xử lý, giới hạn chi tiêu và quy tắc an toàn nên vẫn hiển thị trong mã ứng dụng thông thường. Điều này giúp dễ kiểm thử và thay đổi hành vi hơn mà không cần viết lại câu hỏi ra quyết định.

Ưu tiên các câu hỏi có phạm vi hẹp

Các ví dụ Jev trong thư mục hiệu quả nhất khi đặt những câu hỏi có giới hạn rõ ràng: nên chọn ứng viên nào, một quy tắc có bị vi phạm hay không, bằng chứng ủng hộ một tuyên bố mạnh đến mức nào hoặc công việc đã hoàn tất hay chưa. Tránh xem mô hình ra quyết định có kiểu dữ liệu rõ ràng như một sự thay thế cho việc tạo nội dung mở.

Thiết kế đường dẫn từ chối quyết định

Đừng ép một kết quả khớp yếu thành một hành động trông có vẻ chắc chắn. Bộ định tuyến kỹ năng agent được liệt kê sử dụng rõ ràng các quyết định có xét đến độ tin cậy, để những kết quả khớp yếu có thể bị từ chối. Hành vi dự phòng tương tự có thể được áp dụng cho các quy trình phân loại, xác minh và kiểm duyệt.

Xác thực các ngưỡng trên dữ liệu của riêng bạn

Một ngưỡng được báo cáo bởi dự án này không mặc nhiên phù hợp với dự án khác. Hãy thu thập các trường hợp đã gắn nhãn mang tính đại diện, chọn mức chất lượng mục tiêu, đo độ bao phủ và tỷ lệ chuyển cấp, rồi xác minh kết quả trên dữ liệu giữ lại để kiểm thử. Đánh giá lại sau khi thay đổi câu hỏi, mô hình, định dạng đầu vào hoặc chính sách ra quyết định.

Sử dụng các tệp danh mục để xem xét tập trung

README được tạo tự động thuận tiện cho việc khám phá tổng quan, nhưng các tệp riêng lẻ trong categories/ phù hợp hơn cho việc xem xét tập trung và đóng góp. Vì mỗi mục xuất hiện trong đúng một danh mục, hãy kiểm tra cả các danh mục liền kề khi một dự án liên quan đến nhiều mối quan tâm.

Nghiên cứu kỹ các lựa chọn thay thế mở

Danh mục Calibration and Research bao gồm các bản tái tạo cục bộ, bản xem trước độc lập và các mô hình có hình dạng Jev mở. Những dự án này có thể tái tạo giao diện quyết định có kiểu hoặc khám phá các kỹ thuật giải mã liên quan, nhưng không nên mặc nhiên được cho là có hành vi, khả năng hiệu chỉnh hoặc đặc tính vận hành giống với Jev của TypeSafe AI.

Đóng góp một mục

Một mục đề xuất phải được công khai, có thể trích dẫn và thể hiện mối liên hệ rõ ràng với Jev hoặc một bản chuyển đổi hay biến thể Jev được ghi chép. Mục đó phải mô tả một quyết định có kiểu cụ thể thay vì một bộ phân loại, bộ định tuyến hoặc bộ đánh giá chung chung chỉ giống với mô thức này.

1. Chọn danh mục gần nhất với ứng dụng trực tiếp của dự án.
2. Chỉnh sửa tệp nguồn của danh mục đó trong categories/.
3. Viết phần tóm tắt một câu bao quát kịch bản, phương pháp và giá trị.
4. Xác minh rằng nguồn được liên kết minh họa rõ ràng Jev hoặc vòng lặp quyết định có kiểu.
5. Tạo lại README được sinh tự động bằng scripts/build-readme.py.
6. Tuân thủ mọi hướng dẫn trong CONTRIBUTING.md trước khi mở pull request.

Việc sửa lỗi và gỡ bỏ cũng là những đóng góp hợp lệ. Nếu một mục không thể truy cập, bị phân loại sai, quá mơ hồ hoặc không còn đáp ứng các quy tắc đưa vào, hãy mở issue hoặc pull request kèm bằng chứng hỗ trợ.

Kết luận

awesome-jev cung cấp một cách có cấu trúc để khám phá các ứng dụng quyết định có kiểu thực tế trong việc định tuyến, chấm điểm, xác minh, agent, nghiên cứu và hạ tầng. Giá trị lớn nhất của nó không chỉ nằm ở số lượng liên kết, mà còn ở những mô thức lặp lại được các dự án đó cho thấy. Hãy sử dụng danh sách để tìm ứng viên, lần theo từng vòng lặp quyết định, kiểm thử dự án gốc, hiệu chỉnh trên dữ liệu của riêng bạn và xem mỗi mục được liệt kê là một đầu mối chứ không phải sự bảo chứng.