Cách khám phá và đánh giá các công cụ ra quyết định Jev với awesome-jev-tools

awesome-jev-tools làm gì

awesome-jev-tools là một thư mục được tuyển chọn gồm các dự án công khai và thực hành dành cho nhà phát triển, được xây dựng trên Jev, mô hình System One của TypeSafe AI dành cho các quyết định có kiểu. Công cụ này tập hợp những ví dụ vốn thường bị phân tán trong các chuỗi thảo luận khi ra mắt, danh sách gateway, mạng xã hội và các kho mã riêng lẻ.

Jev không phải là mô hình trò chuyện. Thay vì tạo văn bản hội thoại, Jev đánh giá trạng thái không có cấu trúc dựa trên một câu hỏi có kiểu và trả về một quyết định có kiểu, chẳng hạn như lựa chọn, điểm số hoặc giá trị boolean, cùng với mức độ tin cậy. Điều này khiến Jev phù hợp với các điểm ra quyết định hẹp bên trong phần mềm, bao gồm định tuyến, phân loại, chấm điểm, xác minh và các rào chắn cho tác tử.

Danh sách này được thiết kế để trả lời hai câu hỏi thực tế:

• Jev đang đưa ra quyết định ở đâu trong các quy trình sản xuất thực tế hoặc được tuyên bố là thực tế?
• Những kiến trúc quyết định nào có thể chuyển sang các dự án và ngành khác?

Việc được đưa vào danh sách không đồng nghĩa với sự chứng nhận. Các maintainer không đảm bảo rằng một mục có thể biên dịch, vượt qua các bài kiểm thử, tái hiện được kết quả đã công bố, an toàn hoặc có giấy phép phù hợp với nhu cầu sử dụng của bạn.

Tính năng chính của kho mã

Chỉ mục dự án theo danh mục

Mỗi mục được chấp nhận thuộc đúng một danh mục, được chọn theo lĩnh vực ứng dụng trực tiếp nhất. README tổng hợp các tệp danh mục hiện tại, giúp bạn xem những mục mới được chấp nhận mà không cần mở từng trang con.

Các danh mục chính bao gồm:

• Phân loại và Định tuyến: chọn mô hình, định tuyến ý định email, phân loại phần tử trình duyệt, chọn kỹ năng và các tác vụ tương tự.
• Xác minh và Rào chắn: cổng kiểm tra mã, phê duyệt lệnh, phòng chống prompt injection, kiểm tra trước khi commit và giám sát tác tử.
• Chấm điểm và Xếp hạng: xếp hạng mức độ liên quan, đánh giá nội dung, chấm điểm chất lượng mã, xác minh trích dẫn và xếp hạng lại kết quả truy xuất.
• Quyết định của Tác tử: hành động trình duyệt có giới hạn, phán đoán của tác tử lập trình, rút gọn ngữ cảnh, kiểm tra hoàn tất và quyết định trong robot.
• Gắn nhãn và Tuyển chọn Dữ liệu: các quyết định có kiểu được dùng để sắp xếp hoặc gắn nhãn dữ liệu.
• Đánh giá và Đo chuẩn: các dự án đánh giá hành vi của Jev hoặc so sánh các quy trình quyết định.
• Hiệu chuẩn và Nghiên cứu: các công trình tập trung vào chất lượng quyết định, độ tin cậy và những nghiên cứu liên quan.
• Hạ tầng, SDK và Tích hợp: gateway, thư viện, plugin và hạ tầng hỗ trợ nhà phát triển.
• Danh mục theo lĩnh vực: trò chơi, mô phỏng, tài chính, giao dịch, tuân thủ, quy trình pháp lý và kiểm duyệt nội dung.
• Thực hành và Thảo luận Liên quan: tài liệu hỗ trợ đáp ứng các quy tắc tuyển chọn của kho mã.

README cũng xác định những danh mục vẫn đang được bổ sung. Tại thời điểm snapshot được ghi nhận, Scientific Pipelines chưa có mục nào.

Phạm vi đưa vào nghiêm ngặt

Danh sách loại trừ các bộ phân loại, bộ định tuyến và tác tử nghiên cứu phổ biến chỉ giống với mô hình này mà không sử dụng Jev. Danh sách cũng loại trừ lý thuyết thuần túy, nguồn không thể truy cập, tuyên bố mơ hồ, nội dung bình luận khi ra mắt không có hiện vật hoạt động hoặc kết quả có thể tái lập, cũng như các bài viết dài được chèn trực tiếp vào danh sách.

Những giới hạn này giúp thư mục hữu ích cho việc khám phá, nhưng không thay thế cho quá trình thẩm định kỹ thuật.

Cài đặt và thiết lập

Bạn không cần cài đặt gói để duyệt dự án. Cách đơn giản nhất là mở README của dự án trên GitHub và theo các liên kết danh mục hoặc dự án.

Để tìm kiếm, chỉnh sửa hoặc đóng góp cục bộ, hãy sao chép kho mã bằng URL hiển thị trong menu clone của GitHub:

git clone <repository-url>
cd awesome-jev-tools

Không có bước build hoặc thiết lập runtime nào được mô tả cho chính danh sách này. Nội dung chính của danh sách là README gốc cùng các tệp Markdown trong thư mục categories.

Xác nhận các tệp danh mục hiện có trên máy cục bộ:

ls categories

Sau đó, bạn có thể mở README gốc trong trình soạn thảo hoặc xem một tệp danh mục riêng lẻ. Ví dụ:

less README.md
less categories/verification-guardrails.md

Cách sử dụng cơ bản: tìm dự án Jev phù hợp

Bước 1: Xác định quyết định mà phần mềm cần đưa ra

Hãy bắt đầu bằng một câu hỏi hẹp thay vì mô tả sản phẩm rộng. Xác định xem ứng dụng của bạn cần chọn một tùy chọn, gán điểm số, trả lời câu hỏi dạng boolean, xếp hạng các ứng viên hay ngăn chặn một hành động không an toàn.

Ví dụ về các yêu cầu tập trung:

• Chọn mô hình nào sẽ xử lý một yêu cầu.
• Xác định liệu một lệnh gọi công cụ nên được cho phép, từ chối hay chuyển cho con người.
• Chấm điểm các tài liệu được truy xuất về mức độ hữu ích làm bằng chứng trả lời.
• Quyết định liệu một tác tử đã hoàn thành một tác vụ hay chưa.
• Phân loại email đến là hóa đơn hay thư thông thường.

Bước 2: Chọn danh mục gần nhất

Hãy sử dụng lĩnh vực ứng dụng trực tiếp thay vì mọi mục đích phụ có thể có. Bộ định tuyến mô hình thuộc danh mục Phân loại và Định tuyến, trong khi cổng an toàn lệnh thuộc danh mục Xác minh và Rào chắn.

Ví dụ, nếu bạn cần bảo vệ một agent khỏi các lệnh shell rủi ro, hãy xem các mục như jev-guard, jev-axi hoặc pi-jev. Nếu cần xếp hạng kết quả truy xuất, hãy xem jev-reranker hoặc Jev Search.

Bước 3: Tìm kiếm danh sách cục bộ

Tìm kiếm theo lĩnh vực, loại quyết định hoặc tên tích hợp. Các lệnh sau là ví dụ về cách duyệt repository đã sao chép:

grep -Rni "confidence" README.md categories/
grep -Rni "Choice" README.md categories/
grep -Rni "pre-commit" README.md categories/
grep -Rni "browser" README.md categories/

Tìm kiếm Choice có thể giúp phát hiện các quy trình lựa chọn có kiểu. Tìm kiếm confidence có thể giúp xác định các dự án mô tả rõ việc chuyển cấp hoặc hành vi theo ngưỡng.

Bước 4: Theo dõi dự án nguồn

Mỗi mục trong danh sách chỉ là một gợi ý ngắn gọn. Hãy mở dự án được liên kết và đọc tài liệu, mã nguồn, bài kiểm thử, ví dụ, trình theo dõi vấn đề và giấy phép của chính dự án đó. Không nên xem mô tả ngắn trong awesome-jev-tools là hướng dẫn triển khai đầy đủ.

Cách xác minh một mục trước khi áp dụng

1. Xác nhận mục đó gọi Jev API. Tìm một yêu cầu thực tế chứa các câu hỏi có kiểu và mã phân tích câu trả lời được trả về. README được trình bày chỉn chu không phải là bằng chứng về việc tích hợp.
2. Tìm một kiểm tra có thể chạy được. Ưu tiên bài kiểm thử, bản demo công khai hoặc ví dụ có đầu ra mong đợi. Nếu không có, bằng chứng cho thấy triển khai hoạt động như mô tả sẽ rất ít.
3. Truy nguyên các tuyên bố định lượng. Các số liệu về độ chính xác, độ trễ, chi phí và khối lượng nên trỏ đến nguồn hoặc phép đo có thể tái lập.
4. Kiểm tra thực chất của repository. Xác định bao nhiêu phần là mã có thể thực thi và bao nhiêu phần là tài liệu prompt, tài liệu lập kế hoạch hoặc khung dựng sẵn.
5. Xem xét giấy phép. Thiếu giấy phép có thể ngăn việc tái sử dụng hoặc phân phối hợp pháp, ngay cả khi mã nguồn được công khai.
6. Đánh giá các dấu hiệu duy trì. Kiểm tra lịch sử commit, các vấn đề đang mở, bài kiểm thử, hoạt động phát hành và việc các chi tiết triển khai quan trọng có được ghi lại hay không.

Hãy đặc biệt thận trọng khi nhiều repository của cùng một tác giả xuất hiện cùng lúc với các tệp gần như giống hệt nhau, chẳng hạn AGENTS.md, CLAUDE.md, STATE.md và CHANGELOG.md. Những dự án này có thể hợp pháp, nhưng repository khuyến nghị xem chúng là các đầu mối chưa được chứng minh thay vì các công cụ đã được xác thực.

Ví dụ về quy trình khám phá

Lựa chọn kiến trúc định tuyến

Giả sử bạn muốn định tuyến các tác vụ lập trình đến một model phù hợp. Hãy bắt đầu trong mục Classification and Routing và so sánh các dự án như jev-router, jev-router của prismhq và pi-jev-router.

Trong quá trình xem xét, hãy xác định:

• Các ứng viên mà Jev được phép lựa chọn.
• Trạng thái được gửi cùng câu hỏi có kiểu.
• Các câu trả lời có độ tin cậy thấp bị từ chối hay được chuyển cấp.
• Thành phần nào thực thi quyết định.
• Ngữ cảnh trò chuyện hiện tại có được giữ nguyên hay không.

Việc so sánh này giúp phân biệt mô hình có thể tái sử dụng với các chi tiết đặc thù của tích hợp.

Thiết kế cổng an toàn

Đối với một cổng gọi công cụ, hãy nghiên cứu các dự án kết hợp quy tắc xác định, phán đoán của Jev và việc con người xem xét. Chẳng hạn, dự án pi-verdict được liệt kê sử dụng các quy tắc xác định cho những trường hợp rõ ràng và lựa chọn có kiểu allow, ask hoặc deny cho các lệnh gọi thuộc vùng không chắc chắn. Chính sách được mô tả sẽ từ chối khi xảy ra lỗi hoặc hết thời gian chờ, đồng thời chuyển kết quả ask cho con người.

Điều này gợi ý một kiến trúc tổng quát:

hành động đầu vào
  -> kiểm tra xác định
  -> quyết định Jev có kiểu cho các trường hợp không rõ ràng
  -> đánh giá độ tin cậy hoặc chính sách
  -> cho phép, chặn hoặc yêu cầu con người xác nhận
  -> kết quả được ghi nhật ký

Sơ đồ này là một mô hình có thể chuyển giao, không phải cấu hình áp dụng cho mọi trường hợp. Hãy sử dụng tài liệu của dự án nguồn và mô hình mối đe dọa của riêng bạn để xác định các quy tắc phù hợp.

Xây dựng pipeline xếp hạng

Các dự án xếp hạng cho thấy quyết định của Jev có thể bổ trợ cho mã ứng dụng thông thường như thế nào. Trong ví dụ Jev Search được liệt kê, các phán đoán của Jev đánh giá mức độ liên quan của kết quả, còn mã ứng dụng gộp các URL trùng lặp và nhóm các kết quả có điểm thấp hơn. Trong jev-reranker, các phán đoán đánh giá cả mức độ liên quan và tính hữu ích của kết quả với tư cách bằng chứng trước khi sắp xếp, đồng thời tùy chọn lọc bằng một ngưỡng có thể cấu hình.

Do đó, một pipeline xếp hạng thực tế có thể giữ các trách nhiệm xác định trong mã:

1. Thu thập các bản ghi ứng viên.
2. Chuẩn hóa và loại bỏ bản ghi trùng lặp.
3. Đặt câu hỏi có kiểu về mức độ liên quan hoặc tính hữu ích.
4. Sắp xếp theo kết quả hoặc xác suất được trả về.
5. Áp dụng ngưỡng được ghi rõ nếu cần lọc.
6. Giữ đủ siêu dữ liệu để kiểm tra các ứng viên bị từ chối và được chấp nhận.

Mẹo nâng cao khi sử dụng danh sách

Trích xuất mô hình thay vì sao chép toàn bộ ứng dụng

Phần có thể tái sử dụng nhiều nhất của một mục có thể là ranh giới quyết định, thay vì framework, ngôn ngữ hay giao diện người dùng. Hãy tìm các cấu trúc lặp lại như lựa chọn ứng viên, cơ chế chuyển cấp có xét đến độ tin cậy, bộ lọc tiền xử lý xác định, các hành động bị giới hạn, phương án dự phòng khi hết thời gian chờ và hàng đợi chờ con người xem xét.

Tách biệt phán đoán khỏi thực thi

Một số công cụ được liệt kê sử dụng Jev để đưa ra quyết định có phạm vi hẹp, trong khi mã thông thường kiểm soát ngưỡng, trọng số, tác động phụ và hành động cuối cùng. Sự tách biệt này giúp chính sách thực thi dễ kiểm thử hơn và ngăn kết quả của mô hình tự động có được quyền hạn không giới hạn.

Ưu tiên tập ứng viên có giới hạn

Các ví dụ về định tuyến, tự động hóa trình duyệt và robot thường giới hạn những hành động khả dụng. Một lựa chọn được định kiểu trong số các ứng viên đã biết sẽ dễ xác thực hơn chỉ dẫn được sinh ra không bị ràng buộc. Trước khi điều chỉnh một dự án, hãy ghi rõ những hành động nào có thể được chọn và cách xử lý đầu ra không hợp lệ.

Thiết kế hành vi khi độ tin cậy thấp trước

Đừng chỉ xác định đường đi thành công. Hãy quyết định liệu độ tin cậy thấp nên kích hoạt con người xem xét, giữ nguyên trạng thái hiện tại, gọi một hệ thống khác hay dừng thực thi. Danh sách này bao gồm các ví dụ từ chối những kết quả khớp kỹ năng yếu, chuyển các công thức không chắc chắn cho con người xem xét hoặc trả quyền kiểm soát cho người dùng khi các bước kiểm tra quyền tự chủ không vượt qua ngưỡng của chúng.

Kiểm thử các chế độ lỗi

Hãy đánh giá tình trạng hết thời gian chờ, lỗi API, quyết định sai định dạng, ứng viên không khả dụng và đầu vào mơ hồ. Các quy trình nhạy cảm về an toàn nên có một phương án dự phòng rõ ràng. Một số cơ chế kiểm tra được liệt kê sẽ từ chối khi gặp lỗi hoặc hết thời gian chờ, trong khi các hệ thống khác đánh thức tác nhân khi xảy ra những điều kiện dự phòng cụ thể. Chính sách phù hợp phụ thuộc vào việc cho phép tiếp tục khi lỗi hay chặn khi lỗi tạo ra rủi ro lớn hơn.

Thận trọng khi xử lý các số liệu được báo cáo

Một số mục báo cáo kết quả về độ trễ, độ chính xác, token, chi phí hoặc kiểm thử theo kịch bản. Hãy giữ nguyên bối cảnh xung quanh từng con số. Một bài kiểm tra khói không nhất thiết là một phép đo chuẩn, và kết quả do kho lưu trữ tự báo cáo không phải là sự xác thực độc lập. Hãy tái hiện các phép đo quan trọng với khối lượng công việc của riêng bạn trước khi đưa ra quyết định về kiến trúc.

Theo dõi trực tiếp các tệp danh mục

Vì README gốc là bản tổng hợp, các tệp danh mục cung cấp góc nhìn tập trung cho hoạt động nghiên cứu thường xuyên. Nếu bạn chủ yếu làm việc về các cơ chế bảo đảm, hãy theo dõi categories/verification-guardrails.md. Nếu làm việc về SDK hoặc gateway, hãy theo dõi categories/infra-sdks-integrations.md.

Đóng góp bản sửa hoặc dự án

Nếu một mục không chính xác, không thể truy cập hoặc không còn đáp ứng các quy tắc, hãy mở issue hoặc pull request. Việc xóa mục cũng được xem là một đóng góp hợp lệ như việc bổ sung.

Trước khi gửi, hãy xem lại các quy tắc đóng góp dành cho công việc có AI hỗ trợ và nội dung gửi hàng loạt. Mục đề xuất nên sử dụng Jev trực tiếp, cung cấp một dự án cụ thể hoặc phương pháp có thể tái hiện, vẫn có thể truy cập công khai và phù hợp với một danh mục chính.

Một đóng góp tốt nên giúp việc xác minh trở nên dễ dàng bằng cách liên kết đến mã triển khai liên quan, ví dụ có thể chạy, các bài kiểm thử, bằng chứng cho những khẳng định định lượng và giấy phép rõ ràng.

Kết luận

awesome-jev-tools nên được sử dụng như một bản đồ khám phá, thay vì một danh mục gói hoặc danh sách xác nhận chất lượng. Hãy bắt đầu bằng một quyết định được định kiểu rõ ràng, duyệt danh mục gần nhất, kiểm tra phần triển khai được liên kết, xác minh bằng chứng và giấy phép, rồi rút ra kiến trúc nhỏ nhất có thể tái sử dụng. Cách tiếp cận này giúp bạn học hỏi từ các quy trình Jev hiện có mà không mặc định rằng mọi dự án được liệt kê đều đã sẵn sàng cho môi trường sản xuất.