Cách tìm và đánh giá các mẫu quyết định Jev với awesome-jev

awesome-jev là gì?

awesome-jev là danh mục được tuyển chọn gồm các ví dụ công khai liên quan đến Jev, mô hình ra quyết định System One của TypeSafe AI. Thay vì sắp xếp tài nguyên theo tác giả, bài viết hoặc kho lưu trữ, danh mục này nhóm chúng theo quyết định được đưa ra, chẳng hạn như chọn công cụ, xếp hạng ngữ cảnh, phân loại mối đe dọa hoặc quyết định có nên lưu giữ thông tin hay không.

Kho lưu trữ này là một chỉ mục, không phải sản phẩm Jev hay SDK. Nó không liên kết với TypeSafe AI, và việc được đưa vào danh mục không đồng nghĩa với việc được khuyến nghị. Mục đích của nó là giúp nhà phát triển khám phá các triển khai, kiểm tra những primitive mà chúng sử dụng và hiểu các lưu ý quan trọng trước khi áp dụng một mẫu.

Một mục trong danh mục chỉ có nghĩa là liên kết của mục đó có thể truy cập được và đã được một người xem xét. Điều đó không có nghĩa là triển khai này chính xác, an toàn, hiệu quả hoặc phù hợp để đưa vào môi trường production.

Tìm hiểu về Jev

Jev nhận trạng thái và các câu hỏi có kiểu, sau đó trả về câu trả lời có kiểu cùng độ tin cậy được hiệu chỉnh. Jev được thiết kế cho các quyết định nhanh, ít tốn kém bên trong vòng lặp tác tử, thay vì tạo văn bản dài.

Danh mục theo dõi ba primitive của Jev:

• Choice: dùng khi cần đưa ra quyết định giữa các lựa chọn có sẵn.
• Score: dùng khi một mục hoặc ứng viên cần một điểm số có kiểu.
• Noul: dùng cho một phán đoán hoặc mệnh đề riêng lẻ.

Không nên mặc định rằng các cách sắp xếp primitive khác nhau có thể thay thế cho nhau. README cảnh báo cụ thể rằng một Choice duy nhất cho nhiều lựa chọn và một Noul cho từng lựa chọn sẽ trả lời các câu hỏi khác nhau. Đây là nguyên nhân phổ biến dẫn đến lỗi triển khai.

Jev chấp nhận đầu vào dạng văn bản, bao gồm chuỗi, đối tượng JSON và mảng văn bản. Ngữ cảnh yêu cầu được tài liệu hóa là 64.000 token, trong đó 32.000 token dành cho trạng thái cộng với câu hỏi dài nhất. Không có trọng số mô hình được công bố, nên Jev không thể chạy cục bộ.

Các tính năng chính của danh mục

Tổ chức theo định hướng quyết định

Chỉ mục chính nhóm các mục theo những mẫu quyết định có thể tái sử dụng. Điều này giúp trả lời các câu hỏi như “Các tác tử đang chọn công cụ như thế nào?” dễ dàng hơn, thay vì phải tìm kiếm giữa những bài viết không liên quan chỉ tình cờ đề cập đến Jev.

Các chế độ xem có thể tìm kiếm và chia sẻ

Trang web có thể tìm kiếm cung cấp các bộ lọc, thẻ mục, biểu đồ histogram về phạm vi bao phủ và URL có thể chia sẻ. Trang này cũng bao gồm các chế độ xem riêng cho primitive và khả năng tương thích.

Dữ liệu về bằng chứng và lưu ý

Các mục xác định nguồn, ngôn ngữ triển khai và những primitive thực sự được mã gọi đến. Chúng cũng có thể kèm các lưu ý như chế độ shadow, số liệu từ nhà cung cấp, chưa được xác minh hoặc không có giấy phép. Ghi chú đầy đủ được lưu trong catalog.json và hiển thị trên trang web.

Phạm vi bao phủ và khoảng trống nghiên cứu

Chế độ xem phạm vi bao phủ cho biết có bao nhiêu ví dụ công khai tồn tại cho mỗi mẫu quyết định. Giá trị bằng 0 cho thấy một khoảng trống nghiên cứu, không phải lỗi hiển thị. Điều này hữu ích הן để khám phá các mẫu đã được thiết lập, vừa để xác định những ứng dụng khả thi chưa được trình diễn công khai.

Các phép đo độc lập

Một phần riêng làm nổi bật các kết quả được đo lường thay vì các tuyên bố mang tính quảng bá. Một số mục báo cáo kết quả tiêu cực hoặc trung lập, bao gồm các đánh giá trong đó Jev hoạt động kém hơn một trình tóm tắt hiện có, ngang bằng với một bộ phân loại đang được sử dụng, hoặc làm tăng lượng đầu vào tính phí mà không mang lại cải thiện đáng kể về độ trễ.

Cài đặt và thiết lập

Tùy chọn 1: Sử dụng danh mục được lưu trữ

Không cần cài đặt cho việc nghiên cứu thông thường. Mở trang web được lưu trữ, chọn một mẫu quyết định và kiểm tra các mục tương ứng.

1. Mở trang web có thể tìm kiếm.
2. Chọn một cột trong biểu đồ histogram phạm vi bao phủ để lọc theo mẫu quyết định.
3. Mở một mục và xem xét nguồn, ngôn ngữ, các primitive cùng những lưu ý của mục đó.
4. Sao chép URL kết quả nếu bạn muốn chia sẻ chế độ xem đã lọc.

Tùy chọn 2: Sao chép kho lưu trữ

Sao chép dự án nếu bạn muốn kiểm tra dữ liệu nguồn, tài liệu, ví dụ hoặc các tập lệnh tạo dữ liệu cục bộ.

git clone https://github.com/kydlikebtc/awesome-jev.git
cd awesome-jev

README được tạo từ catalog.json. Kho lưu trữ hướng dẫn rõ ràng các maintainer chỉnh sửa danh mục thay vì chỉnh sửa trực tiếp README đã được tạo. Để tạo lại README, chạy lệnh được tài liệu hóa từ thư mục gốc của kho lưu trữ:

python3 scripts/build_readme.py

README không nêu các bước cài đặt bổ sung trong tài liệu được cung cấp. Hãy tham khảo các tệp trong kho lưu trữ và cấu hình tự động hóa trước khi sửa đổi hoặc xác thực danh mục.

Cách sử dụng cơ bản: tìm một triển khai phù hợp

Bước 1: Xác định quyết định

Bắt đầu với quyết định mà hệ thống của bạn phải đưa ra, không phải với một nhãn công nghệ quá rộng. Ví dụ:

• Tác tử nên gọi công cụ nào tiếp theo?
• Những tệp nào nên được đưa vào ngữ cảnh xem xét?
• Kết quả từ công cụ trước đó còn quan trọng không?
• Danh mục mối đe dọa nào phù hợp nhất với một mục tin tức?

Bước 2: Chọn mẫu tương ứng

Sử dụng biểu đồ độ bao phủ của trang web hoặc các phần về mẫu quyết định trong README. Đối với một tác nhân đang chọn hành động tiếp theo, hãy bắt đầu với Lựa chọn công cụ. Danh mục bao gồm các ví dụ từ gọi hàm và gợi ý kỹ năng đến điều khiển trình duyệt và xem xét quyền.

Bước 3: Lọc theo primitive

Sử dụng chế độ xem primitive khi kiến trúc của bạn đã gợi ý một loại câu hỏi. Việc chọn hành động từ một tập đóng có thể dẫn bạn đến các ví dụ Choice, trong khi những đánh giá mức độ liên quan độc lập có thể dẫn đến các ví dụ Score hoặc Noul.

Các nhãn primitive nên được hiểu là mô tả về những gì mã được tham chiếu gọi, chứ không phải bảo đảm rằng phần triển khai đã chọn primitive tốt nhất.

Bước 4: Đọc các lưu ý

Trước khi mở một dự án được liên kết, hãy kiểm tra các thẻ cảnh báo và ghi chú trong danh mục. Ví dụ, một tích hợp được đánh dấu là chế độ shadow có thể được kết nối với một hệ thống nhưng cố ý ngăn các quyết định của nó ảnh hưởng đến nhãn, bộ nhớ đệm hoặc cảnh báo trong môi trường production.

Bước 5: Kiểm tra nguồn gốc

Sử dụng danh mục để tìm kiếm, sau đó xác minh hành vi trong kho lưu trữ hoặc tài liệu được liên kết. Hãy xác nhận cách trạng thái được xây dựng, cách các câu hỏi được định kiểu, các ngưỡng được sử dụng và điều gì xảy ra khi độ tin cậy thấp.

Quy trình nghiên cứu mẫu

Tìm hiểu ba primitive

Để làm quen lần đầu, hãy đọc theo thứ tự được kho lưu trữ khuyến nghị:

1. Đọc hướng dẫn bắt đầu nhanh chính thức về một yêu cầu chứa các câu hỏi Choice, Score và Noul.
2. Đọc các giới hạn đã biết của Jev 1.13.
3. Kiểm tra ví dụ về ba primitive trong danh mục.

Kho lưu trữ ghi chú rằng ví dụ cục bộ đã được đối chiếu từng trường với tài liệu tham chiếu API chính thức nhưng chưa được chạy trên API trực tiếp. Hãy duy trì sự phân biệt này khi đánh giá ví dụ.

Nghiên cứu lựa chọn công cụ

Giả sử bạn đang thiết kế một tác nhân phải chọn một công cụ từ một danh mục lớn. Hãy tìm mẫu Lựa chọn công cụ và so sánh các cách triển khai như:

• Cookbook gọi hàm chính thức, ánh xạ yêu cầu tới các hàm được định kiểu bằng các câu hỏi từ tập đóng.
• Cookbook gợi ý kỹ năng, đánh giá xem có cần một kỹ năng hay không và xếp hạng các kỹ năng ứng viên.
• Biến đổi tìm kiếm Jev thử nghiệm của FastMCP, thực hiện xếp hạng sơ bộ trước khi đánh giá các công cụ nằm trong danh sách rút gọn.
• Provider của Composio, tái dựng các lệnh gọi công cụ và xử lý các trường hợp từ chối hoặc yêu cầu xác nhận.

So sánh các mục này cho thấy những lựa chọn kiến trúc mà một bảng xếp hạng mức độ phổ biến đơn giản có thể che khuất, bao gồm truy xuất theo giai đoạn, từ chối rõ ràng và xử lý xác nhận riêng biệt.

Đánh giá lựa chọn ngữ cảnh

Nếu bạn muốn Jev xếp hạng các tệp hoặc bộ nhớ, hãy bắt đầu bằng các ví dụ đã được đo lường thay vì những phần trình diễn mang tính quảng bá. Danh mục cho biết thí nghiệm ngữ cảnh đánh giá không sai sót đã sử dụng một Score cho mỗi tệp ứng viên và ghi nhận lượng đầu vào được tính phí cao hơn đáng kể, trong khi hầu như không cải thiện thời gian thực thi. Kết quả đó không chứng minh rằng mẫu này luôn không hiệu quả, nhưng đưa ra một lý do cụ thể để so sánh nó với một đường cơ sở đơn giản hơn.

Mẹo nâng cao

Ưu tiên các phép đo độc lập

Ưu tiên những mục benchmark công bố phương pháp, đường cơ sở, thất bại và bằng chứng thô hoặc có thể tái lập. Danh mục nêu bật đánh giá nén của Hermes Agent vì đánh giá này đã so sánh Jev với một bộ tóm tắt hiện có và công bố quyết định không áp dụng cách tiếp cận đó.

Tương tự, một kết quả trung lập cũng có thể hữu ích. Tích hợp worldmonitor vẫn ở chế độ shadow sau khi một đánh giá mù cho thấy Jev chỉ đạt kết quả ngang bằng với mô hình hiện tại. Đây là một mô hình thực tế để kiểm thử hệ thống quyết định mới mà không ngay lập tức cho phép nó ảnh hưởng đến hành vi trong môi trường production.

Kiểm thử độ nhạy với thứ tự tùy chọn

Một báo cáo độc lập phát hiện rằng việc đảo thứ tự các tùy chọn đã làm thay đổi xác suất đủ để vượt qua ngưỡng 0.9. Kết quả này chưa được tái lập, vì vậy không nên xem mức độ ảnh hưởng của nó là phổ quát. Tuy nhiên, nó gợi ý một bài kiểm tra độ bền hữu ích:

1. Chạy cùng một quyết định với thứ tự tùy chọn ban đầu.
2. Xáo trộn hoặc đảo ngược các tùy chọn mà không thay đổi ý nghĩa của chúng.
3. So sánh các câu trả lời được chọn và giá trị độ tin cậy.
4. Kiểm tra xem các ngưỡng vận hành có bị vượt qua hay không.

Nếu một thay đổi thứ tự vô hại làm thay đổi hành vi trong môi trường production, ngưỡng có thể kém ổn định hơn vẻ bề ngoài.

So sánh ngân sách tương đương và đường cơ sở đơn giản

Luôn so sánh Jev với hệ thống mà nó sẽ thay thế. Hãy đưa vào các phương án đơn giản như sắp xếp theo độ mới, quy tắc xác định, bộ phân loại hiện tại hoặc bộ xếp hạng lại chuyên dụng. Khi ngân sách ngữ cảnh khác nhau, hãy so sánh kết quả ở các mức ngân sách tương đương để việc đánh giá tập trung vào chất lượng quyết định thay vì lượng đầu vào bổ sung.

Phân biệt đầu ra được định kiểu với đầu ra chính xác

Câu trả lời được định kiểu giúp tích hợp thuận tiện hơn, nhưng không bảo đảm rằng quyết định bên dưới là chính xác. Hãy xác thực độ chính xác, hiệu chuẩn, độ trễ, chi phí và cách xử lý thất bại trên dữ liệu đại diện cho ứng dụng của bạn.

Thiết kế cho việc từ chối và xem xét

Các ví dụ trong danh mục bao gồm từ chối rõ ràng, trường hợp yêu cầu xác nhận, triển khai shadow và các tính năng bật khi người dùng chủ động chọn. Những mẫu này đặc biệt hữu ích khi một câu trả lời có độ tin cậy cao nhưng sai có thể kích hoạt hành động không an toàn hoặc tốn kém.

Kiểm tra khả năng tương thích trước khi triển khai

Hãy xem tài liệu về khả năng tương thích của kho lưu trữ để biết những khác biệt giữa các nền tảng. Đừng cho rằng các ví dụ viết bằng Python, JavaScript, TypeScript, Go hoặc ngôn ngữ khác có hành vi hay thông tin tích hợp giống hệt nhau.

Sử dụng dữ liệu danh mục đúng cách

Khi chỉnh sửa dự án, hãy xem catalog.json là nguồn dữ liệu chính và tạo lại README sau đó. Các huy hiệu của kho lưu trữ xác định dữ liệu danh mục được cấp phép theo CC0-1.0 và mã nguồn dự án theo giấy phép MIT, nhưng bạn vẫn nên kiểm tra từng dự án được liên kết vì giấy phép của chúng có thể khác hoặc không có.

Những lỗi thường gặp cần tránh

• Coi danh mục là sự chứng thực: việc đưa vào danh mục chỉ cho biết rằng liên kết đã được xem xét và truy cập thành công.
• Chọn ví dụ chỉ dựa trên số sao: mức độ phổ biến không chứng minh tính đúng đắn, khả năng hiệu chuẩn hay mức độ phù hợp.
• Nhầm lẫn Choice với các phán đoán Noul độc lập: những cách sắp xếp này trả lời các câu hỏi khác nhau.
• Tin vào số liệu hiệu năng của nhà cung cấp mà không có đường cơ sở: hãy ưu tiên các phép đo độc lập và có thể tái lập.
• Bỏ qua kết quả tiêu cực: các thử nghiệm thất bại hoặc trung tính thường cung cấp hướng dẫn kỹ thuật có tính ứng dụng cao nhất.
• Cho rằng đầu ra có kiểu dữ liệu đảm bảo tính đúng đắn: hãy kiểm chứng các quyết định dựa trên sự thật nền được gắn nhãn hoặc có cơ sở xác đáng theo cách khác.
• Chỉnh sửa trực tiếp README được tạo tự động: thay vào đó, hãy cập nhật catalog.json và chạy tập lệnh build.

Kết luận

awesome-jev phù hợp nhất khi được sử dụng như một bản đồ nghiên cứu định hướng bằng chứng cho các tích hợp Jev. Hãy bắt đầu từ quyết định mà hệ thống của bạn cần đưa ra, lọc các ví dụ theo mẫu và primitive, xem xét các điều kiện cần lưu ý, rồi kiểm chứng mọi tuyên bố trong nguồn gốc. Trước khi áp dụng một thiết kế, hãy tái lập thiết kế đó trên dữ liệu của riêng bạn, so sánh với các đường cơ sở đơn giản, kiểm tra độ ổn định của mức độ tin cậy và lập kế hoạch cho việc từ chối đưa ra kết quả hoặc chuyển sang con người xem xét.