Xây dựng và kiểm chứng tác nhân AI pháp lý với Legal Agent Workshop

Workshop Legal Agent thực hiện những gì

Legal Agent Workshop là một dự án thực hành gồm hai buổi, nhằm xây dựng và đánh giá một tác nhân AI pháp lý. Trước tiên, người tham gia triển khai một vòng lặp điều tra tác nhân và tạo một bản ghi nhớ pháp lý chưa được xác minh. Sau đó, họ bổ sung một lớp xác minh hoạt động bên ngoài quyền kiểm soát của tác nhân.

Kho lưu trữ cung cấp một bộ công cụ dựng sẵn dựa trên mã Python SDK OpenAI thuần túy. Bộ công cụ gồm một tệp cho mỗi công cụ, khả năng đọc tài liệu qua Files API và hệ thống quản lý vụ việc để theo dõi các sự kiện đã được kiểm tra bằng trích dẫn. Vụ việc đi kèm là northbridge-v-caldera, nhưng bản thân tác nhân vẫn mang tính tổng quát và không chứa thông tin vụ việc.

Quy tắc quan trọng về không gian làm việc: Chỉ khởi chạy Muse Code từ thư mục agent/. Các thư mục cases/, world/, ground_truth/, solutions/ và ui/ phải nằm ngoài không gian làm việc của Muse Code.

Tính năng chính

• Tác nhân pháp lý tổng quát: Tác nhân soạn danh sách kiểm tra, lập kế hoạch, điều tra tài liệu và tạo bản ghi nhớ.
• Triển khai bằng OpenAI Python SDK: Vòng lặp tác nhân sử dụng mã SDK trực tiếp thay vì một framework tác nhân bổ sung.
• Phân tích tài liệu: Bộ công cụ sử dụng Files API để đọc các tài liệu vụ việc.
• Sự kiện được kiểm tra bằng trích dẫn: Hệ thống quản lý vụ việc ghi lại các sự kiện cùng những trích dẫn hỗ trợ.
• Xác minh bên ngoài: Việc kiểm tra danh sách và bản ghi nhớ diễn ra bên ngoài quyền kiểm soát của tác nhân.
• So sánh với dữ liệu chuẩn: Bộ xác minh danh sách kiểm tra đối chiếu kết quả của tác nhân với danh sách kiểm tra chuẩn riêng cho vụ việc mà tác nhân không thể xem.
• Quy trình có thể tiếp tục: Một lượt chạy Buổi 1 có thể được phân nhánh và tiếp tục với tính năng xác minh được bật.
• Bảng điều khiển tác nhân trực tiếp: Giao diện dựng sẵn hiển thị các lượt, mục trong danh sách kiểm tra, bằng chứng hỗ trợ, việc phát hành bằng chứng và xác nhận của luật sư.

Tìm hiểu cấu trúc kho lưu trữ

• HANDBOOK.md chứa hướng dẫn thiết lập, nội dung của cả hai buổi workshop và lời nhắc về các quy tắc nền tảng của Muse Code tại mục 1.7.
• agent/ chứa mã khởi đầu và là thư mục duy nhất nên được cung cấp làm không gian làm việc của Muse Code.
• cases/northbridge-v-caldera/ chứa mục tiêu vụ việc và các tài liệu cung cấp cho tác nhân.
• ground_truth/ chứa danh sách kiểm tra riêng được dùng cho việc xác minh bên ngoài. Thư mục này không bao giờ được đưa vào vụ việc hoặc hiển thị cho tác nhân.
• world/ đại diện cho thế giới bên ngoài được mô phỏng, bao gồm các tài liệu theo dõi bị giữ lại và tập lệnh phát hành bằng chứng.
• solutions/ chứa các ảnh chụp trạng thái cho Buổi 1 và Buổi 2.
• ui/ chứa Bảng điều khiển tác nhân dựng sẵn và vẫn nằm ngoài không gian làm việc của Muse Code.

Cài đặt và cấu hình workshop

1. Sao chép kho lưu trữ

Sao chép dự án, sau đó vào thư mục agent/ trước khi thiết lập hoặc khởi chạy Muse Code.

git clone https://github.com/meta-models/legal-agent-workshop.git
cd legal-agent-workshop/agent

2. Tạo tệp môi trường

Sao chép cấu hình mẫu thành .env.

cp .env.example .env

Chỉnh sửa .env và thêm MODEL_API_KEY của bạn. Xác nhận rằng CASE_DIR trỏ đến vụ việc đi kèm:

../cases/northbridge-v-caldera

3. Chạy trình trợ giúp thiết lập

./helper setup

Lệnh thiết lập tạo môi trường .venv với OpenAI Python SDK, sao chép các tài liệu vụ việc vào vị trí dự kiến và kiểm tra API key đã cấu hình.

4. Khởi động Muse Code

Trong khi vẫn ở bên trong agent/, hãy khởi chạy Muse Code:

muse

Tin nhắn đầu tiên của bạn phải là lời nhắc về các quy tắc nền tảng tại mục 1.7 của HANDBOOK.md. Gửi lại lời nhắc đó sau mỗi lần khởi động lại hoặc bắt đầu phiên Muse Code mới.

Buổi 1: Xây dựng và chạy tác nhân pháp lý

Buổi 1 tập trung vào việc triển khai vòng lặp tác nhân tổng quát bằng bộ công cụ được cung cấp. Hãy làm theo hướng dẫn từng bước trong HANDBOOK.md và giữ toàn bộ công việc bên trong agent/.

Quy trình dự kiến là:

1. Soạn danh sách kiểm tra: Xác định các câu hỏi và bằng chứng mà cuộc điều tra cần bao quát.
2. Lập kế hoạch điều tra: Quyết định cách sử dụng các công cụ và tài liệu vụ việc hiện có.
3. Điều tra: Đọc tài liệu thông qua quy trình tài liệu được cung cấp và ghi lại các sự kiện đã được kiểm tra bằng trích dẫn trong hệ thống quản lý vụ việc.
4. Chuẩn bị kết quả: Kết thúc lượt chạy bằng một bản ghi nhớ chưa được xác minh dựa trên cuộc điều tra.

Ở giai đoạn này, bản ghi nhớ được cố ý để ở trạng thái chưa xác minh. Buổi 2 minh họa cách kết quả của tác nhân tưởng như hoàn chỉnh vẫn có thể bỏ sót các mục bắt buộc trong danh sách kiểm tra hoặc vi phạm các quy tắc của bản ghi nhớ.

Theo dõi lượt chạy trong Bảng điều khiển tác nhân

Từ thư mục gốc của kho lưu trữ, hãy khởi động giao diện dựng sẵn:

python3 ui/ui.py

Mở http://127.0.0.1:8765 trong trình duyệt. Bảng điều khiển có thể hiển thị trực tiếp một lượt chạy, bao gồm từng lượt của tác nhân, danh sách kiểm tra và cách chứng minh các mục trong danh sách. Bảng điều khiển cũng hỗ trợ các giai đoạn phát hành bằng chứng và xác nhận của luật sư trong workshop.

Buổi 2: Kiểm tra những gì tác nhân đã bỏ sót

Buổi 2 giới thiệu hai bước kiểm tra xác minh độc lập. Một bước đánh giá danh sách kiểm tra dựa trên dữ liệu chuẩn ẩn của vụ việc. Bước còn lại đánh giá bản ghi nhớ dựa trên các quy tắc bắt buộc.

Xác minh bản ghi nhớ

Từ agent/, thay RUN_ID bằng mã định danh của lần chạy Session 1:

./helper verify RUN_ID --memo

Lệnh này hiển thị các vấn đề được phát hiện trong quá trình kiểm tra bản ghi nhớ của Session 1.

Xác minh danh sách kiểm tra

./helper verify RUN_ID --checklist

Lệnh này so sánh danh sách kiểm tra của tác nhân với danh sách kiểm tra chuẩn xác theo từng vụ việc. Dữ liệu chuẩn vẫn nằm ngoài cả vụ việc và không gian làm việc của tác nhân.

Xây dựng các bước kiểm tra xác minh

Làm theo hướng dẫn Session 2 trong HANDBOOK.md để xây dựng các bước kiểm tra danh sách và bản ghi nhớ. Duy trì ranh giới tin cậy: các bước kiểm tra này phải chạy bên ngoài quyền kiểm soát của tác nhân, thay vì dựa vào tác nhân để tự phê duyệt công việc của mình.

Tiếp tục lần chạy với tính năng xác minh

Tạo nhánh từ lần chạy Session 1 ban đầu, sử dụng danh sách kiểm tra hiện có:

./helper branch RUN_ID

Quy trình tiếp tục này kiểm tra hành vi có xét đến xác minh, bao gồm từ chối, leo thang, phát hành bằng chứng mới, tiếp tục xử lý và phê duyệt của luật sư. Việc tạo nhánh giữ nguyên danh sách kiểm tra làm điểm bắt đầu thay vì khởi động một cuộc điều tra không liên quan.

Phát hành bằng chứng bị giữ lại

Khi một lần chạy đạt trạng thái needs_input, hãy sử dụng thế giới bên ngoài được mô phỏng để phát hành tài liệu bổ sung. Chạy lệnh này từ thư mục gốc của kho lưu trữ:

python3 world/release.py

Sau khi bằng chứng được phát hành, tiếp tục quy trình hội thảo và theo dõi lần chạy đã tiếp tục trong Agent Console.

Mẹo nâng cao

Bảo vệ ranh giới không gian làm việc

Luôn khởi động Muse Code từ agent/, không phải từ thư mục gốc của kho lưu trữ. Điều này ngăn Muse Code nhìn thấy nguồn vụ việc, dữ liệu chuẩn ẩn, thế giới mô phỏng, các bản chụp lời giải hoặc mã giao diện người dùng. Sự phân tách này là nền tảng của mô hình xác minh trong hội thảo.

Không bao giờ để tác nhân thấy dữ liệu chuẩn

Tệp ground_truth/northbridge-v-caldera.json tồn tại để phục vụ việc kiểm tra danh sách bên ngoài. Không sao chép tệp này vào vụ việc, đưa tệp vào không gian làm việc của Muse Code hoặc cung cấp tệp cho tác nhân.

Áp dụng lại các quy tắc nền tảng sau khi khởi động lại

Một phiên Muse Code được khởi động lại hoặc mới tạo không loại bỏ yêu cầu cung cấp lời nhắc về các quy tắc nền tảng. Mỗi lần, hãy sao chép lời nhắc này từ mục 1.7 của HANDBOOK.md.

Thêm vụ việc khác theo bố cục đã thiết lập

Vụ việc mới được biểu diễn bằng một thư mục chứa tệp objective.md và thư mục documents/. Giữ vụ việc bên ngoài agent/ và trỏ CASE_DIR đến đó. README không nêu các bước bổ sung để biên soạn vụ việc hoặc tạo dữ liệu chuẩn, vì vậy hãy tham khảo handbook trước khi mở rộng cấu hình xác minh.

Sử dụng cẩn trọng các bản chụp lời giải

Các thư mục solutions/01_session1/ và solutions/02_session2/ cung cấp bản chụp cho hai phiên. Vì nằm bên ngoài không gian làm việc của Muse Code, chúng có thể được dùng làm tài liệu tham khảo cho hội thảo mà không trở thành một phần của ngữ cảnh làm việc của tác nhân.

Tham chiếu lệnh

git clone https://github.com/meta-models/legal-agent-workshop.git
cd legal-agent-workshop/agent
cp .env.example .env
./helper setup
muse

# Từ thư mục gốc của kho lưu trữ
python3 ui/ui.py
python3 world/release.py

# Từ agent/
./helper verify RUN_ID --memo
./helper verify RUN_ID --checklist
./helper branch RUN_ID

Kết luận

Legal Agent Workshop minh họa cả hai khía cạnh của việc phát triển tác nhân pháp lý: xây dựng một tác nhân có thể lập kế hoạch, điều tra và soạn thảo, đồng thời tạo các cơ chế kiểm soát bên ngoài để kiểm tra công việc của tác nhân có đầy đủ và tuân thủ hay không. Bằng cách giữ vụ việc, dữ liệu chuẩn, tài nguyên xác minh và bằng chứng mô phỏng bên ngoài không gian làm việc của Muse Code, dự án làm cho ranh giới tin cậy trở nên rõ ràng và có thể kiểm thử.