Chuyển đến nội dung chính
Hướng dẫn AI

Chuyển đổi tức thì các mô hình GitHub Copilot Chat với 9Router Model Connector

Tìm hiểu cách cài đặt 9Router Model Connector, kết nối với GitHub Copilot Chat và chuyển đổi giữa các mô hình AI được hỗ trợ từ bảng điều khiển web hoặc thanh trạng thái VS Code. Hướng dẫn này cũng đề cập đến kiến trúc proxy, các lệnh hữu ích, công cụ so sánh mô hình, mô hình tùy chỉnh và những vấn đề thường gặp khi thiết lập.

Thời gian đọc khoảng 17 phút
Chuyển đổi mô hình GitHub Copilot Chat với 9Router Model Connector

Trình kết nối mô hình 9Router là gì?

Trình kết nối mô hình 9Router tích hợp Visual Studio Code và GitHub Copilot Chat với cổng AI 9Router. Lợi ích chính là chuyển đổi mô hình không cần tải lại: sau khi cấu hình ban đầu, bạn có thể kích hoạt một mô hình AI khác chỉ bằng một cú nhấp mà không cần chỉnh sửa tệp JSON, khởi động lại VS Code hoặc kết thúc phiên trò chuyện hiện tại.

Dự án hỗ trợ các mô hình được định tuyến qua hơn 40 nhà cung cấp AI, bao gồm OpenAI, Anthropic, Google Gemini, DeepSeek, Groq và OpenRouter. Các ví dụ được dự án đề cập gồm Claude 3.5 Sonnet, GPT-4o, Gemini 1.5 Pro, DeepSeek V3 và R1, cùng Llama 3.

Tính năng chính

  • Chuyển đổi không cần tải lại: Thay đổi mô hình đang hoạt động ngay lập tức trong khi vẫn giữ VS Code và phiên trò chuyện hiện tại mở.
  • Bảng điều khiển web: Duyệt và lọc các nhà cung cấp hiện có, sau đó kích hoạt mô hình trực quan.
  • Tích hợp thanh trạng thái VS Code: Chọn mô hình mà không cần rời khỏi trình chỉnh sửa.
  • So sánh và đánh giá mô hình: Kiểm thử các câu lệnh song song và so sánh độ trễ phản hồi.
  • Proxy cục bộ động: Tự động chèn mô hình đang hoạt động, áp dụng các tiêu đề xác thực và chuyển tiếp phản hồi phát trực tuyến qua Server-Sent Events.
  • Tương thích rộng với các nhà cung cấp: Kết nối với các nhà cung cấp có sẵn thông qua cổng 9Router.

Cách thức kết nối hoạt động

Tích hợp này sử dụng ba dịch vụ hoặc điểm cuối cục bộ:

  • 20128: cổng lõi và bộ cân bằng tải 9Router.
  • 20129: proxy cục bộ của tiện ích mở rộng, chèn mô hình đang hoạt động vào các yêu cầu.
  • 5500: bảng điều khiển web dùng để chọn và so sánh các mô hình.

Khi bạn chọn một mô hình từ bảng điều khiển hoặc thanh trạng thái, proxy ghi nhận mô hình đó là mô hình đang hoạt động. GitHub Copilot Chat gửi yêu cầu hoàn thành tiếp theo đến proxy cục bộ thông qua mục cố định 9Router via Proxy. Proxy viết lại phần nội dung yêu cầu để đưa mô hình đang hoạt động vào, thêm khóa API bắt buộc và chuyển tiếp yêu cầu đến cổng lõi 9Router.

9Router định tuyến yêu cầu đến nhà cung cấp AI tương ứng. Phản hồi quay lại thông qua cổng và proxy dưới dạng luồng mã thông báo SSE, cho phép Copilot Chat hiển thị câu trả lời theo thời gian thực.

Bạn chỉ cần chọn 9Router via Proxy một lần trong Copilot Chat. Các thay đổi mô hình sau đó được thực hiện ở lớp proxy.

Cài đặt

Tùy chọn 1: Thiết lập tự động trên Windows

Mở Command Prompt hoặc terminal trong thư mục dự án và chạy tập lệnh thiết lập:

scripts\setup.bat

Bạn cũng có thể sử dụng lệnh thiết lập npm:

npm run setup

Tùy chọn 2: Thiết lập tự động trên Linux hoặc macOS

Cấp quyền thực thi cho tập lệnh shell rồi chạy:

chmod +x scripts/setup.sh
./scripts/setup.sh

Tùy chọn 3: Cài đặt thủ công

Trước tiên, cài đặt cổng lõi 9Router trên toàn hệ thống:

npm install -g 9router

Sao chép kho lưu trữ trình kết nối và truy cập vào thư mục của nó:

git clone https://github.com/yudaprasetya007/routeVSCODE.git
cd routeVSCODE

Cài đặt tiện ích mở rộng VS Code đã đóng gói. Kho lưu trữ bao gồm phiên bản 2.5.0 trong thư mục releases:

code --install-extension releases/routevscode.model-connector-2.5.0.vsix --force

Khởi động bảng điều khiển web:

npm start

Sau khi chạy, mở http://localhost:5500 trong trình duyệt.

Cấu hình ban đầu

1. Khởi động cổng 9Router

Chạy 9Router trong một terminal riêng:

9router

Mở http://localhost:20128/dashboard và lấy khóa API 9Router. Giữ terminal này hoạt động trong khi sử dụng trình kết nối.

2. Khởi động bảng điều khiển trình kết nối

Trong kho lưu trữ đã sao chép, chạy:

npm start

Bảng điều khiển trình kết nối sẽ có sẵn tại http://localhost:5500.

3. Cấu hình khóa API và URL cơ sở

  1. Mở Bảng lệnh VS Code bằng Ctrl+Shift+P. Trên macOS, sử dụng Cmd+Shift+P.
  2. Chọn 9Router: Set API Key & Base URL.
  3. Nhập http://localhost:20128/v1 làm URL cơ sở.
  4. Dán khóa API lấy từ bảng điều khiển 9Router.

4. Chọn proxy trong Copilot Chat

  1. Mở GitHub Copilot Chat bằng Ctrl+Alt+I.
  2. Mở bộ chọn mô hình ở cuối giao diện trò chuyện.
  3. Chọn 9Router via Proxy.

Đây là lần chọn mô hình Copilot duy nhất cần thực hiện. Giữ Copilot sử dụng mục proxy này khi chuyển đổi giữa các mô hình thông qua 9Router.

Sử dụng cơ bản

Chuyển mô hình từ bảng điều khiển web

  1. Đảm bảo cả tiến trình 9router và bảng điều khiển trình kết nối đều đang chạy.
  2. Mở http://localhost:5500.
  3. Tìm mô hình bạn muốn sử dụng và kích hoạt mô hình đó.
  4. Gửi câu lệnh mới trong Copilot Chat.

Proxy cục bộ sẽ chèn mô hình vừa chọn vào yêu cầu tiếp theo. Không cần tải lại VS Code.

Chuyển mô hình từ thanh trạng thái VS Code

Nhấp vào chỉ báo mô hình 9Router ở thanh trạng thái phía dưới bên phải. Chọn một mô hình trong danh sách, sau đó tiếp tục sử dụng Copilot Chat như bình thường.

Chuyển đổi qua Bảng lệnh

Mở Bảng lệnh và chạy:

9Router: Pilih Model AI

Thao tác này mở menu chọn nhanh để chọn mô hình AI đang hoạt động.

Các lệnh VS Code hữu ích

  • 9Router: Pilih Model AI: Mở bộ chọn mô hình nhanh.
  • 9Router: Status & Info: Hiển thị trạng thái kết nối, cổng proxy và mô hình đang hoạt động.
  • 9Router: Set API Key & Base URL: Cập nhật endpoint và thông tin xác thực của 9Router.
  • 9Router: Sync Semua Model ke Copilot: Ghi lại các mục 9Router trong chatLanguageModels.json.
  • 9Router: Buka Dashboard Web: Mở dashboard cục bộ trong trình duyệt.
  • 9Router: Tambah Model Manual: Đăng ký thủ công ID mô hình tùy chỉnh.
  • 9Router: Hapus Semua Entry 9Router: Xóa các mục proxy 9Router khỏi cấu hình VS Code.

Mẹo nâng cao

So sánh các mô hình trước khi chọn

Sử dụng chức năng so sánh mô hình trực tiếp và đo điểm chuẩn của dashboard để gửi prompt và so sánh các phản hồi song song. Số liệu độ trễ giúp bạn chọn giữa các mô hình khi tốc độ là yếu tố quan trọng.

Thêm ID mô hình tùy chỉnh

Nếu mô hình bạn cần chưa có trong danh sách, hãy mở Command Palette và chạy 9Router: Tambah Model Manual. Nhập ID mô hình mà nhà cung cấp 9Router đã cấu hình yêu cầu. Khả năng sử dụng vẫn phụ thuộc vào các nhà cung cấp và mô hình có thể truy cập thông qua gateway 9Router của bạn.

Xác minh kết nối đang hoạt động

Trước khi chẩn đoán chính Copilot, hãy chạy 9Router: Status & Info. Kiểm tra mô hình đang hoạt động, trạng thái kết nối và cổng proxy cục bộ. Điều này giúp phân biệt sự cố proxy với sự cố gateway hoặc nhà cung cấp.

Giữ lựa chọn proxy ổn định

Không nên liên tục chọn từng mô hình upstream riêng lẻ từ bộ chọn mô hình của Copilot. Hãy giữ 9Router via Proxy được chọn và thay đổi mô hình upstream thông qua dashboard, thanh trạng thái hoặc lệnh chọn nhanh. Cách này duy trì quy trình làm việc không cần tải lại.

Chạy các dịch vụ trong các terminal riêng biệt

Giữ 9router chạy trong một terminal và npm start trong terminal khác. Điều này giúp dễ kiểm tra nhật ký dịch vụ hơn và tránh vô tình dừng gateway lõi khi khởi động lại dashboard.

Khắc phục sự cố

Cổng 20129 đã được sử dụng

Proxy động của extension sử dụng cổng 20129. Hãy đóng các phiên bản VS Code không còn cần thiết hoặc dừng mọi tiến trình khác đang chiếm cổng đó, sau đó khởi động lại connector.

Mô hình proxy không xuất hiện

Sau khi cài extension lần đầu, hãy mở Command Palette và chạy Developer: Reload Window. Sau đó quay lại bộ chọn mô hình Copilot Chat và tìm 9Router via Proxy.

9Router không phản hồi

Xác nhận 9router vẫn đang chạy trong một terminal riêng. Đồng thời kiểm tra base URL là http://localhost:20128/v1 và API key đã cấu hình được lấy từ dashboard 9Router cục bộ.

Đặt lại hoặc đồng bộ lại cấu hình

Sử dụng 9Router: Sync Semua Model ke Copilot khi cần tạo lại cấu hình mô hình. Nếu cần đặt lại hoàn toàn, hãy chạy 9Router: Hapus Semua Entry 9Router rồi cấu hình lại connector.

Để xem thêm thông tin chẩn đoán, hãy tham khảo tài liệu khắc phục sự cố của kho mã. Dự án cũng cung cấp các hướng dẫn riêng về kiến trúc và thiết lập.

Kết luận

9Router Model Connector đặt một proxy động giữa GitHub Copilot Chat và gateway 9Router, giúp việc chọn mô hình không còn phụ thuộc vào cấu hình cố định của Copilot. Sau khi cấu hình API key, base URL và mục 9Router via Proxy, bạn có thể chuyển đổi giữa các mô hình được hỗ trợ từ dashboard hoặc thanh trạng thái VS Code mà không cần tải lại trình soạn thảo. Dự án được phân phối theo giấy phép MIT.