9Router Model Connector দিয়ে GitHub Copilot Chat-এর মডেল তাৎক্ষণিক বদলান

9Router Model Connector কী?

9Router Model Connector Visual Studio Code এবং GitHub Copilot Chat-কে 9Router AI gateway-এর সঙ্গে সংযুক্ত করে। এর প্রধান সুবিধা হলো কোনো রিলোড ছাড়াই মডেল পরিবর্তন: প্রাথমিক কনফিগারেশনের পর JSON ফাইল সম্পাদনা, VS Code পুনরায় চালু করা বা বর্তমান চ্যাট সেশন শেষ না করেই এক ক্লিকে অন্য AI মডেল সক্রিয় করতে পারবেন।

প্রকল্পটি OpenAI, Anthropic, Google Gemini, DeepSeek, Groq এবং OpenRouter-সহ 40টিরও বেশি AI প্রদানকারীর মাধ্যমে রাউট করা মডেল সমর্থন করে। প্রকল্পে উল্লেখিত উদাহরণগুলোর মধ্যে রয়েছে Claude 3.5 Sonnet, GPT-4o, Gemini 1.5 Pro, DeepSeek V3 ও R1 এবং Llama 3।

প্রধান বৈশিষ্ট্য

• রিলোড ছাড়াই পরিবর্তন: VS Code এবং বর্তমান চ্যাট সেশন খোলা রেখেই সক্রিয় মডেল তাৎক্ষণিকভাবে পরিবর্তন করুন।
• ওয়েব ড্যাশবোর্ড: উপলভ্য প্রদানকারীদের ব্রাউজ ও ফিল্টার করে দৃশ্যত একটি মডেল সক্রিয় করুন।
• VS Code স্ট্যাটাস বার ইন্টিগ্রেশন: এডিটর ছেড়ে না গিয়েই একটি মডেল নির্বাচন করুন।
• মডেল তুলনা ও বেঞ্চমার্কিং: পাশাপাশি প্রম্পট পরীক্ষা করুন এবং প্রতিক্রিয়ার বিলম্ব তুলনা করুন।
• ডায়নামিক লোকাল প্রক্সি: সক্রিয় মডেল স্বয়ংক্রিয়ভাবে যুক্ত করে, অথেনটিকেশন হেডার প্রয়োগ করে এবং Server-Sent Events স্ট্রিমিং প্রতিক্রিয়া রিলে করে।
• বিস্তৃত প্রদানকারী সামঞ্জস্য: 9Router gateway-এর মাধ্যমে উপলভ্য প্রদানকারীদের সঙ্গে সংযোগ স্থাপন করে।

সংযোগ কীভাবে কাজ করে

ইন্টিগ্রেশনটি তিনটি স্থানীয় পরিষেবা বা এন্ডপয়েন্ট ব্যবহার করে:

• 20128: 9Router-এর কোর gateway এবং লোড ব্যালান্সার।
• 20129: এক্সটেনশনের লোকাল প্রক্সি, যা বর্তমানে সক্রিয় মডেলটি অনুরোধে যুক্ত করে।
• 5500: মডেল নির্বাচন ও তুলনার জন্য ব্যবহৃত ওয়েব ড্যাশবোর্ড।

ড্যাশবোর্ড বা স্ট্যাটাস বার থেকে কোনো মডেল নির্বাচন করলে প্রক্সি সেটিকে সক্রিয় মডেল হিসেবে সংরক্ষণ করে। GitHub Copilot Chat তার পরবর্তী completion অনুরোধটি নির্দিষ্ট 9Router via Proxy এন্ট্রি ব্যবহার করে লোকাল প্রক্সিতে পাঠায়। প্রক্সি অনুরোধের payload পুনর্লিখন করে সক্রিয় মডেলটি যুক্ত করে, প্রয়োজনীয় API key যোগ করে এবং অনুরোধটি 9Router-এর কোর gateway-তে পাঠিয়ে দেয়।

9Router অনুরোধটি সংশ্লিষ্ট AI প্রদানকারীর কাছে রাউট করে। প্রতিক্রিয়াটি gateway এবং প্রক্সির মধ্য দিয়ে SSE token stream হিসেবে ফিরে আসে, ফলে Copilot Chat উত্তরটি রিয়েল টাইমে প্রদর্শন করতে পারে।

Copilot Chat-এ আপনাকে একবারই 9Router via Proxy নির্বাচন করতে হবে। পরবর্তী মডেল পরিবর্তনগুলো প্রক্সি স্তরেই সম্পন্ন হবে।

ইনস্টলেশন

বিকল্প 1: Windows-এ স্বয়ংক্রিয় সেটআপ

প্রকল্প ডিরেক্টরিতে Command Prompt বা একটি টার্মিনাল খুলে সেটআপ স্ক্রিপ্টটি চালান:

scripts\setup.bat

বিকল্পভাবে npm সেটআপ কমান্ড ব্যবহার করতে পারেন:

npm run setup

বিকল্প 2: Linux বা macOS-এ স্বয়ংক্রিয় সেটআপ

শেল স্ক্রিপ্টটি executable করে চালান:

chmod +x scripts/setup.sh
./scripts/setup.sh

বিকল্প 3: ম্যানুয়াল ইনস্টলেশন

প্রথমে 9Router কোর gateway-টি globally ইনস্টল করুন:

npm install -g 9router

Connector repository ক্লোন করে তার ডিরেক্টরিতে প্রবেশ করুন:

git clone https://github.com/yudaprasetya007/routeVSCODE.git
cd routeVSCODE

প্যাকেজ করা VS Code extension ইনস্টল করুন। Repository-তে releases ডিরেক্টরির অধীনে 2.5.0 সংস্করণটি রয়েছে:

code --install-extension releases/routevscode.model-connector-2.5.0.vsix --force

ওয়েব ড্যাশবোর্ড চালু করুন:

npm start

চালু হলে ব্রাউজারে http://localhost:5500 খুলুন।

প্রাথমিক কনফিগারেশন

1. 9Router Gateway চালু করুন

একটি নির্দিষ্ট টার্মিনালে 9Router চালান:

9router

http://localhost:20128/dashboard খুলে আপনার 9Router API key সংগ্রহ করুন। Connector ব্যবহার করার সময় এই টার্মিনালটি চালু রাখুন।

2. Connector Dashboard চালু করুন

ক্লোন করা repository-তে চালান:

npm start

Connector dashboard-টি http://localhost:5500-এ উপলভ্য হওয়ার কথা।

3. API Key এবং Base URL কনফিগার করুন

1. Ctrl+Shift+P দিয়ে VS Code Command Palette খুলুন। macOS-এ Cmd+Shift+P ব্যবহার করুন।
2. 9Router: Set API Key & Base URL নির্বাচন করুন।
3. Base URL হিসেবে http://localhost:20128/v1 লিখুন।
4. 9Router dashboard থেকে পাওয়া API key পেস্ট করুন।

4. Copilot Chat-এ প্রক্সি নির্বাচন করুন

1. Ctrl+Alt+I দিয়ে GitHub Copilot Chat খুলুন।
2. চ্যাট ইন্টারফেসের নিচে model picker খুলুন।
3. 9Router via Proxy নির্বাচন করুন।

এটাই একবারের Copilot model selection। 9Router-এর মাধ্যমে বিভিন্ন মডেলের মধ্যে পরিবর্তন করার সময় Copilot-কে এই proxy entry-তেই রাখুন।

মৌলিক ব্যবহার

ওয়েব ড্যাশবোর্ড থেকে মডেল পরিবর্তন

1. 9router process এবং connector dashboard দুটিই চালু আছে কি না নিশ্চিত করুন।
2. http://localhost:5500 খুলুন।
3. যে মডেলটি ব্যবহার করতে চান সেটি খুঁজে সক্রিয় করুন।
4. Copilot Chat-এ একটি নতুন prompt পাঠান।

লোকাল প্রক্সি পরবর্তী অনুরোধে নতুন নির্বাচিত মডেলটি যুক্ত করে। VS Code পুনরায় লোড করার প্রয়োজন নেই।

VS Code Status Bar থেকে মডেল পরিবর্তন

নিচের ডানদিকের status bar-এ 9Router model indicator-এ ক্লিক করুন। তালিকা থেকে একটি মডেল নির্বাচন করে স্বাভাবিকভাবে Copilot Chat ব্যবহার চালিয়ে যান।

Command Palette-এর মাধ্যমে পরিবর্তন

Command Palette খুলে চালান:

9Router: Pilih Model AI

এটি সক্রিয় AI মডেল নির্বাচন করার জন্য একটি দ্রুত-নির্বাচন মেনু খোলে।

দরকারি VS Code কমান্ড

• 9Router: Pilih Model AI: দ্রুত মডেল নির্বাচক খোলে।
• 9Router: Status & Info: সংযোগের অবস্থা, প্রক্সি পোর্ট এবং সক্রিয় মডেল দেখায়।
• 9Router: Set API Key & Base URL: 9Router এন্ডপয়েন্ট ও পরিচয়পত্র আপডেট করে।
• 9Router: Sync Semua Model ke Copilot: chatLanguageModels.json-এ 9Router এন্ট্রিগুলো পুনরায় লেখে।
• 9Router: Buka Dashboard Web: ব্রাউজারে স্থানীয় ড্যাশবোর্ড খোলে।
• 9Router: Tambah Model Manual: ম্যানুয়ালি একটি কাস্টম মডেল ID নিবন্ধন করে।
• 9Router: Hapus Semua Entry 9Router: VS Code কনফিগারেশন থেকে 9Router প্রক্সি এন্ট্রিগুলো সরিয়ে দেয়।

উন্নত টিপস

একটি মডেল বেছে নেওয়ার আগে তুলনা করুন

ড্যাশবোর্ডের লাইভ মডেল তুলনা ও বেঞ্চমার্কিং সুবিধা ব্যবহার করে প্রম্পট পাঠান এবং পাশাপাশি প্রতিক্রিয়াগুলো তুলনা করুন। গতি গুরুত্বপূর্ণ হলে এর লেটেন্সি পরিমাপগুলো মডেল বেছে নিতে সহায়তা করতে পারে।

একটি কাস্টম মডেল ID যোগ করুন

প্রয়োজনীয় মডেলটি তালিকায় না থাকলে Command Palette খুলে 9Router: Tambah Model Manual চালান। কনফিগার করা 9Router প্রদানকারী যে মডেল ID প্রত্যাশা করে, সেটি লিখুন। 9Router গেটওয়ের মাধ্যমে যেসব প্রদানকারী ও মডেল ব্যবহারযোগ্য, প্রাপ্যতা এখনও সেগুলোর ওপর নির্ভর করবে।

সক্রিয় সংযোগ যাচাই করুন

Copilot নিজে নির্ণয় করার আগে 9Router: Status & Info চালান। সক্রিয় মডেল, সংযোগের অবস্থা এবং স্থানীয় প্রক্সি পোর্ট পরীক্ষা করুন। এতে প্রক্সি সমস্যা, গেটওয়ে সমস্যা এবং প্রদানকারী সমস্যার মধ্যে পার্থক্য করা সহজ হয়।

প্রক্সি নির্বাচন স্থিতিশীল রাখুন

Copilot-এর মডেল পিকার থেকে বারবার পৃথক আপস্ট্রিম মডেল বেছে নেবেন না। 9Router via Proxy নির্বাচিত রাখুন এবং ড্যাশবোর্ড, স্ট্যাটাস বার অথবা দ্রুত-নির্বাচন কমান্ডের মাধ্যমে আপস্ট্রিম মডেল পরিবর্তন করুন। এতে শূন্য-রিলোড কর্মপ্রবাহ বজায় থাকে।

সেবাগুলো পৃথক টার্মিনালে চালান

একটি টার্মিনালে 9router এবং অন্যটিতে npm start চালু রাখুন। এতে সেবা লগ পরিদর্শন করা সহজ হয় এবং ড্যাশবোর্ড পুনরায় চালু করার সময় মূল গেটওয়ে ভুল করে বন্ধ হওয়া রোধ হয়।

সমস্যা সমাধান

পোর্ট 20129 ইতিমধ্যে ব্যবহৃত হচ্ছে

এক্সটেনশনের ডায়নামিক প্রক্সি 20129 পোর্ট ব্যবহার করে। পুরোনো VS Code ইনস্ট্যান্স বন্ধ করুন অথবা ওই পোর্ট দখল করে থাকা অন্য কোনো প্রসেস থামান, তারপর কানেক্টরটি আবার চালু করুন।

প্রক্সি মডেলটি দেখা যাচ্ছে না

প্রথমবার এক্সটেনশন ইনস্টল করার পর Command Palette খুলে Developer: Reload Window চালান। এরপর Copilot Chat-এর মডেল পিকারে ফিরে 9Router via Proxy খুঁজুন।

9Router সাড়া দিচ্ছে না

নিশ্চিত করুন যে 9router এখনও পৃথক টার্মিনালে চলছে। এছাড়াও যাচাই করুন যে বেস URL হলো http://localhost:20128/v1 এবং কনফিগার করা API কীটি স্থানীয় 9Router ড্যাশবোর্ড থেকে নেওয়া হয়েছে।

কনফিগারেশন রিসেট বা পুনরায় সিঙ্ক্রোনাইজ করুন

মডেল কনফিগারেশন পুনরায় তৈরি করতে হলে 9Router: Sync Semua Model ke Copilot ব্যবহার করুন। সম্পূর্ণ নতুন করে শুরু করতে চাইলে 9Router: Hapus Semua Entry 9Router চালিয়ে কানেক্টরটি আবার কনফিগার করুন।

অতিরিক্ত নির্ণয়ের জন্য রিপোজিটরির সমস্যা সমাধানের ডকুমেন্টেশন দেখুন। প্রকল্পটিতে পৃথক আর্কিটেকচার এবং সেটআপ নির্দেশিকাও রয়েছে।

উপসংহার

9Router Model Connector GitHub Copilot Chat এবং 9Router গেটওয়ের মধ্যে একটি ডায়নামিক প্রক্সি স্থাপন করে, ফলে মডেল নির্বাচন Copilot-এর নির্দিষ্ট কনফিগারেশন থেকে স্বাধীন হয়। API কী, বেস URL এবং 9Router via Proxy এন্ট্রি কনফিগার করার পর এডিটর রিলোড না করেই ড্যাশবোর্ড বা VS Code স্ট্যাটাস বার থেকে সমর্থিত মডেল পরিবর্তন করতে পারবেন। প্রকল্পটি MIT লাইসেন্সের অধীনে বিতরণ করা হয়।