OpenAI سے ہم آہنگ API کے ساتھ Colab A100 پر Qwen3.8-Flash-Next چلائیں

collabosm کیا کرتا ہے

collabosm ایک واحد Colab A100 80 GB High-RAM انسٹنس پر Qwen3.8-Flash-Next چلاتا ہے۔ یہ ماڈل 125B-A6B mixture-of-experts ماڈل ہے، جس میں hybrid Gated-DeltaNet اور full-attention architecture شامل ہیں، جبکہ اس کی native context length 262,144 tokens ہے۔

یہ project Colab VM کو provision یا restore کرتا ہے، pinned ExLlamaV3 runtime انسٹال کرتا ہے، pinned model weights ڈاؤن لوڈ کرتا ہے، OpenAI-compatible HTTP server شروع کرتا ہے، اور اسے Cloudflare tunnel کے ذریعے ظاہر کرتا ہے۔ clients generated bearer key کے ساتھ /v1 کے تحت tunnel URL سے connect ہوتے ہیں۔

repository میں ExLlamaV3 ہی واحد inference engine استعمال ہوتا ہے۔ API server خود collabosm کے ذریعے implement کیا گیا ہے کیونکہ ExLlamaV3 میں HTTP server شامل نہیں ہے۔

اہم خصوصیات

• Single-GPU deployment: تقریباً 63.6 GiB کے VRAM-resident weights کو ایک A100 80 GB High-RAM runtime پر چلاتا ہے۔
• OpenAI-compatible interfaces: /v1/chat/completions اور /v1/responses دونوں کو support کرتا ہے، جن میں incremental streaming بھی شامل ہے۔
• محفوظ Colab restoration: عارضی local CLI session records پر بھروسا کرنے یا duplicate billable VMs بنانے کے بجائے orphaned assignments سے دوبارہ attach ہوتا ہے۔
• Hardware validation: ماڈل load کرنے سے پہلے غیر مطابقت رکھنے والے 40 GB A100 کو مسترد کرکے روک دیتا ہے۔
• Persistent prompt caching: ایک طویل عرصے تک چلنے والا ExLlamaV3 Generator برقرار رکھتا ہے تاکہ page table اور pinned-RAM cache requests کے درمیان محفوظ رہیں۔
• Two-tier cache design: idle conversations کو تیزی سے resume کرنے کے لیے GPU KV capacity کو optional pinned host-RAM cache کے ساتھ ملاتا ہے۔
• Local protocol testing: ایک fake engine فراہم کرتا ہے جو GPU یا model weights کے بغیر حقیقی HTTP handler کو exercise کرتا ہے۔
• Optional vision: model کے vision component کو load کر سکتا ہے اور محدود image inputs قبول کرتا ہے۔
• Local client اور UI: terminal chat، browser UI، status pages، stream-derived performance metrics، اور ایسا proxy شامل ہے جو upstream key کو browser سے پوشیدہ رکھتا ہے۔

project کی رپورٹ کردہ پیمائشوں میں GCS=8192 کے ساتھ 30K prompt کے لیے 3,882 prefill tokens per second تک، 30K context پر MTP depth 4 کے ساتھ 97.4 decode tokens per second، اور 114K context پر 90.1 tokens per second شامل ہیں۔ ان اعداد کو ضمانت سمجھنے کے بجائے provenance اور caveats کے لیے docs/MEASURED.md دیکھیں۔

تقاضے اور capacity planning

شروع کرنے سے پہلے یقینی بنائیں کہ آپ کا environment درج ذیل تمام تقاضے پورے کرتا ہے:

• ایسا Colab plan جو A100 allocate کر سکے۔
• HIGH_RAM machine shape۔ standard 40 GB A100 اس model کو load نہیں کر سکتا۔
• weights کے لیے تقریباً 110 GiB Colab disk space۔
• Google Colab command-line tool، جسے uv tool install google-colab-cli سے install کیا گیا ہو۔
• اختیاری طور پر GitHub CLI، اگر آپ repository کو fork یا push کرنا چاہتے ہیں۔

uv tool install google-colab-cli

High-RAM کی شرط لازمی ہے۔ hardware output میں “80” تلاش کرکے مناسب card کی شناخت نہ کریں، کیونکہ A100 صرف 40 GB VRAM ہونے کے باوجود compute capability sm_80 رپورٹ کر سکتا ہے۔ collabosm اس کے بجائے رپورٹ کردہ vram_GiB value کا موازنہ کرتا ہے۔

یہ project تقریباً 200 compute units per month والے Colab Pro tier پر تیار کیا گیا تھا۔ اس کی measured A100 High-RAM cost 7.52 CU per hour تھی، جو documented environment میں تقریباً $0.75 per hour بنتی ہے۔ pricing اور allocation availability repository سے آزادانہ طور پر تبدیل ہو سکتی ہے۔

server شروع کریں

1. repository directory کھولیں

collabosm repository کو download یا clone کریں، پھر درج ذیل commands اس کی root directory سے چلائیں۔ scripts repository-relative paths جیسے scripts/up.sh، scripts/bootstrap.sh، اور scripts/serve.sh کی توقع کرتی ہیں۔

2. provision، bootstrap، اور serve کریں

bash scripts/up.sh

یہ single command ممکن ہونے پر existing assignment کو restore کرتا ہے یا نیا High-RAM assignment بناتا ہے، project upload کرتا ہے، pinned runtime install کرتا ہے، pinned weights download کرتا ہے، API شروع کرتا ہے، Cloudflare tunnel launch کرتا ہے، اور کامیاب health check کا انتظار کرتا ہے۔

کامیاب invocation صرف اسی وقت status 0 کے ساتھ exit ہوتی ہے جب API اور public tunnel URL دونوں ready ہوں۔ command tunnel URL اور API key print کرتی ہے۔ key VM پر /content/api-key.txt میں بھی محفوظ ہوتی ہے۔

runtime ایک pinned prebuilt ExLlamaV3 wheel سے منتخب کیا جاتا ہے جو Colab Python، PyTorch، اور CUDA environment سے مطابقت رکھتا ہے۔ weights کو Hugging Face سے pinned revision پر fetch کیا جاتا ہے۔ اگر Xet download path رک جائے تو README میں HF_HUB_DISABLE_XET=1 کو fallback کے طور پر درج کیا گیا ہے۔

3. connection settings ریکارڈ کریں

base_url = https://<host>.trycloudflare.com/v1
api_key  = <printed API key>
model    = qwen3.8-flash-next-exl3

quick tunnel hostname launches کے درمیان تبدیل ہو سکتا ہے۔ مستحکم hostname کے لیے TUNNEL_TOKEN کے ساتھ named Cloudflare tunnel configure کریں اور اسے status output میں دکھائے گئے address کے لیے PUBLIC_URL کے ساتھ pair کریں۔

4. چل رہی configuration کا معائنہ کریں

GET /v1/status کی request بھیج کر وہ parameters دیکھیں جو running process نے حقیقت میں وصول کیے ہیں، جن میں cache settings، launch parameters، uptime، vision availability، اور image-input policy شامل ہیں۔

repository میں بتایا گیا ہے کہ اس کے موجودہ defaults کو ابھی سب کو ایک ساتھ verify نہیں کیا گیا۔ کسی مخصوص combination کو validated سمجھنے سے پہلے live status endpoint چیک کریں اور docs/MEASURED.md سے رجوع کریں۔

caches اور generation configure کریں

لانچ کے تمام بنیادی کنٹرولز ماحولیاتی متغیرات ہیں جو scripts/up.sh کو پاس کیے جاتے ہیں۔ مثال کے طور پر:

SESSION=mybox CACHE_SIZE=524288 CPU_CACHE_GB=8 bash scripts/up.sh

• SESSION: مقامی سیشن کا نام؛ ڈیفالٹ collabosm ہے۔
• CACHE_SIZE: تمام جابز میں KV ٹوکنز کی کل تعداد؛ ڈیفالٹ 500224 ہے اور یہ 256 کا مضرب ہونا ضروری ہے۔
• CACHE_QUANT: KV کیش کی بٹ چوڑائی؛ ڈیفالٹ 4 ہے، جبکہ 2 سے 8 تک کی قدریں قابل قبول ہیں۔
• CPU_CACHE_GB: پن شدہ RAM میں دوسرے درجے کا KV پیج کیش؛ ڈیفالٹ 32 GiB ہے، جبکہ 0 اسے غیر فعال کر دیتا ہے۔
• RECURRENT_CACHE_GB: Gated-DeltaNet چیک پوائنٹس کے لیے میزبان RAM میں ذخیرہ؛ ڈیفالٹ 24 GiB ہے۔
• GCS: جنریٹر چنک کا سائز اور پری فل کارکردگی کا ایک اہم کنٹرول؛ ڈیفالٹ 8192 ہے۔
• NDT: ملٹی ٹوکن پیش گوئی کی ڈرافٹ گہرائی؛ ڈیفالٹ 4 ہے۔
• RUNTIME: پہلے سے تیار شدہ رن ٹائم کے لیے wheel، یا سورس پر مبنی سیٹ اپ کے لیے source۔
• TUNNEL_TOKEN: اختیاری نامزد ٹنل ٹوکن۔

میزبان RAM کے کیش مفت گنجائش نہیں ہیں۔ ڈیفالٹ CPU کیش مکمل طور پر پن شدہ میموری کے طور پر مختص کیا جاتا ہے، اور recurrent کیش بھی خاصی RAM استعمال کرتا ہے۔ یہ ریپوزٹری میں دستاویزی 36.4 GiB n-gram جدول کے ساتھ موجود رہتے ہیں۔

پن شدہ RAM کا درجہ ان غیر فعال گفتگوؤں کے دوبارہ شروع ہونے کا وقت بہتر بناتا ہے جن کے غیر حوالہ شدہ صفحات خارج کر دیے گئے ہوں۔ یہ بیک وقت فعال سیاق و سباق کی تعداد میں اضافہ نہیں کرتا، کیونکہ فعال صفحات کو اس طرح خارج نہیں کیا جا سکتا جیسے میزبان RAM عام swap ہو۔

OpenAI-compatible API کو کال کریں

ماڈل کی فہرست دیکھیں

curl https://<host>.trycloudflare.com/v1/models \
  -H "Authorization: Bearer <api-key>"

اینڈ پوائنٹ واحد ماڈل شناخت کنندہ qwen3.8-flash-next-exl3 واپس کرتا ہے۔ اس API روٹ کے لیے تصدیق ضروری ہے، جبکہ /health پر تصدیق درکار نہیں اور یہ سادہ ok واپس کرتا ہے۔

چیٹ مکمل کریں

curl https://<host>.trycloudflare.com/v1/chat/completions \
  -H "Authorization: Bearer <api-key>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.8-flash-next-exl3",
    "messages": [
      {"role": "user", "content": "Reply with exactly: pong"}
    ],
    "max_tokens": 16
  }'

چیٹ انٹرفیس مواد کو choices[].message.content کے تحت واپس کرتا ہے، مکمل ہونے کی وجہ stop یا length، اور استعمال کی معلومات بھی فراہم کرتا ہے جن میں کیش شدہ پرامپٹ ٹوکنز شامل ہو سکتے ہیں۔

تکمیل کو اسٹریم کریں

ماڈل کے ڈی کوڈ ہونے کے دوران Server-Sent Events وصول کرنے کے لیے stream کو true پر سیٹ کریں۔ چیٹ تکمیل کے لیے اسٹریم [DONE] پر ختم ہوتی ہے۔ اسٹریم شدہ جواب میں استعمال کی معلومات کی درخواست کے لیے stream_options.include_usage سیٹ کریں۔

{
  "model": "qwen3.8-flash-next-exl3",
  "messages": [{"role": "user", "content": "Explain prompt caching briefly."}],
  "stream": true,
  "stream_options": {"include_usage": true},
  "max_completion_tokens": 200
}

/v1/responses اینڈ پوائنٹ بھی اسٹریمز کو سپورٹ کرتا ہے۔ اس کے ایونٹس کی ترتیب میں تخلیق، پیش رفت، آؤٹ پٹ آئٹم، مواد کا حصہ، ٹیکسٹ ڈیلٹا، تکمیل، اور آخری رسپانس ایونٹس شامل ہیں۔ ہر اسٹریم شدہ ایونٹ میں ایک مسلسل بڑھتا ہوا sequence_number ہوتا ہے، جبکہ ڈیلٹا میں وہ آئٹم اور مواد کے اشاریے ہوتے ہیں جن کی کلائنٹس کو درست ربط کے لیے ضرورت ہوتی ہے۔

تھنکنگ موڈ استعمال کریں

عام چیٹ کلائنٹس کے ساتھ مطابقت کے لیے تھنکنگ ڈیفالٹ طور پر غیر فعال ہے۔ اسے enable_thinking: true یا معاون reasoning_effort قدر xhigh، medium، یا low کے ذریعے فعال کریں۔ چیٹ سطح پر reasoning trace الگ سے message.reasoning_content میں واپس آتا ہے اور عام content فیلڈ میں شامل نہیں ہوتا۔

temperature اور top_p قبول کیے جاتے ہیں، لیکن فی الحال نظر انداز ہوتے ہیں کیونکہ سرور sampler=None کے ساتھ جابز بناتا ہے۔ تھنکنگ کنٹرولز، max_tokens، اور stop sequences کام کرتے ہیں۔

شامل کلائنٹ استعمال کریں

مقامی collabosm.py کلائنٹ صرف Python کی معیاری لائبریری استعمال کرتا ہے اور کسی علیحدہ انسٹالیشن کی ضرورت نہیں۔ ٹنل اینڈ پوائنٹ اور تیار کردہ کلید کے ساتھ اس کی تشکیل شروع کریں:

python collabosm.py config --init \
  --endpoint https://<host>.trycloudflare.com/v1 \
  --api-key <key>

اس کے بعد آپ ٹرمینل سے چیٹ کر سکتے ہیں یا مقامی براؤزر انٹرفیس شروع کر سکتے ہیں:

python collabosm.py chat "hello"
python collabosm.py ui
python collabosm.py start

ui صفحہ اور پراکسی کو http://127.0.0.1:8790 پر فراہم کرتا ہے۔ start چیٹ اور اسٹیٹس ونڈوز کھولتا ہے۔ کلائنٹ جان بوجھ کر Colab VM کو شروع یا بند نہیں کرتا، اس لیے اسے کھولنے سے خود بخود کمپیوٹ یونٹس خرچ نہیں ہوتے۔

جب آپ چاہتے ہیں کہ پراکسی حقیقی bearer key شامل کرے، تو کسی موجودہ OpenAI-compatible کلائنٹ کو VM اینڈ پوائنٹ کے بجائے مقامی پراکسی دیں:

base URL : http://127.0.0.1:8790/v1
API key  : anything
model    : qwen3.8-flash-next-exl3

یہ ڈیزائن اصل کلید کو مقامی پراکسی پراسیس کے اندر رکھتا ہے، وسیع CORS پالیسی سے بچتا ہے، اور براؤزر UI کو VM سے آزادانہ طور پر اپ ڈیٹ کرنے دیتا ہے۔

GPU کے بغیر پروٹوکول آزمائیں

A100 کے لیے ادائیگی کیے بغیر یا weights ڈاؤن لوڈ کیے بغیر درخواست اور اسٹریم کے رویے کی توثیق کے لیے development stub استعمال کریں:

python scripts/dev_stub.py --port 8099 --chunk 24 --delay 0.01
python scripts/check_surface.py --base http://127.0.0.1:8099/v1

اس اسٹب میں اصل شپنگ ہینڈلر درآمد کیا جاتا ہے اور صرف اس کے انجن-فریگمنٹ فنکشن کو تبدیل کیا جاتا ہے۔ سطحی چیکر 13 جانچیں کرتا ہے، جن میں ابتدائی ڈیلٹا، آخری ایونٹس، چیٹ اور Responses کے مماثل آؤٹ پٹ، مطلوبہ آئٹم انڈیکسز، اور مسلسل بڑھتے ہوئے سیکوئنس نمبرز شامل ہیں۔ کسی جانچ کے ناکام ہونے پر یہ اسٹیٹس 1 کے ساتھ خارج ہوتا ہے۔

ریزننگ-آئٹم لائف سائیکل کو آزمانے کے لیے اسٹب کمانڈ میں --think شامل کریں۔ اسٹریم ایونٹ کی ساخت تبدیل کرنے یا Codex CLI جیسے سخت کلائنٹس سے کنکشن قائم کرنے سے پہلے یہ خاص طور پر مفید ہے۔

ویژن کو احتیاط سے فعال اور ٹیسٹ کریں

ماڈل پیک ملٹی موڈل ہے، لیکن ویژن پہلے سے بطور ڈیفالٹ غیر فعال ہے کیونکہ پہلے ہی بہت زیادہ مصروف کارڈ پر ویژن ٹاور کی اضافی VRAM لاگت ناپی نہیں گئی۔ الگ ویژن جزو کو واضح طور پر فعال کریں:

VISION=1 bash scripts/up.sh

اختیاری تصویری کنٹرولز میں شامل ہیں:

IMAGE_URLS=1
MAX_IMAGE_BYTES=12582912
MAX_IMAGES=8

دونوں معاون API ڈائلیکٹس معیاری OpenAI امیج پارٹس قبول کرتے ہیں۔ ویژن فعال ہونے پر ڈیٹا URLs قبول کیے جاتے ہیں۔ ریموٹ HTTP یا HTTPS امیج URLs اس وقت تک غیر فعال رہتے ہیں جب تک IMAGE_URLS=1 نہ ہو۔

{
  "role": "user",
  "content": [
    {"type": "text", "text": "What colour is this image?"},
    {
      "type": "image_url",
      "image_url": {"url": "data:image/png;base64,..."}
    }
  ]
}

جب ریموٹ URLs فعال ہوں تو سرور ہوسٹ نام حل کرتا ہے اور ہر پتے کے عالمی طور پر قابلِ روٹ ہونے کی شرط عائد کرتا ہے۔ یہ لوپ بیک، نجی، لنک-لوکل اور میٹا ڈیٹا پتوں کو مسترد کرتا ہے اور ری ڈائریکٹس کی پیروی نہیں کرتا۔ فائل سسٹم کے راستے کبھی قبول نہیں کیے جاتے۔ اگر کسی تصویر کو ایمبیڈ نہ کیا جا سکے تو سرور تصویر کو خاموشی سے نظرانداز کرنے کے بجائے vision_unavailable ٹائپ کے ساتھ JSON 400 ایرر واپس کرتا ہے۔

ویژن فعال ہے یا نہیں، یہ جاننے کے لیے GET /v1/status چیک کریں، پھر درج ذیل کے ذریعے فعال یا دانستہ طور پر مسترد کیے جانے والے رویے کی تصدیق کریں:

python scripts/check_vision.py \
  --base https://<host>.trycloudflare.com/v1 \
  --key <key>

ہم وقتیت اور کارکردگی کی تجاویز

API ایک طویل مدتی جنریٹر استعمال کرتی ہے جسے لاک محفوظ رکھتا ہے۔ اس لیے درخواستیں سلسلہ وار چلتی ہیں: متعدد اسٹریمز متوازی طور پر ڈی کوڈ ہونے کے بجائے قطار میں لگتے ہیں۔ ایک سے زیادہ بیچ سائز کا ٹیسٹ نہیں کیا گیا، اور شائع شدہ پیمائشوں میں ایک سلاٹ استعمال ہوا۔

موجودہ سیشن کی ناپی گئی گنجائش سیاق و سباق کی لمبائی پر بہت زیادہ منحصر ہے:

• فی اسٹریم 500K ٹوکن: 1 فعال سیشن۔
• فی اسٹریم 262K ٹوکن: 2 فعال سیشنز۔
• فی اسٹریم 131K ٹوکن: 5 فعال سیشنز۔
• فی اسٹریم 32K ٹوکن: 11 فعال سیشنز۔
• فی اسٹریم 16K ٹوکن: 14 فعال سیشنز۔

ہر فعال سلاٹ KV اسٹوریج سے پہلے تقریباً 546 MiB کی Gated-DeltaNet حالت استعمال کرتا ہے۔ مختصر سیاق و سباق میں recurrent state محدود کرنے والا عنصر بن جاتی ہے؛ عملی طور پر دستاویزی حد تقریباً 8 سے 14 فعال سلاٹس ہے، اگرچہ موجودہ API لاک کے باعث درخواستیں اب بھی سلسلہ وار چلتی ہیں۔

پریفِل کارکردگی کے لیے، پروجیکٹ میں GCS سب سے مؤثر عامل ثابت ہوا۔ تاہم، زیادہ بڑی یا تبدیل شدہ کیش ترتیبات کو بلا سوچے نقل کرنے کے بجائے VRAM اور میزبان RAM کے استعمال کے حوالے سے جانچنا چاہیے۔

ہر درخواست کے لیے نیا Generator بنانے سے گریز کریں۔ پیج ٹیبل اور CPU پیج کیش Generator.__init__ کے اندر بنائے جاتے ہیں؛ اسے دوبارہ بنانے سے پرامپٹ کیش کا دوبارہ استعمال خاموشی سے ختم ہو جائے گا اور بار بار پریفِل کرنا پڑے گا۔ شامل سرور پہلے ہی درست طویل مدتی انسٹنس برقرار رکھتا ہے۔

مسائل کا حل

CLI کہتی ہے کہ کوئی فعال سیشن نہیں

رن ٹائم پراکسی ٹوکن ختم ہونے پر مقامی سیشن ریکارڈ غائب ہو سکتا ہے، اگرچہ VM فعال اور قابلِ بلنگ رہے۔ دستی طور پر ایک اور VM بنانے کے بجائے ریپوزٹری کا بحالی ورک فلو استعمال کریں۔ scripts/restore.py سرور سائیڈ اسائنمنٹس دریافت کرتی ہے اور یتیم انسٹنس سے دوبارہ منسلک ہوتی ہے۔

ماڈل فِٹ نہیں ہوتا

تصدیق کریں کہ رن ٹائم میں تقریباً 80 GB VRAM ہے اور یہ High-RAM شکل ہے۔ بحالی اسکرپٹ ماڈل لوڈ ہونے سے پہلے 40 GB اسائنمنٹ کو مسترد کر کے روکنے کے لیے بنائی گئی ہے۔

API صحت مند ہے لیکن عوامی URL ظاہر نہیں ہوتا

up.sh ایسے صحت مند VM کو، جس کے لیے شائع شدہ ٹنل URL موجود نہ ہو، مکمل تیاری سے الگ سمجھتی ہے۔ ایگزٹ اسٹیٹس 9 اس صورتِ حال کی نشاندہی کرتا ہے۔ سروسنگ اور ٹنل لاگز دیکھیں، یہ فرض نہ کریں کہ اینڈ پوائنٹ عوامی طور پر قابلِ رسائی ہے۔

درخواستیں sampling کنٹرولز کو نظرانداز کرتی محسوس ہوتی ہیں

موجودہ سرور میں temperature اور top_p کے لیے یہ متوقع ہے۔ انہیں پارس کیا جاتا ہے، لیکن sampler کو فارورڈ نہیں کیا جاتا۔

اسٹریمنگ مطابقت خراب ہو جاتی ہے

مسئلہ scripts/dev_stub.py کے ذریعے دوبارہ پیدا کریں، پھر scripts/check_surface.py چلائیں۔ اصل ہینڈلر ٹیسٹ کے تحت ہوتا ہے، اس لیے ماڈل فراہم کیے بغیر پروٹوکول کی رجعتیں پکڑی جا سکتی ہیں۔

VM روکیں اور اخراجات کنٹرول کریں

کام مکمل ہونے پر میٹرڈ رن ٹائم کو فوراً روک دیں:

bash scripts/down.sh

یہ پروجیکٹ کا سب سے اہم لاگت کنٹرول کمانڈ ہے۔ براؤزر بند کرنا، مقامی CLI ریکارڈ کھو دینا، یا Colab سے منقطع ہونا اس بات کا ثبوت نہیں کہ بلنگ رک گئی ہے۔

اختیاری فرنٹ اینڈ کنٹرول پلین پروویژننگ سے پہلے تصدیق، مقامی CU لیجر، بیکار ہونے پر خودکار اسٹاپ، زیادہ سے زیادہ سیشن دورانیہ، منسوخی، اور اسائنمنٹ کے بعد پروویژننگ ناکام ہونے پر صفائی شامل کرتا ہے۔ آپ اس ورک فلو کی مشق کارڈ یا کمپیوٹ یونٹس کے بغیر کر سکتے ہیں:

python frontend/server.py --fake-provision
python frontend/server.py --mock
python scripts/dev_stub.py --port 8099 &
python frontend/server.py --mock --backend http://127.0.0.1:8099

نتیجہ

collabosm، Colab پر Qwen3.8-Flash-Next چلانے کے مشکل حصوں کو سنبھالتا ہے: درست A100 شکل کی درخواست کرنا، یتیم اسائنمنٹس بحال کرنا، مطابقت رکھنے والا ExLlamaV3 رن ٹائم انسٹال کرنا، مقررہ ویٹس لوڈ کرنا، کیشز برقرار رکھنا، محفوظ ٹنل فراہم کرنا، اور OpenAI کے ساتھ مطابقت رکھنے والے دو API ڈائلیکٹس پیش کرنا۔

آغاز bash scripts/up.sh سے کریں، /v1/status کے ذریعے فعال کنفیگریشن کی تصدیق کریں، دکھائے گئے /v1 اینڈ پوائنٹ سے جڑیں، اور ہمیشہ bash scripts/down.sh کے ساتھ اختتام کریں۔ پروڈکشن جیسی تجربہ کاری کے لیے سیریلائزڈ درخواستوں، غیر نافذ شدہ سیمپلنگ کنٹرولز، کیش میموری کے اخراجات، وژن کے اختیاری VRAM بوجھ، اور بیکار کیش سے بحالی اور حقیقی فعال سیشن کی گنجائش کے درمیان فرق پر خاص توجہ دیں۔