APUS-OpenJev-v1 آپریشن میں

APUS-OpenJev-v1، APUS AI Lab کی جانب سے اوپن سورس کیا گیا آن ڈیوائس System 1 فیصلہ سازی کے بڑے ماڈلز کا سلسلہ ہے، جو TypeSafe AI کے بند ماخذ Jev کے ہم پلہ ہے۔ یہ 4B، 9B اور 35B-A3B وزن فراہم کرتا ہے اور براؤزر آٹومیشن، فارم پُر کرنے اور ورک فلو روٹنگ جیسے کاموں میں اگلے آپریشن کا انتخاب تیزی سے کر سکتا ہے۔ ماڈل نے پہلی بار effort="low/high" متحرک کمپیوٹیشن گہرائی متعارف کرائی ہے: low میں صرف 16 تہیں چلائی جاتی ہیں اور امیدوار سے آگاہ پروجیکشن استعمال ہوتی ہے، جس سے رفتار زیادہ اور لاگت کم رہتی ہے؛ high میں مکمل گہرائی استعمال ہوتی ہے، جس سے درستگی زیادہ ہوتی ہے۔

امیدوار ایکشن کا فیصلہ: کام، صفحے کے سیاق و سباق اور امیدوار آپریشن کی تفصیل کی بنیاد پر اگلا کاروباری ایکشن آؤٹ پٹ کرتا ہے۔
براؤزر آٹومیشن: بٹن، ان پٹ فیلڈز، نیویگیشن عناصر اور دیگر DOM معلومات کی شناخت کرکے Agent کو ویب آپریشن مکمل کرنے میں مدد دیتا ہے۔
کاروباری قواعد کی روٹنگ: کسٹمر سروس ٹکٹ کی تقسیم، ورک فلو منظوری اور فارم جمع کرانے جیسے کاروباری فیصلہ سازی کے منظرناموں کے لیے موزوں ہے۔
متحرک کمپیوٹیشن کنٹرول: effort="low/high" کے ذریعے زیادہ تھروپٹ اور اعلیٰ معیار کے درمیان سوئچ کرتا ہے۔
فارم متن کی تخلیق: متعدد انتخابی طرز کے فیصلوں کے علاوہ تلاش کے کلیدی الفاظ، ان پٹ متن اور دیگر کھلے متن بھی تیار کر سکتا ہے۔
مقامی ملی سیکنڈ سطح کی تعیناتی: سنگل کارڈ GPU اور vLLM سروس تعیناتی کو سپورٹ کرتا ہے، جس سے کلاؤڈ API کی تاخیر اور کال کی لاگت کم ہوتی ہے۔
متعدد ماڈل سائز: 4B، 9B اور 35B-A3B ورژن فراہم کرتا ہے، جو بالترتیب ہلکے آن ڈیوائس، عمومی پروڈکشن اور اعلیٰ کارکردگی کی ضروریات کے لیے ہیں۔

WeChat پر فالو کرکے جواب میں “开源” بھیجیں اور AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں۔
زبان پر مبنی فیصلہ سازی انٹرفیس: ماڈل کام کے مقصد، سیاق و سباق اور امیدوار آپریشن کی تفصیل کو قدرتی زبان میں بطور ان پٹ لیتا ہے اور امیدوار ایکشنز کو A، B، C جیسے مختصر Token سے منسلک کرتا ہے۔ استدلال کے وقت ماڈل صرف ان مجاز امیدوار Tokens کے امکانات کا حساب لگاتا ہے، پھر میزبان پروگرام انہیں مخصوص کاروباری ایکشنز میں تبدیل کر دیتا ہے۔
effort="low/high" متحرک کمپیوٹیشن گہرائی: ماڈل کے ایک ہی وزن میں دو فیصلہ سازی آؤٹ لیٹس شامل ہیں: effort="low" صرف Transformer کی پہلی 16 تہیں چلاتا ہے اور امیدوار سے آگاہ آؤٹ پٹ پروجیکشن استعمال کرتا ہے، جس سے کم کمپیوٹ کے ساتھ بار بار ہونے والے معمول کے ایکشن مکمل ہوتے ہیں؛ effort="high" مکمل 32 تہوں کا استدلال انجام دیتا ہے، جو ادائیگی اور اجازت کی تصدیق جیسے زیادہ خطرے والے آپریشنز کے لیے موزوں ہے۔ اس طرح Agent سسٹم ایکشن کی اہمیت اور اعتماد کی سطح کے مطابق کمپیوٹ وسائل متحرک طور پر تقسیم کر سکتا ہے۔
مختلف گہرائیوں پر مشترکہ پوسٹ ٹریننگ اور خود تقطیر: آدھی کمپیوٹیشن کے بعد بھی کم گہرائی والے آؤٹ لیٹ کو قابل اعتماد فیصلہ سازی کی صلاحیت دینے کے لیے، ماڈل کم اور زیادہ گہرائی والے راستوں پر بیک وقت حقیقی لیبل کی نگرانی کرتا ہے اور زیادہ گہرائی والے آؤٹ پٹ کے امکان کی تقسیم کو “نرم لیبل” کے طور پر استعمال کرکے KL divergence کے ذریعے کم گہرائی والے راستے کو تقطیر کرتا ہے۔ کم گہرائی والے راستے کی محدود گنجائش کو زیادہ گہرائی والے ماڈل کی کارکردگی متاثر کرنے سے روکنے کے لیے، تربیت میں زیادہ گہرائی والے آؤٹ پٹ پر gradient blocking بھی لاگو کی جاتی ہے، تاکہ وہ خود کو بہتر بناتے ہوئے کم گہرائی والے راستے کے استاد کے طور پر کام کر سکے۔
امیدوار سے آگاہ آؤٹ پٹ پروجیکشن: روایتی بڑے ماڈل میں ہر Token تیار کرتے وقت تقریباً 24.8万 الفاظ کی لغت کو اسکین کرنا پڑتا ہے، جبکہ ساختی فیصلہ سازی میں عموماً صرف چند امیدوار ایکشن ہوتے ہیں۔ امیدوار Tokens سے متعلق آؤٹ پٹ وزن کی قطاریں براہ راست اخذ کرکے میٹرکس حساب کو مکمل لغت سے گھٹا کر K امیدواروں تک محدود کیا جاتا ہے۔ امیدوار امکانات کی منطقی مساوات برقرار رکھتے ہوئے آؤٹ پٹ ہیڈ کی کمپیوٹیشن اور میموری رسائی کی لاگت نمایاں طور پر کم ہو جاتی ہے۔

ماحول تیار کریں: CUDA کو سپورٹ کرنے والا PyTorch، Transformers اور huggingface_hub انسٹال کریں اور یقینی بنائیں کہ مقامی مشین یا سرور پر کافی GPU میموری موجود ہے۔
ماڈل ڈاؤن لوڈ کریں: مطلوبہ ماڈل ڈائریکٹری ڈاؤن لوڈ کرنے کے لیے hf download apus-ailab/APUS-OpenJev-v1 --include "9B-3000/*" --local-dir ./APUS-OpenJev-v1 چلائیں۔
ماڈل ڈائریکٹری میں جائیں: ڈاؤن لوڈ کی گئی ماڈل ذیلی ڈائریکٹری میں جائیں، جہاں موجود openjet_runtime استدلالی جزو براہ راست استعمال کیا جا سکتا ہے۔
ماڈل لوڈ کریں: ماڈل کو مخصوص GPU پر لوڈ کرنے کے لیے OpenJet.from_pretrained(".", device="cuda:0") استعمال کریں۔
فیصلہ سازی کی درخواست بنائیں: instructions، state اور candidates تین فیلڈز کے ذریعے کام کا مقصد، موجودہ سیاق و سباق اور امیدوار آپریشنز ان پٹ کریں۔
تیز فیصلہ سازی: کم کمپیوٹ لاگت کے ساتھ بار بار ہونے والے معمول کے ایکشن حاصل کرنے کے لیے model.decide(request_data, effort="low") چلائیں۔
گہری فیصلہ سازی: ادائیگی اور جمع کرانے جیسے اہم ایکشنز کے لیے مکمل استدلالی نتیجہ حاصل کرنے کی خاطر model.decide(request_data, effort="high") چلائیں۔
ورک فلو متن تیار کریں: تلاش کے الفاظ یا فارم کا متن پُر کرنے والے منظرناموں میں مخصوص متن تیار کرنے کے لیے model.generate_text() چلائیں۔
پروڈکشن سروس تعینات کریں: vLLM کے ذریعے OpenAI سے مطابقت رکھنے والا انٹرفیس شروع کرنے کے لیے python deployment/serve_vllm.py --port 8000 چلائیں۔

اعلیٰ فیصلہ سازی کی درستگی: سرکاری 80 سوالات کے منجمد بینچ مارک میں 9B ورژن نے 85% حاصل کیا، جو Jev کمرشل API کے 82.5% سے زیادہ ہے۔
انتہائی تیز ردعمل: مخصوص مقامی vLLM تعیناتی میں 9B کی P50 تاخیر صرف 25.58ms اور 4B کی 18ms ہے۔
کمپیوٹ وسائل کو متحرک طور پر ایڈجسٹ کیا جا سکتا ہے: پہلی بار متعارف کرایا گیا effort="low/high" موڈ ایکشن کے خطرے کے مطابق رفتار اور درستگی کے درمیان آزادانہ تبدیلی کی اجازت دیتا ہے۔
بار بار ہونے والے آپریشنز کی لاگت کم: effort="low" صرف 16 تہیں چلاتا ہے اور امیدوار سے آگاہ آؤٹ پٹ پروجیکشن استعمال کرتا ہے، جو اسکرول اور اگلا بٹن دبانے جیسے بار بار ہونے والے فیصلوں کے لیے موزوں ہے۔
اہم ایکشنز زیادہ قابل اعتماد: effort="high" مکمل نیٹ ورک گہرائی چلاتا ہے، جو ادائیگی کی تصدیق اور اجازت کی منظوری جیسے زیادہ خطرے والے منظرناموں کے لیے موزوں ہے۔
آؤٹ پٹ فارمیٹ کی غلطیوں سے بچاؤ: زبان پر مبنی فیصلہ سازی انٹرفیس استعمال کرکے آؤٹ پٹ کو پہلے سے متعین امیدوار مجموعے تک محدود کرتا ہے اور JSON فارمیٹ کے ہذیانی نتائج ختم کرتا ہے۔
کاروباری منتقلی کی مضبوط صلاحیت: ایک ہی ماڈل قدرتی زبان کی وضاحت کے ذریعے براؤزر آپریشن، کسٹمر سروس روٹنگ اور قواعد کے جائزے جیسے مختلف کاموں کے مطابق ڈھل سکتا ہے۔

HuggingFace ماڈل ریپوزٹری: https://huggingface.co/apus-ailab/APUS-OpenJev-v1

براؤزر آٹومیشن: ویب صفحے کے DOM، بٹنوں اور ان پٹ فیلڈز کی معلومات کی بنیاد پر کلک، اسکرول یا اگلے صفحے پر جانے جیسے اگلے آپریشنز کا تیزی سے فیصلہ کرتا ہے۔
انٹرپرائز ورک فلو روٹنگ: منظوری، ٹکٹ پراسیسنگ یا فارم کے بہاؤ میں کاروباری قواعد کے مطابق جمع کرانے، واپس بھیجنے یا منتقل کرنے کا راستہ خودکار طور پر منتخب کرتا ہے۔
کسٹمر سروس ٹکٹ کی تقسیم: صارف کے سوال، سابقہ معلومات اور امیدوار شعبہ ہائے کار کو ملا کر موزوں ترین کسٹمر سروس ٹیم یا پراسیسنگ ایکشن کا حقیقی وقت میں فیصلہ کرتا ہے۔
مالیاتی اور تعمیری جائزہ: زیادہ خطرے والے آپریشنز کے لیے effort="high" کے ذریعے گہرا فیصلہ کرتا ہے اور غیر معمولی لین دین، اجازت کے خطرات یا خلاف ورزی پر مبنی ڈیٹا بہاؤ کی شناخت کرتا ہے۔
آن ڈیوائس ذہین معاون: ہلکے ماڈل کو مقامی ڈیوائس یا نجی سرور پر تعینات کرکے بار بار ہونے والے Agent کاموں کے لیے کم تاخیر اور رازداری کا تحفظ کرنے والی فیصلہ سازی فراہم کرتا ہے۔