APUS-OpenJev-v1 خدام

APUS-OpenJev-v1 هو سلسلة ديال موديلات كبار مفتوحة المصدر لاتخاذ القرار على الأجهزة، من تطوير APUS AI Lab، وكتشبه لـ Jev المغلق المصدر ديال TypeSafe AI. كتوفر أوزان 4B و9B و35B-A3B، وكتقدر تختار بسرعة العملية الموالية فمهام بحال أتمتة المتصفحات، تعمير الفورموليرات وتوجيه المسارات. النموذج جاب لأول مرة عمق حسابي ديناميكي باستعمال effort="low/high": فـ low كيخدم غير بـ 16 طبقة وكيجمعها مع إسقاط واعي بالمرشحين، وهادشي كيعطي سرعة أكبر وكلفة أقل؛ أما high كيستعمل العمق الكامل وكيعطي دقة أعلى.

اتخاذ القرار بين العمليات المرشحة: كيعطي العملية التجارية الموالية انطلاقا من المهمة، وسياق الصفحة، ووصف العمليات المرشحة.
أتمتة المتصفحات: كيتعرف على معلومات DOM بحال الأزرار، وخانات الإدخال، وعناصر التنقل، وكيعاون Agent يكمل العمليات فالويب.
توجيه قواعد العمل: مناسب لتوزيع تذاكر خدمة الزبناء، والمصادقة على المسارات، وإرسال الفورموليرات، وغيرها من سيناريوهات القرار التجاري.
التحكم فالحساب الديناميكي: كيبدل بين الإنتاجية العالية والجودة العالية باستعمال effort="low/high".
توليد نصوص الفورموليرات: زيادة على القرارات اللي بحال الاختيارات، كيقدر يولد كلمات البحث، والنصوص اللي خاصها تدخل، ومحتويات مفتوحة أخرى.
نشر محلي فجزء من الألف من الثانية: كيدعم GPU ببطاقة وحدة والنشر كخدمة عبر vLLM، وكيقلل التأخير وكلفة الاستدعاءات ديال API السحابية.
اختيار بين مواصفات متعددة: كيوفر نسخ 4B و9B و35B-A3B، موجهة على التوالي للأجهزة الخفيفة، والاستعمال العام فالإنتاج، والاحتياجات عالية الأداء.

تابع WeChat ورد بـ “开源” باش تنضم لمجموعة مشاريع الذكاء الاصطناعي مفتوحة المصدر
واجهة قرار أصلية باللغة: النموذج كيدخل هدف المهمة، والسياق، ووصف العمليات المرشحة كاملين كلغة طبيعية، وكيعطي للعمليات المرشحة Tokens مختصرة بحال A وB وC. وقت الاستدلال، النموذج كيحسب غير احتمالات هاد الـ Tokens القانونية، ومن بعد البرنامج المضيف كيرجعها للعمليات التجارية المحددة.
العمق الحسابي الديناميكي effort="low/high": نفس أوزان النموذج فيها جوج مخارج لاتخاذ القرار: effort="low" كيشغل غير أول 16 طبقة Transformer، ومعاها إسقاط للإخراج واعي بالمرشحين، باش يكمل العمليات العادية المتكررة بقدرة حسابية أقل؛ effort="high" كينفذ الاستدلال الكامل ديال 32 طبقة، وكيصلح للعمليات عالية المخاطر بحال الأداء وتأكيد الصلاحيات. بهاد الطريقة نظام Agent كيقدر يوزع موارد الحساب ديناميكيا حسب أهمية العملية ودرجة الثقة فيها.
التدريب اللاحق المشترك عبر الأعماق والتقطير الذاتي: باش يبقى المخرج السطحي قادر على اتخاذ قرارات موثوقة حتى من بعد ما تنقص كمية الحساب للنصف، النموذج كيدير الإشراف بالوسوم الحقيقية للمسارين السطحي والعميق بجوج، وكيستعمل فالنفس الوقت توزيع الاحتمالات ديال الإخراج العميق كـ “وسوم لينة”، وكيقطرها للمسار السطحي باستعمال تباعد KL. وباش ما تجرش القدرة المحدودة ديال المسار السطحي النموذج العميق للور، التدريب كيدير كذلك قطع التدرج على الإخراج العميق، باش يقدر يحسن راسو ويبقى فالنفس الوقت معلما للمسار السطحي.
إسقاط إخراج واعي بالمرشحين: النماذج الكبيرة التقليدية خاصها تدوز على معجم فيه تقريبا 24.8万 Token مع كل Token جديد. أما القرار المهيكل فعادة فيه غير بضع عمليات مرشحة. من خلال استخراج صفوف أوزان الإخراج الموافقة للـ Tokens المرشحة مباشرة، الحساب المصفوفي كينقص من المعجم كامل لـ K مرشحين. وبهذا كيبقى منطق احتمالات المرشحين مكافئا، مع تخفيض كبير فحساب رأس الإخراج وكلفة الولوج لذاكرة GPU.

وجد البيئة: ثبت PyTorch اللي كيدعم CUDA، وTransformers وhuggingface_hub، وتأكد بلي الجهاز المحلي ولا الخادم فيه VRAM كافية ديال GPU.
نزّل النموذج: نفذ hf download apus-ailab/APUS-OpenJev-v1 --include "9B-3000/*" --local-dir ./APUS-OpenJev-v1 باش تنزل مجلد النموذج المطلوب.
دخل لمجلد النموذج: مشي للمجلد الفرعي ديال النموذج اللي تنزل، ومن تما تقدر تستعمل مباشرة مكون الاستدلال openjet_runtime اللي جاي معاه.
حمّل النموذج: استعمل OpenJet.from_pretrained(".", device="cuda:0") باش تحمل النموذج فبطاقة الرسوميات المحددة.
بني طلب القرار: دخل هدف المهمة، والسياق الحالي، والعمليات المرشحة فالثلاثة ديال الحقول instructions وstate وcandidates.
نفذ قرار سريع: عيط لـ model.decide(request_data, effort="low") باش تحصل على عمليات عادية ومتكررة بكلفة حسابية أقل.
نفذ قرار عميق: عيط لـ model.decide(request_data, effort="high") باش تحصل على نتيجة الاستدلال الكامل المناسبة للعمليات المهمة بحال الأداء والإرسال.
ولد نصوص سير العمل: فالحالات اللي خاص فيها تعمير كلمات البحث ولا محتوى الفورمولير، عيط لـ model.generate_text() باش يولد النص المطلوب.
نشر خدمة الإنتاج: شغل python deployment/serve_vllm.py --port 8000 باش تبدا واجهة متوافقة مع OpenAI باستعمال vLLM.

دقة عالية فالقرار: فالمعيار الرسمي المجمد اللي فيه 80 سؤال، نسخة 9B وصلات لـ 85%، أكثر من API التجاري ديال Jev اللي وصل لـ 82.5%.
استجابة سريعة بزاف: فمسار النشر المحلي المحدد عبر vLLM، وصل تأخير P50 ديال 9B غير لـ 25.58ms، و4B غير لـ 18ms.
الموارد الحسابية قابلة للتعديل ديناميكيا: النموذج هو الأول اللي قدم وضع effort="low/high"، وكيخليك تبدل بحرية بين السرعة والدقة حسب خطورة العملية.
كلفة أقل فالعمليات المتكررة: effort="low" كيشغل غير 16 طبقة، وكيستعمل إسقاط إخراج واعي بالمرشحين، وكيصلح لقرارات متكررة بحال التمرير والنقر على التالي.
موثوقية أكبر فالعمليات المهمة: effort="high" كينفذ العمق الكامل للشبكة، وكيصلح لسيناريوهات عالية المخاطر بحال تأكيد الأداء والمصادقة على الصلاحيات.
تجنب أخطاء تنسيق الإخراج: كيعتمد واجهة قرار أصلية باللغة، وكيحصر الإخراج فمجموعة محددة مسبقا ديال المرشحين، وكيحيد هلوسة تنسيق JSON.
قدرة قوية على التكيف مع الأعمال: نفس النموذج يقدر يتكيف مع مهام مختلفة بحال عمليات المتصفح، وتوزيع طلبات الزبناء، ومراجعة القواعد، غير بوصفها باللغة الطبيعية.

مستودع النموذج فـ HuggingFace: https://huggingface.co/apus-ailab/APUS-OpenJev-v1

أتمتة المتصفحات: اعتمادا على معلومات DOM ديال الصفحة، والأزرار، وخانات الإدخال، كيقرر بسرعة العملية الموالية بحال النقر، والتمرير، ولا الانتقال.
توجيه المسارات داخل الشركات: فالمصادقة، ومعالجة التذاكر، ولا تداول الفورموليرات، كيختار أوتوماتيكيا مسار المعالجة بحال الإرسال، والإرجاع، ولا التحويل، حسب قواعد العمل.
توزيع تذاكر خدمة الزبناء: كيجمع بين سؤال المستخدم، والمعلومات السابقة، والأقسام المرشحة للمعالجة، وكيحدد فالحين فريق خدمة الزبناء ولا العملية الأنسب.
المراجعة المالية والامتثال: فالعمليات عالية المخاطر كيستعمل effort="high" لاتخاذ قرار عميق، وكيحدد المعاملات غير العادية، ومخاطر الصلاحيات، ولا مسارات البيانات المخالفة.
مساعد ذكي على الجهاز: كينشر النموذج الخفيف فالأجهزة المحلية ولا فخوادم خاصة، وكيعطي لمهام Agent المتكررة قدرة على اتخاذ القرار بتأخير منخفض مع حماية الخصوصية.