بني مسارات قرار سريعة ومخصّصة للمهام مع JevHarness

شنو كيدير JevHarness

JevHarness كيساعد واحد الـLLM ديال التأليف باش ينشئ حزام قرار خاص بالمهمة ديال Jev. هاد الحزام كيحوّل الملاحظات المسموح بها لميزات مفيدة، كيبني أسئلة ومعايير منظمة ديال Jev، وكيجمع الأجوبة باش يخرّج إجراءات قانونية للمهمة.

الفكرة المركزية هي تفريق تطوير الاستراتيجية المكلف على التنفيذ الروتيني:

فكّر بعمق أثناء التطوير. جمّد الاستراتيجية. وخلي Jev يدير قرارات سريعة ومرنة.

أثناء التطوير، يقدر واحد الـLLM يراجع كود الحزام، والأسئلة، والرسم البياني، والحالة، والمعايير، والذاكرة. من بعد ما تختار حزام وتجمّدو، قرارات وقت التشغيل كتستعمل داك المنطق الثابت ونداءات Jev ديالو. الـLLM ديال التأليف ما كيبقاش محتاج يفكّر من جديد فكل إجراء.

هاد الشي كيخلي JevHarness مناسب للمهام اللي يقدر فيها الكود يحسب حقائق موثوقة، ولكن كيبقاو بعض القرارات سياقيين أو غامضين. مثلا، يقدر الكود يحدد الإجراءات القانونية ويحسب الميزات الرقمية، بينما Jev كيحكم شنو هو الإجراء المتاح اللي كيلبي معايير المهمة بأحسن شكل.

الهندسة وحدود المسؤولية

JevHarness كيفصل بين محوّل المهمة الموثوق وحزام القرار. هاد الحد كيمنع الحزام من تغيير المكافأة ديالو أو الوصول للحالة المخفية ديال المهمة.

• محوّل المهمة: مسؤول على الملاحظات، والإجراءات القانونية، والآثار الجانبية، والتنقيط.
• الحزام: مسؤول على بناء الميزات، وأحكام Jev، ومنطق القرار.
• البيئة: كتنفذ الإجراءات وكترد بالنتائج أو المكافآت الموثوقة.
• الـLLM ديال التأليف: كينشئ الحزام أو كيراجعو أثناء التطوير والتأمل الاختياري.

كيتم تنفيذ PipelineSpec موثّق عبر PipelineRuntime. منين كيتختار الـpipeline، يقدر يتجمّد مع المواصفات ديالو، وبيئة التشغيل، والمقيّم، وموارد المهمة المصرّح بها.

الميزات الرئيسية

أحكام Jev منظمة

Jev كيدعم أنواع الأجوبة choice وscore وnoul. الطلب يقدر يضم عدة أسئلة مسمّاة، وعُقد الرسم البياني المستقلة تقدر تخدم بالتوازي.

تمثيل صريح للاستراتيجية

الاستراتيجية كتبقى محفوظة فالكود، والميزات المحسوبة، والحالة، والتعليمات، والمعايير، والذاكرة، ومسار التحكم. هاد الشي كيخلي عملية القرار قابلة للفحص وإعادة الاستعمال، عوض ما تبقى مخبّية داخل محادثة التأليف.

آثار تنفيذ كاملة

التأمل يقدر يتوصل بسجلات كاملة للحلقات المختارة، بما فيها الملاحظات، والقرارات، ومدخلات ومخرجات العُقد، وأسئلة وأجوبة Jev، والذاكرة، والإخفاقات. إزالة التكرار بلا فقدان للمعلومات كتقلل التكرار. إلا تجاوز مدخل التأمل الحد المقرر بالبايت، كيتأرشف وكيرفض عوض ما يتقصّ بصمت.

تحسين اختياري مبني على المكافأة

تكامل GEPA الاختياري كيختار الآباء من واجهة أمامية ديال المثيلات، وكيقارن كل أب وكل اقتراح على نفس دفعة التدريب، وكيقيّم الاقتراحات المقبولة على Eval. وكيحفظ النسب الحقيقي، بما فيه الاقتراحات المرفوضة.

مصنوعات مجمّدة قابلة للفحص

التجميد كيحافظ على الحزام المختار والتبعيات المصرّح بها ديالو. الحزام المجمّد اللي فيه عُقد Jev مازال محتاج Jev وقت التشغيل. وخاصك تعرف حتى أن الاسم المستعار ديال نموذج مستضاف ما كيضمنش بقاء سلوك المزوّد المستقبلي بلا تغيير، لذلك فالاستجابات المخزنة والنداءات الجديدة كيعطيو مستويات مختلفة من قابلية إعادة الإنتاج.

المتطلبات الأساسية

اختار المتطلبات اللي كتناسب شنو بغيتي تشغّل:

• الموقع المؤرشف: Node.js ومتصفح حديث. ما كيحتاجش بيانات اعتماد النموذج، ولا محرك ألعاب، ولا بيئة Python معزولة.
• مشروع Python: Python 3.11 أو أحدث.
• عُقد Python الوظيفية: بيئة macOS أصلية مدعومة ومعزولة. إلا ما كانش العزل متاح، التنفيذ كيفشل بطريقة آمنة.
• تعبيرات وتدفقات Jev ديال الإصدار 2: هادو ما كيشغلوش عمال Python الوظيفيين.
• نداءات Jev المباشرة: حساب عند مزوّد مدعوم ومفتاح API الموافق.
• التأليف والتأمل الاختياريان: Proposer مكوّن باستعمال Claude CLI محلي، أو OpenAI، أو Azure، أو نقطة نهاية Anthropic.

تثبيت المهارة فـ Claude Code

أسرع إعداد لـ Claude Code هو تزيد المستودع كسوق إضافات، وتثبّت الإضافة، وتعاود تحميل الإضافات.

/plugin marketplace add https://github.com/TianyuCodings/JevHarness.git
/plugin install jev-harness@jevharness
/reload-plugins

تثبيت الإضافة كيحمّل المهارة والمراجع ديالها، ولكن ما كيثبّتش تبعيات Python وما كيضبطش بيانات اعتماد النماذج. إلا كان المستودع خاص، خاص مصادقة GitHub تكون خدامة من قبل، والحساب ديالك يكون عندو صلاحية القراءة.

تثبيت المهارة فـ Codex

فـ Codex اللي كيوفّر skill-installer مدمج، طلب التثبيت مباشرة من المستودع:

$skill-installer Install the jev-harness skill from https://github.com/TianyuCodings/JevHarness/tree/main/skills/jev-harness

استعمل المهارة فالدور الموالي. إلا ما تعرّفش عليها Codex مباشرة، عاود شغّل الجلسة.

التثبيت اليدوي

تقدر تثبّت المهارة يدويا لـ Claude Code، أو Codex، أو بجوج. بدّل /path/to/your-project بمجلد مشروع موجود.

git clone https://github.com/TianyuCodings/JevHarness.git
cd JevHarness
python3 scripts/install-skill.py --target both --scope project --project /path/to/your-project

هاد الشي كينشئ تثبيتات على مستوى المشروع فـ .agents/skills/jev-harness/ لـ Codex و.claude/skills/jev-harness/ لـ Claude Code. استعمل --target codex أو --target claude إلا بغيتي تثبّت غير واحد فيهم.

باش تثبّت المهارة على مستوى المستخدم وتكون متاحة فالمشاريع كاملين، نفّذ:

python3 scripts/install-skill.py --target both --scope user

بلايص التثبيت الشخصية هما ~/.agents/skills/jev-harness/ و ~/.claude/skills/jev-harness/. المُثبّت ما كيقبلش يبدّل تثبيت موجود ومختلف. عاود شغّل جلسة العامل إلا ما تكتاشفاش المهارة.

كتاشف مثال Pokémon المؤرشف

مثال Pokémon المرفق فيه تشغيل مؤرشف، وـharness مختار، وشجرة تطوّر قابلة للتصفح، وسجلات كاملة ديال القرارات، واقتراحات مرفوضة، وملخّصات ديال الإعادة متزامنة مع أجوبة Jev. تصفّح هاد الأرشيف ما كيدير حتى طلب للنموذج وما كيبدا حتى لعبة.

1. نسخ المستودع.
2. بني الموقع.
3. شغّل خادم المعاينة المحلي.
4. حلّ الموقع فمتصفح حديث.

git clone https://github.com/TianyuCodings/JevHarness.git
cd JevHarness
node website/build.mjs
node website/preview.mjs --port 8768

حلّ localhost:8768. حركات المعركة كتهبط الموارد من مُصيّر Pokémon Showdown الرسمي. سجل المعركة المؤرشف كيبقى فالمتصفح وما كيتحمّلش لخادم الإعادات.

النتيجة المبلّغ عليها ديال Pokémon حسّنت نسبة الربح فـEval من 25 فالمية، يعني 3 من أصل 12 لعبة، لـ75 فالمية، يعني 9 من أصل 12 لعبة، من بعد خمس جولات ديال التأمل. البحث احتافظ بالمرشّح ديال الجولة الثالثة باعتباره أحسن harness. هاد القياس تدار على مجموعة Eval ديال الاختيار، وما خاصوش يتعتبر تقدير مستقل للأداء فالألعاب اللي ما تشافاتش.

فهم قرار أساسي

الـharness كيكتب طلب خاص بالمهمة لـJev فيه state، وquestions مسمّاة، وtype ديال الجواب، وinstructions وcriteria اللي كيتستعملو للحكم على الأفعال المتاحة.

فمثال Pokémon المسجّل، الـharness كيحسب بلي Slowbro غالباً غادي يخسر سباق الضرر ضد Gastrodon. كيعرض أربعة اختيارات قانونية، فيهم ثلاثة ديال الحركات والتبديل لـScizor. سؤال الفعل كيستعمل النوع choice وكيطلب من Jev يرجّع بالضبط معرّف فعل واحد من اللائحة.

{
  "questions": {
    "action": {
      "type": "choice",
      "instructions": "اختار الفعل الوحيد اللي عندو أكبر احتمال يربح المعركة كاملة، ماشي غير هاد الجولة.",
      "criteria": {
        "switch:2": "بدّل لـScizor؛ التبديل كيخلّي الخصم يدير هجمة مجانية وحدة",
        "move:2": "Psychic؛ تقريباً 3 ضربات باش يطيح الهدف",
        "move:3": "Ice Beam؛ تقريباً 4 ضربات باش يطيح الهدف",
        "move:4": "Slack Off؛ الضرر المتوقع اللي جاي كيتجاوز نقاط الحياة الحالية"
      }
    }
  }
}

Jev اختار switch:2 باحتمال اختيار الفعل 0.72، والـharness قبل هاد الاختيار. هاد القيمة كتقارن بين الأفعال المدرجة؛ وماشي توقّع بلي اللاعب عندو احتمال 72 فالمية يربح المعركة.

الطلب الكامل المسجّل، والجواب، والتوقيت، ومصدر المعلومات متوفرين فـسجل JSON ديال الجولة 12 ديال Pokémon.

بني الـHarness ديالك

ما محتاجش تكتب بيدك جميع تعليمات Jev والمعايير. عيّط للمهارة المثبّتة ووصف المهمة، وخلي العامل البرمجي يجمع تفاصيل العقد المطلوبة.

استدعاء إضافة Claude Code

/jev-harness:jev-harness بني harness كيوجّه تذاكر الدعم للفريق المناسب.
فالأول وضّح المدخلات ديالي، والأفعال القانونية، والأمثلة، ومعايير النجاح، والميزانية.
إلا كانت عندنا مكافآت موثوقة، زيد التقييم وتحسين التأمل.

استدعاء Claude Code المستقل

/jev-harness بني harness كيوجّه تذاكر الدعم للفريق المناسب.
فالأول وضّح المدخلات ديالي، والأفعال القانونية، والأمثلة، ومعايير النجاح، والميزانية.
إلا كانت عندنا مكافآت موثوقة، زيد التقييم وتحسين التأمل.

استدعاء Codex

$jev-harness بني harness كيوجّه تذاكر الدعم للفريق المناسب.
فالأول وضّح المدخلات ديالي، والأفعال القانونية، والأمثلة، ومعايير النجاح، والميزانية.
إلا كانت عندنا مكافآت موثوقة، زيد التقييم وتحسين التأمل.

المهارة خاصها فالأول توضّح المهمة، وماشي تولّد pipeline مباشرة. توقّع أنها تجمع معلومات على:

• الملاحظات المسموح بها على المهمة وحدود الحالة المخفية.
• الأفعال القانونية وكيفاش كيتتحقّق من صحتها.
• الأمثلة التمثيلية والبيانات المتاحة.
• معايير النجاح، والمكافآت، أو طرق التقييم.
• متطلبات التشغيل والعزل.
• بيانات الدخول وتوفّر المزوّد.
• ميزانية التجارب وموارد التحسين.

منين كيولي العقد واضح، العامل يقدر يبني الـharness ويتحقّق منو. إلا كانت كاينة ملاحظات موثوقة وطلبتي التحسين، يقدر يستعمل المسارات والمكافآت فالتأمل قبل ما يثبّت النتيجة المختارة.

ضبط بيانات دخول Jev

JevHarness كيدعم جوج إعدادات موثّقة لنقل Jev:

• Vercel AI Gateway: أنشئ JevClient(transport="vercel") وضبط AI_GATEWAY_API_KEY.
• TypeSafe مباشرة: أنشئ JevClient(transport="typesafe") وضبط TYPESAFE_API_KEY.

محوّلات المزوّدين ما كتضمنش أن كل نموذج أو نقطة نهاية متاحة للحساب ديالك. خزّن بيانات الدخول فمتغيّرات البيئة أو فملف محلي .env متجاهَل. عمرّك تحط بيانات الدخول فملاحظات المهمة، أو التتبّعات، أو الآثار المجمّدة.

قيّم الـHarness وحسّنو

التأمل اختياري. استعملو غير إلا كانت عندك طريقة موثوقة للمكافأة أو التقييم. واحد المسار العملي هو:

1. حدّد حدود المهمة. خلّي الحالة الخفية، والتنقيط، والتحقّق من الأفعال القانونية، والتأثيرات الجانبية داخل المهايئ الموثوق.
2. صايب حزام اختبار أساسي. حسب الخصائص الموثوقة فالكود، وخلي Jev للأحكام اللي كتحتاج فهم السياق.
3. تحقّق من المسار. تأكّد بلي PipelineSpec ووقت التشغيل كيوفّيو بعقد المهمة.
4. جمع التتبعات كاملة. حافظ على الملاحظات، ومدخلات العقد، والمخرجات، والأسئلة، والأجوبة، والذاكرة، والإخفاقات، والمكافآت.
5. اقترح المراجعات. خلّي نموذج اللغة ديال التأليف يفحص الأدلة ويراجع الكود، أو التعليمات، أو بنية الرسم البياني، أو الذاكرة.
6. قارن بطريقة عادلة. قارن بين الأصل والاقتراح على نفس دفعة التدريب.
7. قيّم الاقتراحات المقبولة. دير تقييم Eval كامل، واحتافظ بأصل المرشح الحقيقي، بما فيه الاقتراحات المرفوضة.
8. جمّد حزام الاختبار المختار. اربط المواصفة الرابحة بوقت التشغيل ديالها، والمقيّم ديالها، وموارد المهمة المصرّح بها.

خلّي أدلة التدريب ونتائج اختيار Eval مفصولين بوضوح. إلا تستعمل Eval باش تختار مرشح، قدّمو على أنه أداء ديال الاختيار، ماشي كتقدير غير متحيّز لأداء المهمة غير المرئية.

الزمن والتزامن

فجولة Eval المؤرشفة ديال Pokémon، حزام الاختبار المختار كمّل قرار كامل فمدة وسيطية قدرها 568 ميلي ثانية. طلبات Jev الفردية كانات عندها مدة وسيطية قدرها 269 ميلي ثانية. حزام الاختبار الأولي كانت عندو مدة وسيطية للقرار الكامل قدرها 678 ميلي ثانية.

• القرار الكامل ديال حزام الاختبار الأولي: وسيط 678 ms، وP95 قدره 1,495 ms، و238 قرار.
• القرار الكامل ديال حزام الاختبار المختار: وسيط 568 ms، وP95 قدره 657 ms، و113 قرار.
• طلب Jev الفردي فحزام الاختبار المختار: وسيط 269 ms، وP95 قدره 348 ms، و226 طلب.

المدة ديال القرار الكامل كتشمل حساب الخصائص، وطلبات Jev المتوازية، والاختيار النهائي للفعل. مدة الطلب الفردي كتشمل مصاريف العميل والشبكة. مدد الطلبات المتوازية كتتداخل، لذلك ما خاصكش تجمعها. محاكاة المعركة ووقت التأليف أو التأمل خارجين من هاد قياسات القرار.

هاد الملاحظات المؤرشفة ما حسباتش الاستجابات اللي تلقات فالكاش المحلي، ولكن ما كاناتش معياراً مضبوطاً مقابل نموذج لغة كيدير كل قرار فزمن التشغيل.

نصائح متقدمة

حسب الحقائق قبل ما تطلب الحكم

استعمل كود أو تعبيرات حتمية للحقائق بحال الأفعال القانونية، والتقديرات الرقمية، والعتبات، والحالة المشتقة. عطِ Jev حالة مركّزة ومعايير واضحة للاختيار الضبابي اللي باقي.

خلّي معايير الفعل ملموسة

وصف كل فعل متاح باستعمال الأدلة المرتبطة بالمهمة. فحزام Pokémon، المعايير كتشمل الصحة المتبقية، وتقديرات الضرر، والسرعة، وعدد الأدوار اللازمة للإقصاء، وكلفة التنازل عن هجوم مجاني ملي كتبدّل.

استعمل العقد المتوازية ملي يكون الاستقلال حقيقي

العقد المستقلة فالرسم البياني تقدر تخدم بالتوازي، وعدة أسئلة تقدر تشارك نفس الطلب. نظّم الرسم البياني باش تستافد من هاد الشي بلا ما تدخل تبعيات ما كتحتاجهاش المهمة.

فسّر الاحتمالات بالشكل الصحيح

احتمال الاختيار كيرتّب الخيارات اللي تعطات فإطار الطلب. ما تعاودش تفسّرو على أنه احتمال مضبوط لنجاح المهمة كاملة، إلا إلا المقيّم ديالك أثبت هاد المعنى بشكل مستقل.

حافظ على الإخفاقات كاملة

الإخفاقات تقدر تكشف افتراضات غير صحيحة، وملاحظات ناقصة، ومعايير هشة. خليهوم فالتتبعات حدّ القرارات الناجحة باش يوصل التأمل للدليل كامل.

تجنّب الاقتطاع الصامت

ضبط حدّ واقعي للبايتات ديال التأمل. JevHarness كيأرشف وكيترفض مدخلات التأمل اللي كبيرة بزاف عوض ما يقتطعها، وهاد الشي كيحمي سلامة الأدلة ولكن كيتطلب منك تخطّط لحجم التجارب بشكل مناسب.

فرّق بين المنطق المجمّد وسلوك المزوّد المجمّد

تجميد حزام الاختبار كيثبّت المسار المختار والموارد المصرّح بها، ولكن اسم مستعار لنموذج مستضاف يقدر يتبدّل مع الوقت. احتافظ بالاستجابات المسجّلة ملي كتكون المراجعة التاريخية الدقيقة مهمة، واعتبر استدعاءات المزوّد الجديدة شرطاً مختلفاً لإعادة الإنتاج.

استعمل خريطة المستودع

• auto_jev/ فيها التحقّق من المواصفات، ووقت التشغيل المتوازي، ووسائل نقل Jev، والتأمل، وGEPA، والتخزين، والتجميد.
• examples/pokemon/ فيها مهايئ المعركة الموثوق، وجسر المحرك المحلي المبدوء ببذرة، وأحزمة الاختبار، وكود العرض.
• examples/pokemon/sample/ فيها حزام الاختبار المختار وأرشيف الموقع المنسّق.
• docs/ فيها مواد تأليف المهام، ومكالمة Jev مسجّلة، وفيديوهات، ولقطات شاشة.
• skills/jev-harness/ فيها تعليمات لوكلاء البرمجة اللي كيألفو أحزمة اختبار خاصة بالمهام.
• website/ فيها العرض التوضيحي للقراءة فقط ومهايئ النشر.

الخلاصة

JevHarness كيحوّل استراتيجية طوّرها نموذج لغة لمنطق واضح وقابل للفحص فزمن التشغيل. بدا بتحديد حدود صارمة للمهمة، وخلي المهارة تبني مسار وتتحقّق منو، واستعمل التتبعات الكاملة والمكافآت الموثوقة إلا بغيتي تحسين مبني على التأمل. منين كيتختار مرشح، جمّدو باش القرارات العادية تقدر تستعمل الكود ديالو وأحكام Jev المركّزة بلا ما تستدعي نموذج اللغة ديال التأليف مع كل فعل.