JevHarness দিয়ে দ্রুত, কাজ-নির্দিষ্ট সিদ্ধান্তের পাইপলাইন তৈরি করুন

JevHarness কী করে

JevHarness একটি লেখক LLM-কে Jev-এর জন্য নির্দিষ্ট কাজভিত্তিক সিদ্ধান্ত হর্নেস তৈরি করতে সহায়তা করে। হর্নেসটি অনুমোদিত পর্যবেক্ষণকে কার্যকর বৈশিষ্ট্যে রূপান্তর করে, কাঠামোবদ্ধ Jev প্রশ্ন ও মানদণ্ড তৈরি করে এবং উত্তরগুলো একত্র করে বৈধ কাজের পদক্ষেপে রূপ দেয়।

মূল ধারণাটি হলো ব্যয়বহুল কৌশল উন্নয়নকে নিয়মিত সম্পাদন থেকে আলাদা করা:

উন্নয়নের সময় গভীরভাবে যুক্তি প্রয়োগ করুন। কৌশলটি স্থির করুন। Jev-কে দ্রুত, অস্পষ্টতার প্রতি সহনশীল সিদ্ধান্ত নিতে দিন।

উন্নয়নের সময় একটি LLM হর্নেসের কোড, প্রশ্ন, গ্রাফ, অবস্থা, মানদণ্ড এবং মেমরি সংশোধন করতে পারে। একটি হর্নেস নির্বাচন ও স্থির করার পর, রানটাইমের সিদ্ধান্তগুলো সেই নির্দিষ্ট যুক্তি এবং তার Jev কল ব্যবহার করে। লেখক LLM-কে প্রতিটি কাজের জন্য আবার যুক্তি প্রয়োগ করতে হয় না।

এটি JevHarness-কে এমন কাজের জন্য উপযোগী করে, যেখানে কোড নির্ভরযোগ্য তথ্য গণনা করতে পারে, কিন্তু কিছু সিদ্ধান্ত প্রাসঙ্গিকতা বা অস্পষ্টতার ওপর নির্ভরশীল থাকে। উদাহরণস্বরূপ, কোড বৈধ কাজের পদক্ষেপ নির্ধারণ এবং সংখ্যাগত বৈশিষ্ট্য গণনা করতে পারে, আর Jev বিচার করতে পারে কোন উপলভ্য পদক্ষেপটি কাজভিত্তিক মানদণ্ড সবচেয়ে ভালোভাবে পূরণ করে।

আর্কিটেকচার ও দায়িত্বের সীমা

JevHarness বিশ্বস্ত টাস্ক অ্যাডাপ্টারকে সিদ্ধান্ত হর্নেস থেকে আলাদা রাখে। এই সীমা হর্নেসকে নিজের পুরস্কার পরিবর্তন করা বা গোপন টাস্ক অবস্থা অ্যাক্সেস করা থেকে বিরত রাখে।

• টাস্ক অ্যাডাপ্টার: পর্যবেক্ষণ, বৈধ কাজের পদক্ষেপ, পার্শ্বপ্রতিক্রিয়া এবং স্কোরিং পরিচালনা করে।
• হর্নেস: বৈশিষ্ট্য তৈরি, Jev বিচার এবং সিদ্ধান্তের যুক্তি পরিচালনা করে।
• পরিবেশ: কাজের পদক্ষেপ সম্পাদন করে এবং বিশ্বস্ত ফলাফল বা পুরস্কার ফেরত দেয়।
• লেখক LLM: উন্নয়ন ও ঐচ্ছিক প্রতিফলনের সময় হর্নেস তৈরি বা সংশোধন করে।

একটি যাচাইকৃত PipelineSpec PipelineRuntime-এর মাধ্যমে সম্পাদিত হয়। নির্বাচিত হওয়ার পর, পাইপলাইনটি তার স্পেসিফিকেশন, রানটাইম, ইভ্যালুয়েটর এবং ঘোষিত টাস্ক রিসোর্সসহ স্থির করা যায়।

মূল বৈশিষ্ট্য

কাঠামোবদ্ধ Jev বিচার

Jev choice, score এবং noul উত্তরধরন সমর্থন করে। একটি অনুরোধে একাধিক নামযুক্ত প্রশ্ন থাকতে পারে, এবং স্বাধীন গ্রাফ নোডগুলো একসঙ্গে চলতে পারে।

স্পষ্ট কৌশল উপস্থাপন

কৌশলটি কোড, গণনাকৃত বৈশিষ্ট্য, অবস্থা, নির্দেশনা, মানদণ্ড, মেমরি এবং নিয়ন্ত্রণ প্রবাহে সংরক্ষিত থাকে। এর ফলে সিদ্ধান্ত প্রক্রিয়া লেখক-সংলাপের মধ্যে আবদ্ধ না থেকে পরিদর্শনযোগ্য ও পুনর্ব্যবহারযোগ্য হয়।

সম্পূর্ণ সম্পাদন ট্রেস

প্রতিফলন নির্বাচিত পর্বগুলোর সম্পূর্ণ রেকর্ড পেতে পারে, যার মধ্যে রয়েছে পর্যবেক্ষণ, সিদ্ধান্ত, নোডের ইনপুট ও আউটপুট, Jev প্রশ্ন ও উত্তর, মেমরি এবং ব্যর্থতা। তথ্যহীন ডিডুপ্লিকেশন পুনরাবৃত্তি কমায়। প্রতিফলনের ইনপুট নির্ধারিত বাইট সীমা অতিক্রম করলে তা নীরবে ছাঁটাই না করে আর্কাইভ করে প্রত্যাখ্যান করা হয়।

ঐচ্ছিক পুরস্কারভিত্তিক উন্নতি

ঐচ্ছিক GEPA ইন্টিগ্রেশন একটি ইনস্ট্যান্স ফ্রন্টিয়ার থেকে প্যারেন্ট নির্বাচন করে, একই প্রশিক্ষণ ব্যাচে প্রতিটি প্যারেন্ট ও প্রস্তাবের তুলনা করে এবং গৃহীত প্রস্তাবগুলো Eval-এ মূল্যায়ন করে। এটি প্রত্যাখ্যাত প্রস্তাবসহ প্রকৃত বংশপরম্পরা সংরক্ষণ করে।

পরিদর্শনযোগ্য স্থিরকৃত আর্টিফ্যাক্ট

স্থিরকরণ নির্বাচিত হর্নেস এবং তার ঘোষিত নির্ভরতাগুলো সংরক্ষণ করে। Jev নোডসমৃদ্ধ একটি স্থিরকৃত হর্নেসের রানটাইমে এখনও Jev প্রয়োজন। আরও মনে রাখুন, হোস্ট করা মডেল অ্যালিয়াস ভবিষ্যতে প্রদানকারীর আচরণ অপরিবর্তিত থাকবে এমন নিশ্চয়তা দেয় না; তাই সংরক্ষিত প্রতিক্রিয়া এবং নতুন কল পুনরুৎপাদনযোগ্যতার ভিন্ন মাত্রা প্রদান করে।

পূর্বশর্ত

আপনি যা চালাতে চান তার সঙ্গে সামঞ্জস্যপূর্ণ প্রয়োজনীয়তাগুলো বেছে নিন:

• আর্কাইভ করা ওয়েবসাইট: Node.js এবং একটি আধুনিক ব্রাউজার। এর জন্য মডেল ক্রেডেনশিয়াল, গেম ইঞ্জিন বা Python স্যান্ডবক্সের প্রয়োজন নেই।
• Python প্রকল্প: Python 3.11 বা পরবর্তী সংস্করণ।
• কার্যকর Python নোড: একটি সমর্থিত macOS নেটিভ স্যান্ডবক্স। আইসোলেশন উপলভ্য না থাকলে সম্পাদন ব্যর্থ অবস্থায় বন্ধ হয়।
• ভার্সন 2 এক্সপ্রেশন ও Jev ফ্লো: এগুলো কার্যকর Python ওয়ার্কার চালু করে না।
• লাইভ Jev কল: একটি সমর্থিত প্রদানকারী অ্যাকাউন্ট এবং সংশ্লিষ্ট API কী।
• ঐচ্ছিক লেখন ও প্রতিফলন: স্থানীয় Claude CLI, OpenAI, Azure বা Anthropic এন্ডপয়েন্ট ব্যবহার করে কনফিগার করা একটি Proposer।

Claude Code-এ স্কিল ইনস্টল করুন

Claude Code সেটআপের দ্রুততম উপায় হলো রিপোজিটরিটিকে প্লাগইন মার্কেটপ্লেস হিসেবে যোগ করা, প্লাগইন ইনস্টল করা এবং প্লাগইন পুনরায় লোড করা।

/plugin marketplace add https://github.com/TianyuCodings/JevHarness.git
/plugin install jev-harness@jevharness
/reload-plugins

প্লাগইন ইনস্টল করলে স্কিল এবং এর রেফারেন্সগুলো ডাউনলোড হয়, কিন্তু Python নির্ভরতা ইনস্টল বা মডেল ক্রেডেনশিয়াল কনফিগার করা হয় না। রিপোজিটরিটি ব্যক্তিগত হলে GitHub প্রমাণীকরণ আগে থেকেই কাজ করতে হবে এবং আপনার অ্যাকাউন্টে পড়ার অনুমতি থাকতে হবে।

Codex-এ স্কিল ইনস্টল করুন

বিল্ট-ইন skill-installer প্রদান করে এমন Codex হোস্টে, রিপোজিটরি থেকে সরাসরি ইনস্টলেশনের অনুরোধ করুন:

$skill-installer Install the jev-harness skill from https://github.com/TianyuCodings/JevHarness/tree/main/skills/jev-harness

পরবর্তী টার্নে স্কিলটি ব্যবহার করুন। Codex তা সঙ্গে সঙ্গে শনাক্ত না করলে সেশন পুনরায় চালু করুন।

ম্যানুয়াল ইনস্টলেশন

Claude Code, Codex অথবা উভয়ের জন্য ম্যানুয়ালি স্কিল ইনস্টল করতে পারেন। /path/to/your-project-এর পরিবর্তে একটি বিদ্যমান প্রকল্প ডিরেক্টরি ব্যবহার করুন।

git clone https://github.com/TianyuCodings/JevHarness.git
cd JevHarness
python3 scripts/install-skill.py --target both --scope project --project /path/to/your-project

এটি Codex-এর জন্য .agents/skills/jev-harness/ এবং Claude Code-এর জন্য .claude/skills/jev-harness/-এ প্রকল্প-স্তরের ইনস্টলেশন তৈরি করে। শুধু একটি ইনস্টল করতে --target codex বা --target claude ব্যবহার করুন।

প্রকল্পজুড়ে উপলভ্য ব্যবহারকারী-স্তরের ইনস্টলেশনের জন্য চালান:

python3 scripts/install-skill.py --target both --scope user

ব্যক্তিগত ইনস্টলেশনের অবস্থান হলো ~/.agents/skills/jev-harness/ এবং ~/.claude/skills/jev-harness/। ইনস্টলার ভিন্ন কোনো বিদ্যমান ইনস্টলেশন ওভাররাইট করতে অস্বীকৃতি জানায়। স্কিলটি শনাক্ত না হলে এজেন্ট সেশন পুনরায় চালু করুন।

আর্কাইভ করা Pokémon উদাহরণটি দেখুন

অন্তর্ভুক্ত Pokémon উদাহরণে একটি আর্কাইভ করা রান, নির্বাচিত হার্নেস, ব্রাউজ করা যায় এমন বিবর্তন ট্রি, সম্পূর্ণ সিদ্ধান্তের রেকর্ড, প্রত্যাখ্যাত প্রস্তাব এবং Jev-এর উত্তরের সঙ্গে সমন্বিত রিপ্লে হাইলাইট রয়েছে। এই আর্কাইভ ব্রাউজ করলে কোনো মডেল অনুরোধ করা হয় না এবং কোনো গেম শুরু হয় না।

1. রিপোজিটরি ক্লোন করুন।
2. ওয়েবসাইট বিল্ড করুন।
3. স্থানীয় প্রিভিউ সার্ভার চালু করুন।
4. আধুনিক ব্রাউজারে সাইটটি খুলুন।

git clone https://github.com/TianyuCodings/JevHarness.git
cd JevHarness
node website/build.mjs
node website/preview.mjs --port 8768

localhost:8768 খুলুন। যুদ্ধের অ্যানিমেশনগুলো অফিসিয়াল Pokémon Showdown রেন্ডারার থেকে অ্যাসেট ডাউনলোড করে। আর্কাইভ করা যুদ্ধের লগ ব্রাউজারেই থাকে এবং কোনো রিপ্লে সার্ভারে আপলোড করা হয় না।

রিপোর্ট করা Pokémon ফলাফলে পাঁচটি প্রতিফলন রাউন্ডের পর Eval জয়ের হার ২৫ শতাংশ, অর্থাৎ ১২টি গেমের মধ্যে ৩টি, থেকে ৭৫ শতাংশ, অর্থাৎ ১২টির মধ্যে ৯টিতে উন্নীত হয়েছে। অনুসন্ধানে তৃতীয় রাউন্ডের প্রার্থীকে সেরা হার্নেস হিসেবে রাখা হয়েছে। এটি selection Eval সেটে পরিমাপ করা হয়েছে এবং অদেখা গেমে পারফরম্যান্সের স্বাধীন অনুমান হিসেবে বিবেচনা করা উচিত নয়।

একটি মৌলিক সিদ্ধান্ত বুঝুন

একটি হার্নেস এমন একটি কাজ-নির্দিষ্ট Jev অনুরোধ লিখে যাতে state, নামযুক্ত questions, একটি উত্তরের type, এবং উপলভ্য কর্মের মূল্যায়নে ব্যবহৃত instructions ও criteria থাকে।

রেকর্ড করা Pokémon উদাহরণে, হার্নেস হিসাব করে যে Gastrodon-এর বিরুদ্ধে ক্ষতির দৌড়ে Slowbro-র হেরে যাওয়ার সম্ভাবনা বেশি। এটি চারটি বৈধ বিকল্প দেখায়, যার মধ্যে তিনটি চাল এবং Scizor-এ পরিবর্তন অন্তর্ভুক্ত। অ্যাকশন প্রশ্নটি choice ধরনের এবং Jev-কে তালিকাভুক্ত অ্যাকশন আইডিগুলোর মধ্যে ঠিক একটি ফেরত দিতে বলে।

{
  "questions": {
    "action": {
      "type": "choice",
      "instructions": "শুধু এই পালা নয়, পুরো যুদ্ধে জয়ের সম্ভাবনা সবচেয়ে বেশি এমন একক অ্যাকশন বেছে নিন।",
      "criteria": {
        "switch:2": "Scizor-এ পরিবর্তন; পরিবর্তন করলে একটি বিনামূল্যের আক্রমণ মেনে নিতে হবে",
        "move:2": "Psychic; লক্ষ্যকে নকআউট করতে আনুমানিক ৩টি হিট প্রয়োজন",
        "move:3": "Ice Beam; লক্ষ্যকে নকআউট করতে আনুমানিক ৪টি হিট প্রয়োজন",
        "move:4": "Slack Off; অনুমান করা আগত ক্ষতি বর্তমান HP-এর চেয়ে বেশি"
      }
    }
  }
}

Jev switch:2 নির্বাচন করে, যেখানে অ্যাকশন বাছাইয়ের সম্ভাবনা 0.72, এবং হার্নেস সেই পছন্দ গ্রহণ করে। এই মানটি তালিকাভুক্ত অ্যাকশনগুলোর তুলনা করে; এর অর্থ এই নয় যে খেলোয়াড়ের যুদ্ধে জয়ের সম্ভাবনা ৭২ শতাংশ।

সম্পূর্ণ রেকর্ড করা অনুরোধ, উত্তর, সময় এবং উৎস-সংক্রান্ত তথ্য Pokémon turn-12 JSON রেকর্ডে পাওয়া যাবে।

নিজের হার্নেস তৈরি করুন

সব Jev নির্দেশনা ও মানদণ্ড নিজে লিখতে হবে না। ইনস্টল করা স্কিলটি চালু করে কাজটি বর্ণনা করুন, তারপর প্রয়োজনীয় চুক্তির বিবরণ কোডিং এজেন্টকে সংগ্রহ করতে দিন।

Claude Code প্লাগইন চালু করা

/jev-harness:jev-harness এমন একটি হার্নেস তৈরি করুন যা সাপোর্ট টিকিটগুলো সঠিক দলে পাঠায়।
প্রথমে আমার ইনপুট, বৈধ অ্যাকশন, উদাহরণ, সাফল্যের মানদণ্ড এবং বাজেট স্পষ্ট করুন।
নির্ভরযোগ্য পুরস্কার থাকলে মূল্যায়ন ও প্রতিফলনভিত্তিক অপ্টিমাইজেশন যোগ করুন।

স্বতন্ত্র Claude Code চালু করা

/jev-harness এমন একটি হার্নেস তৈরি করুন যা সাপোর্ট টিকিটগুলো সঠিক দলে পাঠায়।
প্রথমে আমার ইনপুট, বৈধ অ্যাকশন, উদাহরণ, সাফল্যের মানদণ্ড এবং বাজেট স্পষ্ট করুন।
নির্ভরযোগ্য পুরস্কার থাকলে মূল্যায়ন ও প্রতিফলনভিত্তিক অপ্টিমাইজেশন যোগ করুন।

Codex চালু করা

$jev-harness এমন একটি হার্নেস তৈরি করুন যা সাপোর্ট টিকিটগুলো সঠিক দলে পাঠায়।
প্রথমে আমার ইনপুট, বৈধ অ্যাকশন, উদাহরণ, সাফল্যের মানদণ্ড এবং বাজেট স্পষ্ট করুন।
নির্ভরযোগ্য পুরস্কার থাকলে মূল্যায়ন ও প্রতিফলনভিত্তিক অপ্টিমাইজেশন যোগ করুন।

স্কিলটির প্রথমে পাইপলাইন তৈরি না করে কাজটি স্পষ্ট করা উচিত। এটি যে তথ্যগুলো সংগ্রহ করবে বলে আশা করা যায়:

• অনুমোদিত কাজের পর্যবেক্ষণ এবং গোপন অবস্থার সীমারেখা।
• বৈধ অ্যাকশন এবং অ্যাকশন যাচাইয়ের পদ্ধতি।
• প্রতিনিধিত্বশীল উদাহরণ এবং উপলভ্য ডেটা।
• সাফল্যের মানদণ্ড, পুরস্কার বা মূল্যায়ন পদ্ধতি।
• রানটাইম ও আইসোলেশনের প্রয়োজনীয়তা।
• ক্রেডেনশিয়াল এবং প্রদানকারীর প্রাপ্যতা।
• পরীক্ষার বাজেট ও অপ্টিমাইজেশনের রিসোর্স।

চুক্তির বিষয়টি পরিষ্কার হলে এজেন্ট হার্নেস তৈরি ও যাচাই করতে পারে। নির্ভরযোগ্য প্রতিক্রিয়া থাকলে এবং আপনি অপ্টিমাইজেশন চাইলে, নির্বাচিত ফলাফল স্থির করার আগে এটি প্রতিফলনের জন্য ট্রাজেক্টরি ও পুরস্কার ব্যবহার করতে পারে।

Jev ক্রেডেনশিয়াল কনফিগার করুন

JevHarness নথিভুক্ত Jev পরিবহনের দুটি কনফিগারেশন সমর্থন করে:

• Vercel AI Gateway: JevClient(transport="vercel") তৈরি করুন এবং AI_GATEWAY_API_KEY সেট করুন।
• সরাসরি TypeSafe: JevClient(transport="typesafe") তৈরি করুন এবং TYPESAFE_API_KEY সেট করুন।

প্রোভাইডার অ্যাডাপ্টার আপনার অ্যাকাউন্টে প্রতিটি মডেল বা এন্ডপয়েন্ট উপলভ্য থাকার নিশ্চয়তা দেয় না। ক্রেডেনশিয়াল পরিবেশ ভেরিয়েবল বা উপেক্ষিত স্থানীয় .env ফাইলে রাখুন। কখনোই কাজের পর্যবেক্ষণ, ট্রেস বা স্থির করা আর্টিফ্যাক্টে ক্রেডেনশিয়াল রাখবেন না।

হার্নেস মূল্যায়ন ও উন্নত করুন

প্রতিফলন ঐচ্ছিক। এটি কেবল তখনই ব্যবহার করুন যখন আপনার কাছে বিশ্বস্ত পুরস্কার বা মূল্যায়ন পদ্ধতি থাকে। একটি ব্যবহারিক কর্মপ্রবাহ হলো:

1. কাজের সীমানা নির্ধারণ করুন। গোপন অবস্থা, স্কোরিং, বৈধ অ্যাকশন যাচাই এবং পার্শ্বপ্রতিক্রিয়াগুলো বিশ্বস্ত অ্যাডাপ্টারে রাখুন।
2. একটি বেসলাইন হারনেস তৈরি করুন। কোডে নির্ভরযোগ্য বৈশিষ্ট্য গণনা করুন এবং প্রেক্ষিত-নির্ভর সিদ্ধান্তের জন্য Jev সংরক্ষণ করুন।
3. পাইপলাইন যাচাই করুন। নিশ্চিত করুন যে PipelineSpec এবং রানটাইম কাজের চুক্তি পূরণ করে।
4. সম্পূর্ণ ট্রেস সংগ্রহ করুন। পর্যবেক্ষণ, নোডের ইনপুট, আউটপুট, প্রশ্ন, উত্তর, মেমরি, ব্যর্থতা এবং পুরস্কার সংরক্ষণ করুন।
5. সংশোধনের প্রস্তাব দিন। লেখক LLM-কে প্রমাণ পর্যালোচনা করে কোড, প্রম্পট, গ্রাফের কাঠামো অথবা মেমরি সংশোধন করতে দিন।
6. ন্যায্যভাবে তুলনা করুন। একই প্রশিক্ষণ ব্যাচে একটি প্যারেন্ট এবং প্রস্তাবের তুলনা করুন।
7. গৃহীত প্রস্তাব মূল্যায়ন করুন। পূর্ণ Eval মূল্যায়ন চালান এবং প্রত্যাখ্যাত প্রস্তাবসহ প্রকৃত প্রার্থীর পূর্বসূত্র সংরক্ষণ করুন।
8. নির্বাচিত হারনেস স্থির করুন। বিজয়ী স্পেসিফিকেশনকে তার রানটাইম, মূল্যায়নকারী এবং ঘোষিত কাজের রিসোর্সের সঙ্গে আবদ্ধ করুন।

প্রশিক্ষণের প্রমাণ এবং Eval নির্বাচনের ফলাফল স্পষ্টভাবে আলাদা রাখুন। কোনো প্রার্থী বেছে নিতে Eval ব্যবহার করা হলে, সেটিকে নির্বাচন-সংক্রান্ত পারফরম্যান্স হিসেবে প্রতিবেদন করুন, অদেখা কাজের পারফরম্যান্সের পক্ষপাতহীন অনুমান হিসেবে নয়।

লেটেন্সি ও কনকারেন্সি

আর্কাইভ করা Pokémon Eval রানে, নির্বাচিত হারনেস একটি পূর্ণ সিদ্ধান্ত সম্পন্ন করতে 568 মিলিসেকেন্ডের মধ্যমা সময় নিয়েছে। পৃথক Jev অনুরোধগুলোর মধ্যমা সময় ছিল 269 মিলিসেকেন্ড। প্রাথমিক হারনেসের পূর্ণ সিদ্ধান্তের মধ্যমা সময় ছিল 678 মিলিসেকেন্ড।

• প্রাথমিক হারনেসের পূর্ণ সিদ্ধান্ত: মধ্যমা 678 ms, P95 1,495 ms, 238টি সিদ্ধান্ত।
• নির্বাচিত হারনেসের পূর্ণ সিদ্ধান্ত: মধ্যমা 568 ms, P95 657 ms, 113টি সিদ্ধান্ত।
• নির্বাচিত হারনেসের পৃথক Jev অনুরোধ: মধ্যমা 269 ms, P95 348 ms, 226টি অনুরোধ।

পূর্ণ সিদ্ধান্তের সময়ের মধ্যে বৈশিষ্ট্য গণনা, সমান্তরাল Jev কল এবং চূড়ান্ত অ্যাকশন নির্বাচন অন্তর্ভুক্ত। পৃথক অনুরোধের সময়ের মধ্যে ক্লায়েন্ট ও নেটওয়ার্কের ওভারহেড অন্তর্ভুক্ত। সমান্তরাল কলগুলোর সময় একে অপরের সঙ্গে ওভারল্যাপ করে, তাই সেগুলো যোগ করা উচিত নয়। যুদ্ধ সিমুলেশন এবং লেখন বা প্রতিফলনের সময় এই সিদ্ধান্তের পরিমাপের বাইরে।

এই আর্কাইভ করা পর্যবেক্ষণগুলো স্থানীয় রেসপন্স-ক্যাশ হিট বাদ দিয়েছিল, তবে রানটাইমের প্রতিটি সিদ্ধান্ত নেওয়া একটি LLM-এর সঙ্গে এগুলো নিয়ন্ত্রিত বেঞ্চমার্কে তুলনা করা হয়নি।

উন্নত টিপস

বিচারের জন্য জিজ্ঞাসা করার আগে তথ্য গণনা করুন

বৈধ অ্যাকশন, সংখ্যাগত অনুমান, সীমা এবং উদ্ভূত অবস্থা-সংক্রান্ত তথ্যের জন্য নির্ধারিত কোড বা এক্সপ্রেশন ব্যবহার করুন। অবশিষ্ট অস্পষ্ট পছন্দের জন্য Jev-কে একটি কেন্দ্রীভূত অবস্থা এবং স্পষ্ট মানদণ্ড দিন।

অ্যাকশনের মানদণ্ড নির্দিষ্ট করুন

কাজ-সংশ্লিষ্ট প্রমাণ ব্যবহার করে প্রতিটি উপলভ্য অ্যাকশন বর্ণনা করুন। Pokémon হারনেসে মানদণ্ডের মধ্যে রয়েছে অবশিষ্ট স্বাস্থ্য, ক্ষতির অনুমান, গতি, নকআউটের জন্য প্রয়োজনীয় টার্ন এবং বদলি করার সময় বিনামূল্যে আক্রমণের সুযোগ ছেড়ে দেওয়ার খরচ।

যেখানে স্বাধীনতা বাস্তব, সেখানে সমান্তরাল নোড ব্যবহার করুন

স্বাধীন গ্রাফ নোডগুলো একসঙ্গে চলতে পারে এবং একাধিক প্রশ্ন একটি অনুরোধ ভাগ করে নিতে পারে। কাজের প্রয়োজন নেই এমন নির্ভরতা তৈরি না করে এই সুবিধা কাজে লাগানোর জন্য গ্রাফের কাঠামো তৈরি করুন।

সম্ভাবনা সঠিকভাবে পর্যালোচনা করুন

একটি পছন্দের সম্ভাবনা অনুরোধে দেওয়া বিকল্পগুলোর মধ্যে র‌্যাঙ্ক নির্ধারণ করে। আপনার মূল্যায়নকারী আলাদাভাবে এই অর্থ প্রতিষ্ঠা না করলে এটিকে সামগ্রিক কাজের সাফল্যের ক্যালিব্রেট করা সম্ভাবনা হিসেবে পুনর্ব্যাখ্যা করবেন না।

সম্পূর্ণ ব্যর্থতা সংরক্ষণ করুন

ব্যর্থতা ভুল অনুমান, অনুপস্থিত পর্যবেক্ষণ এবং ভঙ্গুর মানদণ্ড প্রকাশ করতে পারে। সফল সিদ্ধান্তের পাশাপাশি ট্রেসে এগুলো রাখুন, যাতে প্রতিফলন সম্পূর্ণ প্রমাণ পায়।

নীরব ছাঁটাই এড়িয়ে চলুন

বাস্তবসম্মত প্রতিফলন বাইট সীমা নির্ধারণ করুন। JevHarness প্রতিফলনের অতিরিক্ত বড় ইনপুট ছাঁটাই না করে আর্কাইভ করে প্রত্যাখ্যান করে। এতে প্রমাণের অখণ্ডতা রক্ষা হয়, তবে পরীক্ষার আকার যথাযথভাবে পরিকল্পনা করা প্রয়োজন।

স্থির লজিক এবং স্থির প্রোভাইডার আচরণের পার্থক্য বুঝুন

হারনেস স্থির করলে আপনার নির্বাচিত পাইপলাইন এবং ঘোষিত রিসোর্স স্থির হয়, কিন্তু কোনো হোস্টেড মডেল অ্যালিয়াস সময়ের সঙ্গে বদলাতে পারে। সঠিক ঐতিহাসিক পর্যালোচনা গুরুত্বপূর্ণ হলে রেকর্ড করা উত্তর সংরক্ষণ করুন এবং নতুন প্রোভাইডার কলকে ভিন্ন পুনরুৎপাদনযোগ্যতার শর্ত হিসেবে বিবেচনা করুন।

রিপোজিটরি ম্যাপ ব্যবহার করুন

• auto_jev/-এ স্পেসিফিকেশন যাচাই, সমান্তরাল রানটাইম, Jev ট্রান্সপোর্ট, প্রতিফলন, GEPA, স্টোরেজ এবং ফ্রিজিং রয়েছে।
• examples/pokemon/-এ বিশ্বস্ত যুদ্ধ অ্যাডাপ্টার, সিডযুক্ত স্থানীয় ইঞ্জিন ব্রিজ, হারনেস এবং উপস্থাপনা কোড রয়েছে।
• examples/pokemon/sample/-এ নির্বাচিত হারনেস এবং সম্পাদিত ওয়েবসাইট আর্কাইভ রয়েছে।
• docs/-এ কাজ লেখার উপকরণ, রেকর্ড করা Jev কল, ভিডিও এবং স্ক্রিনশট রয়েছে।
• skills/jev-harness/-এ কাজ-নির্দিষ্ট হারনেস লেখে এমন কোডিং এজেন্টদের জন্য নির্দেশনা রয়েছে।
• website/-এ শুধু-পাঠযোগ্য ডেমোনস্ট্রেশন এবং ডিপ্লয়মেন্ট অ্যাডাপ্টার রয়েছে।

উপসংহার

JevHarness একটি LLM-উন্নত কৌশলকে স্পষ্ট ও পরিদর্শনযোগ্য রানটাইম লজিকে রূপান্তর করে। প্রথমে কঠোর কাজের সীমানা নির্ধারণ করুন, স্কিলকে একটি পাইপলাইন তৈরি ও যাচাই করতে দিন, এবং প্রতিফলন-ভিত্তিক উন্নতি চাইলে সম্পূর্ণ ট্রেসের সঙ্গে বিশ্বস্ত পুরস্কার ব্যবহার করুন। প্রার্থী নির্বাচিত হলে সেটিকে স্থির করুন, যাতে নিয়মিত সিদ্ধান্তগুলো প্রতিটি অ্যাকশনের জন্য লেখক LLM চালু না করেই তার কোড এবং কেন্দ্রীভূত Jev সিদ্ধান্ত ব্যবহার করতে পারে।