AIBuildAI agenti yordamida LLMni keyingi o‘qitishni avtomatlashtiring

AIBuildAI LLM-Post-Train Agent nima?

AIBuildAI LLM-Post-Train Agent katta til modellarini avtomatlashtirilgan va moslashtirilgan post-treningdan o'tkazish uchun mo'ljallangan, o'zini rekursiv ravishda takomillashtiruvchi agentdir. U bitta o'zgarmas trening retseptini qo'llash o'rniga vazifani o'rganadi, post-trening algoritmlarini ishlab chiqadi, trening ma'lumotlarini to'playdi va saralaydi, kod yozadi, tajribalarni ishga tushiradi, natijalarni baholaydi hamda modelni iterativ tarzda takomillashtiradi.

Repository agentni ishga tushirish, o'rganish va o'zgartirish uchun kerak bo'ladigan manba kodini o'z ichiga oladi. U xususiy ma'lumotlar, model oilalari, baholash tartiblari va joriy etish maqsadlariga moslashtirilgan post-trening strategiyalariga muhtoj tashkilotlar va tadqiqotchilar uchun yaratilgan.

PostTrainBench loyihasida umumiy natija 46.6% ni tashkil etadi. Bu baholangan modellar va agentlar orasida birinchi o'rin, 51.1% lik inson eksperti bazaviy natijasidan keyingi ko'rsatkichdir.

Agent qanday ishlaydi

Ishga tushirish vazifa va baholash tartibidan boshlanadi. Tizim o'zgarmas vazifa tavsifini tayyorlaydi, bazaviy natijani belgilaydi, tajribalarni ishga tushiradi, yakunlangan har bir nomzodni bir xil baholash dasturi yordamida baholaydi va eng yaxshi natijani tayyor mahsulotga aylantiradi.

Ikki imkoniyat tizimni umumiy kodlash agentidan ajratib turadi:

• Bilimlar tizimi: Agentlar MCP orqali AIBuildAI Knowledge Base tizimiga so'rov yuborishi mumkin. Undagi saralangan ko'nikma hujjatlari post-trening jarayonlari, usullar, ma'lumotlar to'plamlari va freymvorklarni qamrab oladi.
• Meta-qidiruv: Meta-agent vazifani o'rganishi va oldindan belgilangan tajriba topologiyasini bajarish o'rniga, aynan shu vazifa uchun qidiruv dasturini yozishi mumkin.

Har bir ishga tushirish jarayoni jonli veb-ish maydoni, doimiy bajarilish grafigi, jurnallashtirilgan ish birliklari, izolyatsiyalangan quyi jarayonlar va resurs boshqaruvlarini ham oladi. Ishga tushirish voqealari ~/.aibuildai/postgresql ichidagi xususiy PostgreSQL klasterida saqlanadi, bu bajarilishni davom ettirish va qayta ijro etish imkonini beradi.

Asosiy imkoniyatlar

• LLM post-trening tajribalarini avtomatik loyihalash va bajarish.
• Vazifaga xos qidiruv strategiyalari, jumladan meta-qidiruv va bir nechta o'zgarmas qidiruv usullari.
• Usullar, ma'lumotlar to'plamlari, freymvorklar va ish jarayoni qarorlari bo'yicha bilimlarni izlash.
• Tiplangan agentlar, deterministik dasturlar va ichma-ich qidiruvlar.
• Vazifada belgilangan baholash va nomzodlarni izchil saralash.
• Mahalliy ish maydoni xizmati orqali brauzerda jonli monitoring.
• Xotira va jarayonlar uchun Bubblewrap sandboxlari hamda cgroup-v2 cheklovlari.
• Avvalgi ishga tushirishlardan olingan, mahalliy tarzda yaratiladigan xotira.
• Agregatsiyadan keyin maqola loyihasini tayyorlash va PDF kompilyatsiyasini ixtiyoriy qo'llab-quvvatlash.
• Claude va Anthropic'ga mos endpointlar orqali taqdim etiladigan boshqa modellarni qo'llab-quvvatlash.

Tizim talablari

Loyihani o'rnatishdan oldin xost quyidagi talablarga javob berishini tekshiring:

• systemd foydalanuvchi sessiyasiga ega x86_64 Linux.
• Python 3.11 dan 3.13 gacha.
• gcc va make ni o'z ichiga olgan C toolchain.
• zlib va readline ishlab chiqish sarlavha fayllari.
• Imtiyozsiz foydalanuvchi namespace'lari yoqilgan, bubblewrap paketi tomonidan taqdim etiladigan bwrap.
• GitHub relizlari va ftp.postgresql.org ga tarmoq orqali kirish.
• Claude Code akkauntiga kirish, Anthropic API kaliti yoki Anthropic'ga mos endpoint orqali mavjud boshqa model.
• CUDA GPU tavsiya etiladi, biroq agentlar mavjud uskunani aniqlab, undan foydalanadi.

Birinchi ishga tushirish rasmiy manba tarballidan xususiy PostgreSQL o'rnatilishini yaratadi. Shuningdek, ruff, tectonic, micromamba, caddy va PostgreSQL kabi vositalarning pinlangan nusxalarini ~/.cache/aibuildai ichiga yuklab oladi. Tizim xostdagi muqobil o'rnatilmalar o'rniga o'ziga tegishli nusxalardan foydalanadi.

Sizga conda kerak emas. Agent o'ziga tegishli micromamba o'rnatmasi yordamida Program muhitlarini yaratadi.

cgroup-v2 delegatsiyasini tekshirish

Ishga tushirish jarayoni bitta cgroup-v2 daraxti bilan cheklanadi. systemd foydalanuvchi menejeri kamida memory va pids kontrollerlarini delegatsiya qilishi kerak. Joriy konfiguratsiyani quyidagicha tekshiring:

U=$(id -u)
cat /sys/fs/cgroup/user.slice/user-$U.slice/user@$U.service/cgroup.subtree_control

Chiqishda memory va pids bo'lishi kerak. Agar ulardan biri mavjud bo'lmasa, administrator Delegate=pids memory cpu qatorini /etc/systemd/system/user@$U.service.d/ ichidagi drop-in faylga qo'shishi, systemd'ni qayta yuklashi va sizdan qayta tizimga kirishingizni so'rashi kerak.

Agentni o'rnatish

1. Operatsion tizim paketlarini o'rnating

Debian yoki Ubuntu tizimida kompilyator, kerakli sarlavha fayllari va bubblewrap'ni o'rnating:

sudo apt-get install build-essential zlib1g-dev libreadline-dev bubblewrap

2. Repository'ni klonlang

git clone https://github.com/aibuildai-inc/aibuildai-llm-posttrain-agent.git
cd aibuildai-llm-posttrain-agent

3. Python virtual muhitini yarating

python -m venv .venv
source .venv/bin/activate

4. Pinlangan bog'liqliklarni o'rnating

pip install -r requirements.lock
pip install -e . --no-deps

Tahrirlanadigan o'rnatish aibuildai buyrug'ini taqdim etadi. Lock faylidan foydalaning, chunki claude-agent-sdk ning pinlangan versiyasi ushbu kod bazasi uchun tekshirilgan versiyadir.

Agar repository'ni o'zgartirish va uning sifat nazoratini ishga tushirishni rejalashtirsangiz, ishlab chiqish bog'liqliklarini ham o'rnating:

pip install -r requirements-dev.lock

5. Ixtiyoriy ravishda o'zingizga tegishli vositalarni tayyorlang

Vositalarni birinchi ishga tushirish vaqtida yuklab olish va yaratish mumkin. Ularni oldindan tayyorlash uchun quyidagini bajaring:

aibuildai setup

Modelga kirishni sozlash

1-variant: Claude Code loginidan foydalanish

claude auth login

2-variant: API kalitini taqdim etish

export AIBUILDAI_API_KEY=sk-ant-...

Agar AIBUILDAI_API_KEY o‘rnatilmagan bo‘lsa, dastur avval ANTHROPIC_AUTH_TOKEN, so‘ng ANTHROPIC_API_KEYni tekshiradi.

Boshqa Anthropic-mos endpointdan foydalanish

AIBUILDAI_BASE_URLni endpointga o‘rnating va uning kalitini AIBUILDAI_API_KEYga joylashtiring:

export AIBUILDAI_BASE_URL=https://openrouter.ai/api
export AIBUILDAI_API_KEY=your-key
export AIBUILDAI_SMALL_FAST_MODEL=provider/model-id

deepseek- bilan boshlanadigan modelsiz identifikatorlar avtomatik ravishda DeepSeek’ning Anthropic-mos endpointiga yo‘naltiriladi. OpenRouter model identifikatorlarida provider prefiksi bo‘ladi va ular uchun AIBUILDAI_BASE_URL hamda AIBUILDAI_SMALL_FAST_MODELning ikkalasi ham talab qilinadi.

Agar endpoint Claude model darajalari uchun boshqa nomlardan foydalansa, ularni AIBUILDAI_HAIKU_MODEL, AIBUILDAI_SONNET_MODEL va AIBUILDAI_OPUS_MODEL orqali moslang. Sub-agentlar o‘z roli uchun sozlangan modeldan boshqa modelda ishlashi kerak bo‘lsa, AIBUILDAI_SUBAGENT_MODELdan foydalaning.

Ixtiyoriy xizmat sozlamalari

• AIBUILDAI_KB_BASE_URL bilimlar bazasi MCP xizmatini tanlaydi. Odatiy holatda mijoz loyiha uchun ochiq bo‘lgan o‘zgarmas snapshotdan foydalanadi.
• AIBUILDAI_KB_TOKEN bilimlar xizmati autentifikatsiyani talab qilsa, bearer tokenni taqdim etadi.
• AIBUILDAI_WEB_PORT mahalliy workspace xizmati portini tanlaydi.
• AIBUILDAI_WEB_NAME ayni hostdagi ikkinchi workspace xizmatiga nom beradi va web portni aniq ko‘rsatishni talab qiladi.

Oddiy ishga tushirishni yaratish va boshlash

Har bir ishga tushirish bitta YAML fayli orqali tavsiflanadi. Hujjatlangan boshlang‘ich konfiguratsiyani quyidagicha yarating:

aibuildai config > task.yaml

Yaratilgan faylda har bir konfiguratsiya maydoni, uning standart qiymati va hujjatlari mavjud. Yuqori darajadagi majburiy bo‘limlar run, llm, work_units, search va resources bo‘lib, boshlang‘ich fayl ularni to‘ldiradi.

Ishga tushirishni quyidagicha boshlang:

aibuildai run task.yaml

Buyruq http://127.0.0.1:<port>/run/<run-id>ga o‘xshash workspace URL manzilini chiqaradi. Ish jarayonini jonli kuzatish uchun uni oching. Brauzer ixtiyoriy, u bo‘lmasa ham bajarilish odatdagidek davom etadi.

GSM8K misolini ishga tushirish

Qo‘shilgan misol GSM8Kdagi maktab matematikasiga oid masalalarni yechish uchun Qwen/Qwen3-1.7B-Base modelini post-treningdan o‘tkazadi. Repository ma’lumotlariga ko‘ra, bu misol bitta GPUda taxminan ikki soat davom etadi.

1. Vazifa papkasini yarating

bash examples/gsm8k-qwen3-1.7b-base/setup.sh ~/gsm8k-example

Sozlash jarayoni taxminan 4 GB ma’lumotni, jumladan bazaviy model og‘irliklari va GSM8Kning ikkala bo‘linmasini yuklab oladi. U vazifa bayonoti va o‘zgarmas grader’ni ~/gsm8k-example/task/ga yozadi hamda ishga tushirishning o‘z Program muhitiga o‘rnatiladigan paketlar uchun pip keshini oldindan to‘ldiradi.

Hosil bo‘lgan vazifa papkasida agent sozlashi mumkin bo‘lgan bazaviy og‘irliklar, 7,473 ta trening masalasi, grader va grader o‘qiydigan 1,319 ta masaladan iborat test bo‘linmasi mavjud.

2. Post-treningni boshlang

aibuildai run ~/gsm8k-example/task.yaml

Misolda meta search, 90 daqiqalik exploration wall clock va agentlar uchun mos byudjetlar ishlatiladi. README jiddiy ishga tushirish uchun bu byudjetlarni oshirishni tavsiya qiladi.

3. Baholash shartlarini tushuning

Grader muvaffaqiyatning to‘liq ta’rifidir. U modelga savol va undan keyingi javob prefiksini beradi, greedy usulda dekodlaydi va oxirgi ####dan keyingi sonni ajratib oladi. README ma’lumotiga ko‘ra, dastlabki 200 ta test masalasida bazaviy model 0.105 ball oladi, chunki sozlanmagan bazaviy model talab etilgan javob formatiga dastlab rioya qilmaydi.

4. Yakuniy modelni baholang

Topshiriladigan natija birlashtirilgan model papkasidir. <run-home>ni yaratilgan ishga tushirish papkasi nomi bilan almashtiring va barcha test misollarini ishga tushirishning Program muhiti yordamida baholang:

H=~/gsm8k-example/playground/gsm8k-qwen3-1.7b-base/<run-home>
$H/program-environment/env/bin/python ~/gsm8k-example/task/grade/evaluate.py --model-path $H/deliverable/final_model --limit -1

Agentdan o‘z vazifangiz bilan foydalanish

1. examples/gsm8k-qwen3-1.7b-base.yamlni nusxalang yoki aibuildai config orqali to‘liq boshlang‘ich konfiguratsiya yarating.
2. Ishga tushirish foydalanishi mumkin bo‘lgan barcha narsalarni o‘z ichiga olgan vazifa papkasini yarating.
3. Har bir talab qilinadigan ma’lumot fayli bilan birga README, vazifa bayonoti yoki maqola kabi o‘qish mumkin bo‘lgan vazifa tavsifini kiriting.
4. run.data_rootni shu papkaga o‘rnating.
5. Model, qidiruv, byudjet, ish birligi va resurs sozlamalarini ko‘rib chiqing.
6. YAML faylini aibuildai run orqali ishga tushiring.

Sozlash vaqtida tizim butun vazifa papkasini o‘qiydi, bayonotni ishga tushirishning README fayli sifatida muzlatadi va undan ishga tushirishning ball hisoblash dasturini tuzadi. Shu sababli vazifa papkasi to‘liq bo‘lishi hamda kutilayotgan topshiriq va baholash usulini aniq belgilashi kerak.

Konfiguratsiya run.setup_from_scratch va run.task_promptni ham qo‘llab-quvvatlaydi. Bu sozlamalar Setup’ga oldindan tayyorlangan vazifa papkasidan boshlash o‘rniga ma’lumotlar va baholashni vazifa bayonotidan olish imkonini beradi.

Muhim konfiguratsiya tanlovlari

Model tanlash

llm.default.model agentlar foydalanadigan asosiy modelni tanlaydi. Mulohaza yuritishni effort va max_thinking_tokens kabi sozlamalar orqali moslash mumkin. Modellarni alohida rollarga biriktirish uchun llm.by_role dan, routerni modelni rolga qarab tanlashiga ruxsat berish uchun esa llm.auto dan foydalaning.

Qidiruv usuli

search.kind tajriba strategiyasini boshqaradi. READMEʼda tavsiflangan qoʻllab-quvvatlanadigan qiymatlar:

• meta, bunda meta-agent vazifaga mos qidiruv dasturini yozadi.
• nb_tree, butun tajriba daraxti boʻylab qidiruv.
• nb.
• tree, umumiy starterdagi standart qiymat.
• linear.
• parallel.

search.input mazmuni tanlangan strategiyaga bogʻliq. Meta-qidiruv report parametrini qabul qiladi, belgilangan strategiyalar esa oʻz parametrlaridan foydalanadi va parallel hamda early_stopping parametrlarini oʻz ichiga olishi mumkin.

Vaqt va xarajat cheklovlari

run.budget.wall_clock_minutes standart boʻyicha 1,440 daqiqaga teng. Cheklovga erishilganda yangi tadqiqot boshlanmaydi, ammo davom etayotgan ishlar va natijani yetkazib berish yakunlanishiga ruxsat beriladi. run.budget.cost_usd ishga tushirish darajasidagi ixtiyoriy yumshoq xarajat limitini taqdim etadi.

work_units ostidagi har bir yozuvning oʻz budjeti mavjud. Ish birligi belgilangan daqiqalardan, chuqurlik boʻyicha masshtablanadigan vaqtdan yoki zaxira vaqti qoʻshilgan kutilayotgan davomiylikdan foydalanishi mumkin.

Resurs cheklovlari

Har bir ish birligiga qatʼiy CPU va xotira cheklovlarini qoʻllash uchun resources.work_unit.cpu_max_cores va resources.work_unit.memory_max_gb dan foydalaning. Har bir birlik xotira va jarayonlar uchun cgroup cheklovlari oʻrnatilgan bubblewrap sandboxida ishlaydi, vazifa papkasi esa faqat oʻqish uchun ulanadi.

Ilgʻor maslahatlar

Bilimlarni qidirib topishni yoqing

Agentlar AIBuildAI Knowledge Baseʼga murojaat qilishi kerak boʻlganda kb MCP konfiguratsiyasini qoʻshing. Mijoz koʻnikmalarni qidirish, koʻnikmani yuklash va maʼlumotnomalarni oʻqish uchun vositalarni taqdim etadi. Korpus ish jarayoni boʻyicha yoʻriqnomalar, metodologiya kartalari, maʼlumotlar toʻplami kartalari va framework kartalarini oʻz ichiga oladi.

Standart ochiq xizmat oʻzgarmas korpus snapshotidan foydalanadi. Oʻz versiyangizni joylashtirish uchun ochiq kodli knowledge-base repozitoriysini deploy qiling va AIBUILDAI_KB_BASE_URL ni unga yoʻnaltiring.

Vazifaga mos topologiya uchun meta-qidiruvni tanlang

Belgilangan daraxtli qidiruv har bir ish jarayonini, masalan, treningdan oldin sweep ishga tushirish, keyin turnir oʻtkazish yoki bir nechta modelni birlashtirishni tabiiy ravishda ifodalay olmaydi. search.kind: meta bilan meta-agent vazifani oʻrganadi, pilotlarni ishga tushirishi, biriktirilgan dizayn koʻnikmalari va bilimlar bazasiga murojaat qilishi hamda Python qidiruv paketini yozishi mumkin.

Yaratilgan paket uchta primitivdan tuziladi:

• Agent: Vositalar, siyosatlar va tiplangan chiqishga ega LLM sessiyasi.
• Program: Ajratilgan resurs cheklovlariga ega boshqariladigan workerda bajariladigan deterministik hisoblash.
• Search: Tiplangan kirish va chiqishlardan foydalangan holda Agentlar, Programlar va ichma-ich Searchlarni ishga tushirishi hamda muvofiqlashtirishi mumkin boʻlgan orkestrator.

Paket tekshiriladi va ixtiyoriy ravishda LaTeX dizayn hisoboti yordamida koʻrib chiqilishi mumkin. Shundan soʻng u jurnal yuritiladigan ayni ishga tushirish jarayonida child search sifatida ishlaydi. Topologiyadan qatʼi nazar, ishga tushirish qiymati istalgan tugun erishgan eng yaxshi ball boʻlib qoladi.

Qayta foydalaniladigan lokal xotira yarating

Vazifa uchun bir nechta ishga tushirishlarni toʻplagandan soʻng, ulardan olingan saboqlarni tahrirlash mumkin boʻlgan lokal xotira hujjatiga jamlang:

aibuildai memorize task.yaml

Ushbu lokal xotirani har bir agentga kiritish uchun memory.enable ni belgilang. Ishga tushirishlaringiz davomida oʻrganilgan bilimlar kompyuteringizda qoladi va masofaviy bilimlar bazasiga qoʻshilmaydi.

Tashqi vositalarni boshqaring

Har bir rolga tanlangan ichki vositalardan foydalanishni taqiqlash uchun disallowed_tools dan foydalaning. Masalan, baholash qoidalari offline ish jarayonini talab qilganda, vazifa WebSearch va WebFetch dan foydalanishni taqiqlashi mumkin.

MCP integratsiyalarini qoʻshing

mcps konfiguratsiyasi bilimlar bazasi, Kaggle musobaqasiga yuborish yoki maxsus MCP serverlarini yoqishi mumkin. Kaggle integratsiyasi submission.max_submissions ostidagi maksimal yuborishlar sozlamasini qoʻllab-quvvatlaydi.

Maqola yarating

Agregatsiyadan soʻng maqola qoralamasini yaratish uchun writer.enable ni yoqing yoki yakunlangan ishga tushirish katalogida maqola buyrugʻini bajaring:

aibuildai write-paper <run-dir>

Buyruq yakunlangan ishga tushirishdan maqola qoralamasini yaratadi va uni PDF formatida kompilyatsiya qiladi.

Manba oʻzgarishlarini tekshiring

Ushbu loyiha yoʻnalishida testlar toʻplami mavjud emas. Repozitoriy tekshiruvi quyidagicha:

./check.sh

Tekshiruv pyright, ruff, semgrep va lock-fayl oʻzgarishini tekshirishni ishga tushiradi. Undan foydalanishdan oldin requirements-dev.lock ni oʻrnating.

Ishga tushirish natijalarini tushuning

Har bir ishga tushirish sozlangan playground ildizi ostida bosh katalog yaratadi:

{playground_root}/<task-name>/<timestamp>_<run-id>/
  run_config.json
  public/
  private/
  deliverable/
  workspace/
  program-environment/
  resource_samples.jsonl

• run_config.json davom ettirish uchun foydalaniladigan yakuniy konfiguratsiya va ishga tushirish IDʼsini oʻz ichiga oladi.
• public/ Setup tomonidan nomzodlar uchun tayyorlangan muzlatilgan README va maʼlumotlarni oʻz ichiga oladi.
• private/ ball berish dasturi, metrika manifesti, boshlangʻich urinish va gʻolib yozuvini oʻz ichiga oladi.
• deliverable/ ishga tushiriladigan model paketini yoki vazifada belgilangan boshqa natijani oʻz ichiga oladi.
• workspace/ urinishlar, artefaktlar, vaqtinchalik maʼlumotlar va har bir qidiruvning ish kataloglarini oʻz ichiga oladi.
• program-environment/ ishga tushirishning izolyatsiya qilingan Program muhitini oʻz ichiga oladi.
• resource_samples.jsonl bajarilish davomida toʻplangan host resurslari oʻlchovlarini qayd etadi.

Xulosa

AIBuildAI LLM-Post-Train Agent modelni post-treningdan o‘tkazish jarayonlarini loyihalash, ishga tushirish, baholash va takomillashtirish uchun to‘liq tizimni taqdim etadi. O‘rnatmani tekshirish va ishga tushirish tuzilmasini o‘rganish uchun avval taqdim etilgan GSM8K misolidan foydalaning. So‘ngra aniq vazifa papkasi va baholovchini belgilang, mos qidiruv strategiyasini tanlang, realistik byudjetlar va resurs cheklovlarini o‘rnating hamda natijada hosil bo‘lgan tajribalarni jonli ish maydoni orqali kuzating.

Arxitektura tafsilotlarini batafsil ko‘rish uchun repositoryning arxitektura hujjatlari bilan tanishing. Loyiha Apache License 2.0 litsenziyasi asosida tarqatiladi.