Otomatisha Mafunzo ya Baada ya LLM kwa Wakala wa AIBuildAI

AIBuildAI LLM-Post-Train Agent ni Nini?

AIBuildAI LLM-Post-Train Agent ni wakala wa kujiboresha unaorudia kwa ajili ya mafunzo ya baada ya mafunzo yaliyobinafsishwa na ya kiotomatiki ya miundo mikubwa ya lugha. Badala ya kutumia kichocheo kimoja kisichobadilika cha mafunzo, huchunguza jukumu, hubuni algoriti za mafunzo ya baada ya mafunzo, hukusanya na kuratibu data ya mafunzo, huandika msimbo, huendesha majaribio, hutathmini matokeo, na huboresha modeli hatua kwa hatua.

Hazina hii ina msimbo chanzo wa kuendesha, kusoma na kurekebisha wakala. Imeundwa kwa ajili ya mashirika na watafiti wanaohitaji mikakati ya mafunzo ya baada ya mafunzo iliyolengwa kwa data ya umiliki, familia za modeli, taratibu za tathmini na malengo ya uwekaji.

Kwenye PostTrainBench, mradi unaripoti alama ya jumla ya 46.6%, ukiwa wa kwanza kati ya modeli na mawakala waliotathminiwa, na ukifuatiwa tu na msingi wa mtaalamu binadamu wa 51.1%.

Jinsi Wakala Anavyofanya Kazi

Uendeshaji huanza na jukumu na utaratibu wa upimaji. Mfumo huandaa maelezo yaliyogandishwa ya jukumu, huweka msingi wa kulinganisha, huanzisha majaribio, hupanga kila chaguo lililokamilika kwa kutumia programu ileile ya alama, na kugeuza matokeo bora kuwa toleo linaloweza kutumika.

Uwezo wawili unatofautisha mfumo huu na wakala wa jumla wa uandishi wa msimbo:

• Mfumo wa maarifa: Mawakala wanaweza kuuliza AIBuildAI Knowledge Base kupitia MCP. Nyaraka zake zilizoratibiwa za ujuzi zinashughulikia mtiririko wa kazi wa mafunzo ya baada ya mafunzo, mbinu, seti za data na mifumo.
• Utafutaji-meta: Wakala-meta anaweza kuchunguza jukumu na kuandika programu ya utafutaji mahususi kwa jukumu badala ya kutekeleza mpangilio wa majaribio uliowekwa mapema.

Kila uendeshaji pia hupokea nafasi ya kazi ya wavuti inayoendelea, grafu ya utekelezaji inayodumu, vitengo vya kazi vilivyoandikwa kwenye jarida, michakato midogo iliyo kwenye sandbox, na vidhibiti vya rasilimali. Matukio ya uendeshaji huhifadhiwa kwenye klasta binafsi ya PostgreSQL chini ya ~/.aibuildai/postgresql, hivyo kuwezesha utekelezaji unaoweza kuendelea na kurudiwa.

Sifa Muhimu

• Ubunifu na utekelezaji wa kiotomatiki wa majaribio ya mafunzo ya baada ya mafunzo ya LLM.
• Mikakati ya utafutaji mahususi kwa jukumu, ikijumuisha utafutaji-meta na mbinu kadhaa za utafutaji zisizobadilika.
• Urejeshaji wa maarifa kuhusu mbinu, seti za data, mifumo na maamuzi ya mtiririko wa kazi.
• Mawakala wenye aina, programu za kubainika na utafutaji uliowekwa ndani.
• Upangaji uliobainishwa na jukumu na uorodheshaji thabiti wa chaguo.
• Ufuatiliaji wa moja kwa moja kupitia kivinjari kwa kutumia huduma ya nafasi ya kazi ya ndani.
• Sandbox za Bubblewrap na vikomo vya cgroup-v2 kwa kumbukumbu na michakato.
• Kumbukumbu inayozalishwa ndani kutokana na uendeshaji uliopita.
• Uandishi wa hiari wa makala na ukusanyaji wa PDF baada ya ujumlishaji.
• Msaada kwa Claude na modeli nyingine zinazotolewa kupitia vituo vinavyoendana na Anthropic.

Mahitaji ya Mfumo

Kabla ya kusakinisha mradi, thibitisha kuwa kompyuta mwenyeji inakidhi mahitaji haya:

• Linux kwenye x86_64 yenye kipindi cha mtumiaji cha systemd.
• Python 3.11 hadi 3.13.
• Mkusanyiko wa zana za C unaojumuisha gcc na make.
• Vichwa vya maendeleo vya zlib na readline.
• bwrap, inayotolewa na kifurushi cha bubblewrap, ikiwa na nafasi za majina za watumiaji wasio na mamlaka zilizowezeshwa.
• Ufikiaji wa mtandao kwa matoleo ya GitHub na ftp.postgresql.org.
• Kuingia kwa Claude Code, ufunguo wa API wa Anthropic, au modeli nyingine inayopatikana kupitia kituo kinachoendana na Anthropic.
• GPU ya CUDA inapendekezwa, ingawa mawakala hutambua na kutumia maunzi yanayopatikana.

Uendeshaji wa kwanza huunda usakinishaji binafsi wa PostgreSQL kutoka kwenye tarball rasmi ya msimbo chanzo. Pia hupakua nakala zilizowekwa matoleo maalum za zana kama vile ruff, tectonic, micromamba, caddy na PostgreSQL hadi ~/.cache/aibuildai. Mfumo hutumia nakala hizi zinazomilikiwa badala ya usakinishaji sawia wa mwenyeji.

Huhitaji conda. Wakala huunda mazingira ya Programu kwa kutumia usakinishaji wake wa micromamba.

Angalia ugawaji wa cgroup-v2

Uendeshaji hudhibitiwa na mti mmoja wa cgroup-v2. Kidhibiti cha mtumiaji cha systemd lazima kigawanye angalau vidhibiti vya memory na pids. Angalia usanidi wa sasa kwa:

U=$(id -u)
cat /sys/fs/cgroup/user.slice/user-$U.slice/user@$U.service/cgroup.subtree_control

Matokeo yanapaswa kujumuisha memory na pids. Ikiwa kimoja hakipo, msimamizi lazima aongeze Delegate=pids memory cpu kwenye drop-in chini ya /etc/systemd/system/user@$U.service.d/, apakie upya systemd, kisha uingie tena.

Sakinisha Wakala

1. Sakinisha vifurushi vya mfumo wa uendeshaji

Kwenye Debian au Ubuntu, sakinisha mkusanyaji, vichwa vinavyohitajika na bubblewrap:

sudo apt-get install build-essential zlib1g-dev libreadline-dev bubblewrap

2. Nakili hazina

git clone https://github.com/aibuildai-inc/aibuildai-llm-posttrain-agent.git
cd aibuildai-llm-posttrain-agent

3. Unda mazingira pepe ya Python

python -m venv .venv
source .venv/bin/activate

4. Sakinisha vitegemezi vilivyowekwa matoleo maalum

pip install -r requirements.lock
pip install -e . --no-deps

Usakinishaji unaoweza kuhaririwa hutoa amri ya aibuildai. Tumia faili la lock kwa sababu toleo lililowekwa la claude-agent-sdk ndilo toleo lililothibitishwa kwa msimbo huu.

Ikiwa unapanga kurekebisha hazina na kuendesha lango lake la ubora, sakinisha pia vitegemezi vya maendeleo:

pip install -r requirements-dev.lock

5. Andaa kwa hiari zana zinazomilikiwa

Zana zinaweza kupakuliwa na kujengwa wakati wa uendeshaji wa kwanza. Ili kuziandaa mapema, tekeleza:

aibuildai setup

Sanidi Ufikiaji wa Modeli

Chaguo la 1: Tumia kuingia kwa Claude Code

claude auth login

Chaguo la 2: Toa ufunguo wa API

export AIBUILDAI_API_KEY=sk-ant-...

Ikiwa AIBUILDAI_API_KEY haijawekwa, programu hukagua ANTHROPIC_AUTH_TOKEN kisha ANTHROPIC_API_KEY.

Tumia endpoint nyingine inayooana na Anthropic

Weka AIBUILDAI_BASE_URL iwe endpoint hiyo na weka ufunguo wake katika AIBUILDAI_API_KEY:

export AIBUILDAI_BASE_URL=https://openrouter.ai/api
export AIBUILDAI_API_KEY=your-key
export AIBUILDAI_SMALL_FAST_MODEL=provider/model-id

Vitambulishi vya modeli vilivyo wazi vinavyoanza na deepseek- hulenga kiotomatiki endpoint ya DeepSeek inayooana na Anthropic. Vitambulishi vya modeli vya OpenRouter vina kiambishi awali cha mtoa huduma na vinahitaji AIBUILDAI_BASE_URL pamoja na AIBUILDAI_SMALL_FAST_MODEL.

Ikiwa endpoint inatumia majina tofauti kwa viwango vya modeli za Claude, vipangilie kwa kutumia AIBUILDAI_HAIKU_MODEL, AIBUILDAI_SONNET_MODEL, na AIBUILDAI_OPUS_MODEL. Tumia AIBUILDAI_SUBAGENT_MODEL wakati sub-agents zinapaswa kuendesha modeli tofauti na modeli iliyosanidiwa kwa jukumu lao.

Mipangilio ya hiari ya huduma

• AIBUILDAI_KB_BASE_URL huchagua huduma ya MCP ya msingi wa maarifa. Kwa chaguo-msingi, mteja hutumia snapshot ya umma isiyobadilika ya mradi.
• AIBUILDAI_KB_TOKEN hutoa tokeni ya bearer ikiwa huduma ya maarifa inahitaji uthibitishaji.
• AIBUILDAI_WEB_PORT huchagua porti ya huduma ya eneo-kazi ya workspace.
• AIBUILDAI_WEB_NAME huipa jina huduma ya pili ya workspace kwenye hosti hiyo hiyo na huhitaji porti ya wavuti iliyoainishwa wazi.

Unda na Anzisha Uendeshaji wa Msingi

Kila uendeshaji hufafanuliwa na faili moja la YAML. Tengeneza usanidi wa mwanzo wenye nyaraka kwa:

aibuildai config > task.yaml

Faili linalozalishwa linajumuisha kila sehemu ya usanidi, thamani yake ya chaguo-msingi, na nyaraka zake. Sehemu za lazima za kiwango cha juu ni run, llm, work_units, search, na resources; usanidi wa mwanzo hujaza zote.

Anzisha uendeshaji kwa:

aibuildai run task.yaml

Amri huchapisha URL ya workspace inayofanana na http://127.0.0.1:<port>/run/<run-id>. Ifungue ili kufuatilia uendeshaji moja kwa moja. Kivinjari ni cha hiari, na utekelezaji utaendelea kawaida bila kivinjari.

Endesha Mfano wa GSM8K

Mfano uliojumuishwa hufanya mafunzo ya baadae kwa Qwen/Qwen3-1.7B-Base ili kutatua matatizo ya maneno ya hisabati ya kiwango cha shule kutoka GSM8K. Kulingana na hazina, mfano huu huchukua takribani saa mbili kwenye GPU moja.

1. Jenga folda ya kazi

bash examples/gsm8k-qwen3-1.7b-base/setup.sh ~/gsm8k-example

Usanidi hupakua takribani GB 4, ikijumuisha uzito wa modeli msingi na sehemu zote mbili za GSM8K. Huandika taarifa ya kazi na grader iliyogandishwa katika ~/gsm8k-example/task/ na huandaa akiba ya pip kwa vifurushi vinavyosakinishwa katika mazingira ya Programu ya uendeshaji yenyewe.

Folda ya kazi inayotokana ina uzito msingi ambao wakala anaweza kuuboresha, matatizo 7,473 ya mafunzo, grader, na sehemu ya majaribio yenye matatizo 1,319 inayosomwa na grader huyo.

2. Anza mafunzo ya baadae

aibuildai run ~/gsm8k-example/task.yaml

Mfano hutumia utafutaji wa meta, muda wa saa 90 wa kuchunguza, na bajeti zinazolingana kwa kila wakala. README inapendekeza kuongeza bajeti hizo kwa uendeshaji wa kina.

3. Elewa mkataba wa upangaji alama

Grader ndiyo ufafanuzi kamili wa mafanikio. Huuliza modeli swali likifuatiwa na mwanzo wa jibu, husimbua kwa kuchagua kwa ulafi, na kutoa nambari baada ya #### ya mwisho. README inaripoti kuwa modeli msingi hupata alama 0.105 kwenye matatizo 200 ya kwanza ya majaribio kwa sababu modeli msingi ambayo haijafanyiwa tuning haifuati mwanzoni muundo wa jibu unaohitajika.

4. Tathmini modeli ya mwisho

Kitu cha kuwasilishwa ni folda ya modeli iliyounganishwa. Badilisha <run-home> kwa jina la folda ya uendeshaji lililozalishwa na tathmini mifano yote ya majaribio kwa kutumia mazingira ya Programu ya uendeshaji:

H=~/gsm8k-example/playground/gsm8k-qwen3-1.7b-base/<run-home>
$H/program-environment/env/bin/python ~/gsm8k-example/task/grade/evaluate.py --model-path $H/deliverable/final_model --limit -1

Tumia Wakala na Kazi Yako Mwenyewe

1. nakili examples/gsm8k-qwen3-1.7b-base.yaml, au tengeneza usanidi kamili wa mwanzo kwa aibuildai config.
2. Unda folda ya kazi iliyo na kila kitu ambacho uendeshaji unaweza kutumia.
3. Jumuisha maelezo ya kazi yanayosomeka, kama README, taarifa ya kazi, au makala, pamoja na kila faili la data linalohitajika.
4. Weka run.data_root iwe folda hiyo.
5. Kagua mipangilio ya modeli, utafutaji, bajeti, vitengo vya kazi, na rasilimali.
6. Anzisha faili la YAML kwa aibuildai run.

Wakati wa usanidi, mfumo husoma folda nzima ya kazi, hugandisha taarifa hiyo kama README ya uendeshaji, na kujenga programu ya alama ya uendeshaji kutokana nayo. Kwa hiyo, folda ya kazi inapaswa kuwa kamili na kufafanua kwa uwazi kitu kinachotarajiwa kuwasilishwa pamoja na mbinu ya tathmini.

Usanidi pia unaunga mkono run.setup_from_scratch na run.task_prompt. Mipangilio hii huruhusu Setup kupata data na tathmini kutoka kwenye taarifa ya kazi badala ya kuanza na folda ya kazi iliyoandaliwa.

Chaguo Muhimu za Usanidi

Uteuzi wa modeli

llm.default.model huchagua modeli ya msingi inayotumiwa na mawakala. Uwezo wa kufikiri unaweza kurekebishwa kwa mipangilio kama effort na max_thinking_tokens. Tumia llm.by_role kubandika modeli kwa majukumu mahususi, au llm.auto kuacha kipanga njia kichague kulingana na jukumu.

Mbinu ya utafutaji

search.kind hudhibiti mkakati wa jaribio. Thamani zinazotumika zilizoelezwa kwenye README ni pamoja na:

• meta, ambapo wakala meta huandika programu ya utafutaji mahususi kwa kazi.
• nb_tree, utafutaji wa mti wa jaribio zima.
• nb.
• tree, chaguo-msingi katika kianzilishi cha jumla.
• linear.
• parallel.

Yaliyomo kwenye search.input hutegemea mkakati uliochaguliwa. Utafutaji wa meta hupokea chaguo la report, huku mikakati thabiti ikitumia vigezo vyake na huenda ikajumuisha parallel na early_stopping.

Vikomo vya muda na matumizi

run.budget.wall_clock_minutes huwa na chaguo-msingi la dakika 1,440. Kikomo kinapofikiwa, uchunguzi mpya hauanzi, lakini kazi inayoendelea na uwasilishaji huruhusiwa kukamilika. run.budget.cost_usd hutoa kikomo cha hiari cha matumizi kwa kiwango cha uendeshaji.

Kila ingizo chini ya work_units lina bajeti yake. Kitengo cha kazi kinaweza kutumia dakika zilizowekwa, muda unaopimwa kwa kina, au muda unaotarajiwa pamoja na nafasi ya ziada.

Vikomo vya rasilimali

Tumia resources.work_unit.cpu_max_cores na resources.work_unit.memory_max_gb kuweka vikomo vya lazima vya CPU na kumbukumbu kwa kila kitengo cha kazi. Kila kitengo huendeshwa katika sandbox ya bubblewrap yenye vikomo vya cgroup kwa kumbukumbu na michakato, huku folda ya kazi ikiwekwa kwa hali ya kusomeka tu.

Vidokezo vya Kina

Washa urejeshaji wa maarifa

Ongeza usanidi wa MCP wa kb unapotaka mawakala kushauriana na AIBuildAI Knowledge Base. Mteja hutoa zana za kutafuta ujuzi, kupakia ujuzi, na kusoma marejeleo. Korpus hii inajumuisha mwongozo wa mtiririko wa kazi, kadi za mbinu, kadi za seti za data, na kadi za mifumo.

Huduma ya umma ya chaguo-msingi ni nakala thabiti ya korpus. Ili kuandaa toleo lako mwenyewe, peleka hazina ya maarifa yenye chanzo huria na uelekeze AIBUILDAI_KB_BASE_URL kwake.

Chagua utafutaji wa meta kwa topolojia mahususi ya kazi

Utafutaji thabiti wa mti hauwezi kueleza kwa kawaida kila mtiririko wa kazi, kama vile kuendesha sweep kabla ya mafunzo, kufanya mashindano baadaye, au kuchanganya modeli kadhaa. Kwa search.kind: meta, wakala meta huchunguza kazi, anaweza kuendesha majaribio ya awali, kushauriana na ujuzi wa usanifu uliounganishwa pamoja na msingi wa maarifa, na kuandika kifurushi cha utafutaji cha Python.

Kifurushi kilichozalishwa huundwa kutokana na vitendea kazi vitatu vya msingi:

• Agent: Kikao cha LLM chenye zana, sera, na matokeo yenye aina zilizobainishwa.
• Program: Hesabu bainifu katika mfanyakazi anayesimamiwa mwenye vikomo maalum vya rasilimali.
• Search: Kipanga shughuli kinachoweza kuanzisha na kuratibu Agents, Programs, na Searches zilizowekwa ndani kwa kutumia pembejeo na matokeo yenye aina zilizobainishwa.

Kifurushi huthibitishwa na kinaweza kukaguliwa kwa hiari kwa ripoti ya usanifu ya LaTeX. Kisha huendeshwa kama utafutaji mtoto katika uendeshaji uleule wenye kumbukumbu ya matukio. Bila kujali topolojia, thamani ya uendeshaji hubaki kuwa alama bora zaidi iliyopatikana na nodi yoyote.

Jenga kumbukumbu ya ndani inayoweza kutumika tena

Baada ya kukusanya uendeshaji kwa kazi fulani, unganisha mafunzo yake katika hati ya kumbukumbu ya ndani inayoweza kuhaririwa:

aibuildai memorize task.yaml

Weka memory.enable ili kuingiza kumbukumbu hiyo ya ndani kwa kila wakala. Maarifa yaliyopatikana kutokana na uendeshaji wako hubaki kwenye mashine yako na hayaongezwi kwenye msingi wa maarifa wa mbali.

Dhibiti zana za nje

Tumia disallowed_tools kuzuia kila jukumu kutumia zana mahususi zilizojengewa ndani. Kwa mfano, kazi inaweza kuzuia WebSearch na WebFetch wakati sheria za tathmini zinahitaji mtiririko wa kazi wa nje ya mtandao.

Ongeza miunganisho ya MCP

Usanidi wa mcps unaweza kuwezesha msingi wa maarifa, uwasilishaji wa mashindano ya Kaggle, au seva maalum za MCP. Muunganisho wa Kaggle unaauni mpangilio wa idadi ya juu ya mawasilisho chini ya submission.max_submissions.

Tengeneza makala

Washa writer.enable ili kuandaa rasimu ya makala baada ya kujumlisha, au endesha amri ya makala kwenye saraka ya uendeshaji iliyokamilika:

aibuildai write-paper <run-dir>

Amri hiyo huandaa rasimu ya makala kutokana na uendeshaji uliokamilika na kuikusanya kuwa PDF.

Thibitisha mabadiliko ya chanzo

Mstari huu wa mradi hauna seti ya majaribio. Kigezo cha ukaguzi wa hazina ni:

./check.sh

Kigezo hiki huendesha pyright, ruff, semgrep, na ukaguzi wa mabadiliko ya faili ya kufunga. Sakinisha requirements-dev.lock kabla ya kukitumia.

Elewa Matokeo ya Uendeshaji

Kila uendeshaji huunda saraka ya nyumbani chini ya mzizi wa playground uliosanidiwa:

{playground_root}/<task-name>/<timestamp>_<run-id>/
  run_config.json
  public/
  private/
  deliverable/
  workspace/
  program-environment/
  resource_samples.jsonl

• run_config.json ina usanidi wa mwisho na kitambulisho cha uendeshaji kinachotumiwa kuendelea.
• public/ ina README iliyogandishwa na data iliyoandaliwa na Setup kwa watahiniwa.
• private/ ina programu ya alama, manifesti ya vipimo, jaribio la msingi, na rekodi ya mshindi.
• deliverable/ ina kifurushi cha modeli kinachoweza kuendeshwa au matokeo mengine yaliyobainishwa na kazi.
• workspace/ ina majaribio, vitu vilivyoundwa, data ya muda, na saraka za kazi za kila utafutaji.
• program-environment/ ina mazingira ya Program yaliyotengwa kwa uendeshaji.
• resource_samples.jsonl huhifadhi vipimo vya rasilimali za mwenyeji vilivyokusanywa wakati wa utekelezaji.

Hitimisho

AIBuildAI LLM-Post-Train Agent hutoa mfumo wa kuanzia mwanzo hadi mwisho wa kubuni, kuendesha, kutathmini na kuboresha mtiririko wa kazi wa mafunzo ya baada ya mafunzo ya modeli. Anza na mfano uliotolewa wa GSM8K ili kuthibitisha usakinishaji na kujifunza muundo wa uendeshaji. Kisha fafanua folda ya kazi na mtathmini iliyo wazi, chagua mkakati unaofaa wa utafutaji, weka bajeti halisi na mipaka ya rasilimali, na utumie nafasi ya kazi ya moja kwa moja kufuatilia majaribio yatakayotokana.

Kwa maelezo ya kina zaidi kuhusu usanifu, soma nyaraka za usanifu za hazina. Mradi unasambazwa chini ya Leseni ya Apache 2.0.