ForgeStencil – Mfumo wa utafiti na uwekaji wa Stencil kiotomatiki kabisa uliotolewa na面壁智能 Inafanya kazi

ForgeStencil ni mfumo wa kwanza duniani wa uboreshaji wa AI unaosaidia utafiti na uwekaji wa Stencil kiotomatiki, uliotolewa kwa pamoja na面壁智能 na jumuiya huria ya OpenBMB. Unatumia mzunguko funge wa mawakala wawili, Kernel Agent na App Agent, kutekeleza mchakato mzima kutoka kugundua mikakati ya uboreshaji hadi ujumuishaji katika programu halisi za uzalishaji bila uingiliaji wa binadamu. Ndani ya wiki moja, mfumo ulikamilisha uboreshaji wa zaidi ya programu 100 za kompyuta za viwandani na kisayansi kutoka mwanzo hadi mwisho, kwa kasi ya wastani ya mara 1.41, ukihudumia nyanja 8 za viwanda kama utafutaji wa mafuta na gesi, uigaji wa sumakuumeme na picha za kitabibu, pamoja na nyanja 5 za kisayansi.

Uboreshaji wa mzunguko funge wa mawakala wawili: Kernel Agent hutafiti na kusanisi CUDA Kernel zenye utendaji wa juu kwa kujitegemea, huku App Agent ikitambua maeneo yenye mzigo mkubwa, kuunda operators, kuthibitisha usahihi na kuunganisha programu.
Ugunduzi wa kiotomatiki wa mikakati: Mawakala huchunguza kwa kujitegemea mikakati ya uboreshaji kama kugawa vipande, kuunganisha, mpangilio, kiwango cha utumiaji wa rasilimali na uundaji upya wa upande wa mwenyeji, badala ya kutafuta ndani ya nafasi iliyowekwa.
Uwekaji katika programu halisi: Huboresha moja kwa moja programu za kiwango cha uzalishaji, kwa kutumia msimbo wa GPU wa programu yenyewe kama msingi wa uthibitishaji wa kutoka mwanzo hadi mwisho, si Benchmark iliyorahisishwa.
Itifaki ya vipimo inayoweza kukaguliwa: Kwa kutumia swichi moja ya mazingira, mfumo hubadilisha kwa kupishana kati ya njia asilia na njia iliyoboreshwa, na kutumia ukaguzi pamoja na vipima muda vilivyojengwa ndani ya programu ili kuhakikisha kuwa kasi iliyopatikana ni halisi na ya kuaminika.
Ulinganifu wa GPU za vizazi mbalimbali: Inasaidia usambazaji wa usanifu wa wakati wa utekelezaji kwa A100/H100/B200; maktaba ileile ya msimbo huchagua kiotomatiki njia bora ya Kernel kulingana na usanifu.

Fuatilia kwenye WeChat na ujibu “开源” ili ujiunge na kundi la majadiliano ya miradi huria ya AI
Usanifu wa ushirikiano wa mawakala wawili: Mfumo una Kernel Agent na App Agent zinazounda mzunguko funge. Kernel Agent inawajibika kwa ugunduzi wa kinadharia, ikifanya utafiti na kusanisi operators za Stencil zinazokaribia kikomo cha kimwili cha maunzi kupitia mzunguko wa Plan→Code→Profile. App Agent inawajibika kwa utekelezaji wa kihandisi: hutambua maeneo yenye mzigo mkubwa wa utendaji, huweka msingi wa GPU, hutumia hifadhidata ya maarifa ya matrix ya operators iliyojengwa na Kernel Agent kuunda uboreshaji maalumu wa programu, kisha hukamilisha uthibitishaji wa usahihi na ujumuishaji katika programu asilia.
Mageuzi ya matrix ya operators na hifadhidata ya maarifa: Wakati wa uboreshaji, Kernel Agent hujenga kila mara matrix maalumu ya operators kama hifadhidata ya maarifa, ambayo App Agent inaweza kutumia tena baadaye. Mawakala wengi wanaofanya kazi kwa pamoja hushirikiana kwenye hifadhidata hii, hivyo kuwezesha kushiriki uzoefu kwa wakati halisi na mageuzi ya pamoja yaliyosawazishwa, na kuvunja kikwazo cha kusambaza uzoefu wa wataalamu wa binadamu kwa kiwango kikubwa.
Itifaki ya kutoka mwanzo hadi mwisho inayoweza kukaguliwa: Vipimo hutumia utekelezaji wa GPU wa kiwango cha uzalishaji wa programu yenyewe kama msingi pekee. Njia asilia na njia iliyoboreshwa hutofautishwa kupitia swichi moja tu ya USE_OURS, huku njia asilia ikilingana byte kwa byte na toleo la juu. Mfumo hutumia ukaguzi wa usahihi na vipima muda vilivyojengwa ndani ya programu, hukimbiza mara nyingi kwa kupishana na kuchukua thamani ya wastani, kisha huripoti kasi ya wastani ya kijiometri ya matukio yote ya kawaida, hivyo kuondoa uwezekano wa udanganyifu katika kiwango cha mfumo.
Hali ya Patch na kutofungasha msimbo wa chanzo: Mfumo haufungashi msimbo wowote wa chanzo wa wahusika wengine. Kwa kila programu hutolewa tu rekodi ya chanzo cha juu, hati ya upataji na patch ya ujumuishaji. vendor.sh huvuta kiotomatiki msimbo wa chanzo wa toleo maalum kutoka chanzo cha juu, hivyo kuhakikisha usafi wa leseni na uwezeshaji wa kurudia matokeo.

Maandalizi ya mazingira: Nakili hazina na uhakikishe kuwa una NVIDIA GPU (iliyothibitishwa kwenye A100), CUDA 12.x, mkusanyaji wa C++17 na mazingira ya Python 3.9+.
Jaribio la haraka la operator: Tekeleza python tools/run.py --stencil star_1 --shape 256 --gpu 0 ili kupima utendaji wa operator moja ndani ya dakika 1 na kuulinganisha na msingi wa Halide.
Kurudia mchakato kutoka mwanzo hadi mwisho: Ingia kwenye saraka ya programu lengwa na utekeleze ./vendor.sh ili kuvuta msimbo wa chanzo wa juu; baada ya kutumia patch ya ujumuishaji, endesha python ../../harness/run_e2e.py --app --gpu auto ili kukamilisha uthibitishaji wa programu halisi.
Kuendesha kazi ya mawakala: Rejelea agents/README.md kusanidi na kuanzisha mizunguko huru ya uboreshaji ya Kernel Agent na App Agent.
Kukagua sajili ya matokeo: Tumia results/integration_registry.json kuona data ya kasi iliyokaguliwa ya programu 100 zilizothibitishwa.

Bila uingiliaji wa binadamu: Mchakato mzima kutoka uchanganuzi wa programu, utambuzi wa maeneo yenye mzigo mkubwa, uundaji wa Kernel hadi uthibitishaji wa ujumuishaji umejiendesha, bila kuhitaji ushiriki wa mtaalamu wa HPC katika kufanya maamuzi.
Mwelekeo wa matukio halisi: Huboresha moja kwa moja programu za viwandani za kiwango cha uzalishaji; 42% ni programu halisi za uzalishaji viwandani, na msingi ni msimbo wa GPU wa programu yenyewe.
Msukumo mkubwa wa ufanisi wa utafiti na maendeleo: Uboreshaji wa programu moja umepunguzwa kutoka miezi kadhaa hadi ndani ya siku moja; programu 100+ hukamilishwa kwa wiki moja, sawa na kuokoa takriban miaka 20–30 ya kazi ya utafiti na maendeleo.
Utendaji thabiti: Kasi ya wastani kutoka mwanzo hadi mwisho ni mara 1.41; 43% ya programu hufikia ≥mara 1.5; na kasi ya wastani ya kijiometri katika kiwango cha operator ni mara 2.16, ikiwa mbele ya msingi bora zaidi wa huria.
Uendelevu katika usanifu mbalimbali: Inasaidia usambazaji wa wakati wa utekelezaji kwa vizazi vingi vya NVIDIA GPU; usanifu unapoboreshwa, inaweza kuunda upya Kernel kiotomatiki ili kunufaika na vipengele vipya vya maunzi.

Hazina ya GitHub：https://github.com/OpenBMB/ForgeStencil

Utafutaji wa mafuta na gesi kwa mitetemo: Huboresha algoriti kuu kama RTM reverse-time migration na Total mini-app, na kuharakisha uchakataji wa data za utafutaji wa mafuta.
Muundo wa uigaji wa sumakuumeme: Huongeza ufanisi wa kusuluhisha milinganyo ya Maxwell kwenye gridi ya Yee katika gprMax/FDTD na programu nyingine, kwa ajili ya uchanganuzi wa sumakuumeme wa rada na chipu.
Uundaji upya wa picha za kitabibu: Huongeza kasi ya mizigo ya kikokotozi ya uundaji upya wa MRI isiyo ya Cartesian, backprojection ya tomografia ya kidijitali ya matiti na picha nyingine za kitabibu.
Hali ya hewa na astrofizikia: Huboresha programu za kompyuta za kisayansi zenye Stencil nyingi, kama mienendo ya angahewa na uigaji wa kosmolojia.
Kompyuta za fedha za kiasi: Hutoa uboreshaji wa kiotomatiki wa maeneo yenye mzigo wa Stencil kwa maktaba za uwekaji bei za taasisi za fedha kama QuantLib, na kupunguza ucheleweshaji wa ukokotoaji wa miamala.