Mchakato wa uzalishaji wa tamthilia fupi za AI: Zana kamili kutoka hati hadi filamu iliyokamilika

BigBanana AI Director × Infinite Canvas: Mkurugenzi wa drama fupi akikutana na turubai isiyo na kikomo

Vunja mipaka ya ubunifu, na ujenge mchakato wa uzalishaji wa drama fupi za AI wa kiwango cha viwandani kwa kutumia «kituo cha kazi cha mkurugenzi + turubai isiyo na kikomo ya uzalishaji»

I. Zana mbili, dhamira moja

🎬 BigBanana AI Director — Kituo cha kazi cha mkurugenzi wa drama fupi za AI

BigBanana ni jukwaa la kiwango cha viwandani la kutengeneza manga za AI na video fupi. Linatumia mchakato wa uzalishaji wa hatua nne wa Script → Asset → Keyframe → Video, likigawanya uundaji wa drama fupi kuwa shughuli za kitaalamu zinazoweza kudhibitiwa na kuboreshwa:

Ni kama kituo cha kitaalamu cha amri cha mkurugenzi—wewe unasimamia mwelekeo wa ubunifu, huku AI ikishughulikia maelezo mazito ya utekelezaji.

🎨 Infinite Canvas — Turubai ya uundaji wa picha/video kwa AI

Infinite Canvas ni kihariri cha uundaji wa AI kinachotegemea nodi, kilichochochewa na dhana ya mtiririko wa kazi unaoonekana ya ComfyUI. Kinatoa:

• Mchakato wa uundaji wa nodiKadi ya picha → Maelekezo → LLM → Uundaji wa modeli → Nodi ya matokeo, zikiunganishwa kwa uhuru
• Usaidizi wa injini nyingiComfyUI, ModelScope, RunningHub, Veo, Sora na nyinginezo
• Hali ya turubai mahiriInaruhusu kuburuta kwa uhuru, kupanga katika vikundi na kurejea historia
• Usaidizi wa aina zote za mediaUundaji jumuishi wa picha, video, sauti na maandishi
• Usimamizi wa mali za maudhuiMaktaba ya ndani ya maudhui, utafutaji kwa kategoria na uwekaji lebo kwa AI

Ni kama turubai ya msanii inayopanuka bila kikomo—kila nodi ni kitengo cha ubunifu, na zikiunganishwa huunda mnyororo kamili wa uundaji.

II. Muundo wa muunganisho: Daraja lisilo na mshono kutoka kituo cha mkurugenzi hadi turubai

2.1 Utaratibu wa mawasiliano

BigBanana huanzisha mawasiliano ya pande mbili na Infinite Canvas kupitia itifaki ya daraja ya iframe + postMessage:

┌─────────────────────────────────────────────────────────┐
│  BigBanana AI Director (React App)                      │
│                                                         │
│  ┌─────────────┐    postMessage     ┌────────────────┐  │
│  │ Kituo cha    │ ◄────────────────► │ Infinite Canvas │  │
│  │ mkurugenzi   │                    │  (iframe)       │  │
│  │             │  publish-shot     │                 │  │
│  │ · Chagua     │ ─────────────────►│ · Pokea         │  │
│  │   storyboard│                   │   maelekezo      │  │
│  │ · Taarifa za │                   │ · Unda picha/    │  │
│  │   mandhari   │                   │   video          │  │
│  │ · Data za     │   image-generated │ · Rudisha        │  │
│  │   wahusika    │ ◄─────────────────│   matokeo        │  │
│  │ · Maelezo ya  │                   │                 │  │
│  │   vifaa       │                   │                 │  │
│  └─────────────┘                    └────────────────┘  │
└─────────────────────────────────────────────────────────┘

2.2 Data inayotumwa kwenye turubai

Unapobofya «Chapisha kwenye turubai ili kuunda» katika kituo cha kazi cha mkurugenzi, muktadha kamili ufuatao hufungwa kiotomatiki na kutumwa:

【Mandhari】Mahali: bustani ya vuli, wakati: machweo, hali: ya joto na ya kimapenzi, maelezo ya mandhari: majani ya dhahabu yamefunika njia
Mhusika: Lin Xiao, mwonekano: mwanamke wa miaka 25, nywele ndefu mabegani, koti la rangi ya beige, mpole na mwenye busara
Mhusika: Chen Yu, mwonekano: mwanamume wa miaka 28, nywele fupi, jaketi la bluu iliyokolea, mwenye uchangamfu na mvuto
Kifaa: kikombe cha kahawa, maelezo: kikombe cha kahawa cha kauri nyeupe, kinachotoa mvuke
Kitendo: Chen Yu anamkabidhi Lin Xiao kahawa
Mazungumzo: "Kuna baridi, kunywa ya moto"
Sauti: Kuna baridi, kunywa ya moto

Hii inamaanisha kuwa AI haitengenezi bila muktadha, bali huunda ikiwa na muktadha kamili wa mandhari, mwonekano wa wahusika, vifaa na matukio.

2.3 Kuandika kiotomatiki matokeo yanayorudishwa

Picha/video zinazoundwa na Infinite Canvas hurudishwa kiotomatiki kwenye BigBanana:

• Uundaji wa picha → Hujazwa kiotomatiki kama keyframe ya kuanzia ya storyboard ya sasa
• Uundaji wa video → Hujazwa kiotomatiki kama kipande cha video cha storyboard, huku fremu ya mwanzo na ya mwisho zikitolewa
• Usawazishaji wa matokeo mengi → Inaruhusu kusawazisha kwa mara moja matokeo yote yaliyoundwa kwenye turubai

III. Faida kuu za muunganisho

3.1 🎯 Kutoka «zana zilizotawanyika» hadi «mchakato jumuishi»

Kabla ya muunganisho: Ulilazimika kuunda mwenyewe mtiririko wa kazi katika ComfyUI → kuhamisha picha → kufungua programu ya kuhariri → kuingiza maudhui → kuoanisha storyboard → kuunganisha video iliyokamilika……Kila hatua ilikuwa ya mikono, ikiwa na uwezekano mkubwa wa makosa na gharama kubwa ya maboresho.

Baada ya muunganisho:

1. Andika hati katika BigBanana, kisha AI itagawanya storyboard kiotomatiki
2. Weka mandhari, wahusika na vifaa kwa kila storyboard
3. Kwa mbofyo mmoja, tuma kwenye Infinite Canvas kwa uboreshaji wa maelekezo + uundaji wa AI
4. Picha/video zilizoundwa hujazwa kiotomatiki kwenye storyboard
5. Hakiki, badilisha mpangilio na uhamishe video iliyokamilika kwenye kalenda ya matukio

Imeondoa 80% ya kazi za kuhamisha maudhui kati ya hatua.

3.2 👁️ Udhamini wa kiwango cha viwandani wa uthabiti wa wahusika

Changamoto kubwa ya drama fupi za AI ni wahusika kutokuwa thabiti kutoka sehemu moja hadi nyingine—sifa za uso, mavazi na mitindo ya nywele za mhusika huyo huyo zinaweza kubadilika katika storyboard tofauti.

Suluhisho la BigBanana × Infinite Canvas:

• Mfumo wa kuweka mwonekano wa mhusikaWeka visualPrompt (maelezo ya mwonekano) + referenceImage (picha ya marejeo) + turnaround (picha za mhusika kutoka pembe nyingi) kwa kila mhusika
• Kuingiza muktadha kiotomatikiKila storyboard inapotumwa kwenye turubai, maelezo ya mwonekano na picha ya marejeo ya mhusika huunganishwa kiotomatiki
• Kufunga marejeo upande wa turubaiInfinite Canvas hutumia picha ya marejeo kama ingizo la ControlNet/IP-Adapter, na hivyo kuhakikisha matokeo yanayoundwa yanaendana na muundo wa mhusika
• Vifaa hufuata kanuni hiyo hiyoMaelezo na picha za marejeo za vifaa pia hutumwa pamoja ili kuhakikisha mwonekano thabiti wa vitu

3.3 ⚡ Maboresho ya haraka: kutoka «kusubiri nusu saa» hadi «kurekebisha kwa dakika tano»

Katika mchakato wa jadi wa uundaji wa AI, unarekebisha maelekezo → unasubiri uundaji → huridhiki → unarekebisha tena → unasubiri tena……Mzunguko wa maboresho huwa mrefu sana.

Njia ya maboresho baada ya muunganisho:

Huridhiki → Rekebisha storyboard katika BigBanana → Tuma tena kwenye turubai → Unda matoleo mengi kwa wakati mmoja
         → Chagua toleo bora → Sawazisha kiotomatiki kwenye storyboard → Endelea na inayofuata

Infinite Canvas inasaidia uundaji wa kundi na kulinganisha matoleo, hivyo unaweza kuunda matoleo 4-8 kwa mara moja kwenye turubai na kusawazisha lililo bora zaidi.

3.4 🔧 «Hali ya kina» kwa watumiaji wa kitaalamu

Kwa watumiaji wa hali ya juu, muunganisho huu hutoa njia mbili za uundaji:

Unaweza kubadilisha kati ya hali hizi mbili wakati wowote, bila kuzuiwa na zana.

IV. Matukio halisi ya matumizi

Tukio la kwanza: Mtoa maudhui ya video fupi anayechapisha kila siku

1. Asubuhi, ingiza muhtasari wa hati katika BigBanana; AI itagawa storyboard 8 ndani ya dakika 10
2. Chagua mandhari na violezo vya wahusika kwa kila storyboard
3. Tuma kwa kundi kwenye Infinite Canvas; wakati wa mapumziko ya mchana, keyframe zote zitaundwa kwa wakati mmoja
4. Alasiri, chagua matokeo na rekebisha kidogo picha zisizoridhisha
5. Jioni, hamisha MP4 na uchapishe kwenye jukwaa la video fupi

Shinikizo la uzalishaji wa kila siku limebadilika kutoka “hali isiyowezekana” kuwa “hali inayoweza kudhibitiwa”.

Tukio la pili: Uzalishaji wa viwandani katika studio ya anime

1. Mwandishi anakamilisha uchanganuzi wa hati na usanifu wa wahusika katika BigBanana
2. Idara ya sanaa inakamilisha mwonekano wa wahusika kutoka mitazamo mitatu katika StageAssets
3. Mchoraji wa storyboard anachora rasimu za storyboard katika kituo cha kazi cha mkurugenzi
4. Kila storyboard hutumwa kwenye Infinite Canvas, na kutumia mtiririko wa ComfyUI kwa utengenezaji wa ubora wa juu
5. Mhariri wa baada ya utengenezaji hupokea kifurushi cha nyenzo kilichounganishwa na kuanza uhariri moja kwa moja

Ulinganifu wa wahusika + Uendeshaji sambamba wa mchakato = Uwezo wa uzalishaji mara mbili.

Tukio la tatu: Muundaji huru kama “jeshi la mtu mmoja”

Mtu mmoja + BigBanana + Infinite Canvas = timu kamili ya kutengeneza drama fupi:

• Mwandishi → Uchambuzi wa hati kwa AI
• Mchoraji → Mwonekano wa wahusika + usanidi wa matukio
• Mkurugenzi → Kituo cha kazi cha storyboard
• Mpiga picha → Injini ya utengenezaji ya Inifinite Canvas
• Mhariri → Mstari wa muda + uhamishaji

Uwezo wa mtu mmoja, matokeo ya timu nzima.

Tano. Mpango wa baadaye

Awamu ya 1: Tayari imetekelezwa ✅

•  Mawasiliano ya daraja la postMessage kati ya BigBanana na Infinite Canvas
•  Uchapishaji kwa mbofyo mmoja wa data ya storyboard (tukio + mhusika + kifaa + kitendo + mazungumzo)
•  Matokeo ya utengenezaji kwenye turubai huandikwa kiotomatiki kwenye fremu muhimu za storyboard
•  Usaidizi wa hali mbili: picha/video
•  Uunganishaji wa picha za marejeo upande wa turubai (picha ya marejeo ya tukio + picha ya marejeo ya mhusika + picha ya marejeo ya kifaa)
•  Upakiaji maalum wa nodi ya Output (nyenzo za ziada za picha/video)
•  Lugha ya usanifu inayolingana na Infinite-Canvas (mandhari ya samawati-kijivu iliyokolea, pembe laini, mwonekano wa kioo)

Awamu ya 2: Mipango ya karibu 🚧

• Utengenezaji wa storyboard kwa wingi Chagua storyboard nyingi, zitume kwenye turubai kwa mara moja, na utengeneze fremu zote muhimu kwa sambamba
• Violezo vya mtiririko wa ComfyUI Weka mapema mitiririko ya ComfyUI katika BigBanana, kisha ulinganishe kiotomatiki wakati wa kutuma storyboard
• Kufunga mhusika kwa IP-Adapter Upande wa turubai hupakia kiotomatiki picha ya marejeo ya mhusika kama ingizo la IP-Adapter, hivyo kutoa uhakikisho thabiti zaidi wa ulinganifu
• Usimamizi wa historia ya utengenezaji Kila storyboard huhifadhi matoleo yote yaliyotengenezwa, na kusaidia kurejesha na kulinganisha
• Uboreshaji wa vidokezo upande wa turubai Tumia nodi ya LLM kuboresha kiotomatiki vidokezo vya mtumiaji

Awamu ya 3: Dira ya muda wa kati 🔮

• Ushirikiano wa turubai nyingi Kisa kimoja cha BigBanana huunganisha visa vingi vya Infinite Canvas, na kuwezesha utengenezaji sambamba uliosambazwa kwa kweli
• Udhibiti wa ubora kwa AI Matokeo yaliyotengenezwa hupigwa alama kiotomatiki (muundo, ulinganifu, mantiki ya vitendo), na yale yasiyofaa hujaribiwa tena kiotomatiki
• Ujazi wa fremu muhimu za video Baada ya kutengeneza fremu za mwanzo na mwisho, AI hukamilisha kiotomatiki fremu za mpito zilizo katikati
• Utengenezaji uliosawazishwa wa sauti na picha Sauti + picha hutengenezwa kwa wakati mmoja na kusawazishwa kiotomatiki
• Turubai ya wingu Infinite Canvas huwekwa kwenye seva ya wingu, na timu hushiriki kisa kimoja cha turubai

Awamu ya 4: Mtazamo wa muda mrefu 🌟

• Ushirikiano wa wakati halisi Watu wengi huhariri hati kwa pamoja katika BigBanana na kutengeneza kwa ushirikiano kwenye turubai inayoshirikiwa
• Msaidizi wa mkurugenzi wa AI Mapendekezo mahiri ya storyboard yanayotegemea LLM, uchanganuzi wa lugha ya kamera, na mapendekezo ya udhibiti wa mdundo
• Kiwanda cha drama fupi kiotomatiki kabisa Ingiza muhtasari wa hadithi → AI hukamilisha kiotomatiki hati → usanifu wa wahusika → storyboard → utengenezaji → uhariri → muziki → video iliyokamilika
• Mfumo wa wazi wa programu-jalizi Wasanidi wa wahusika wengine wanaweza kuandaa programu-jalizi za turubai, adapta za miundo na mipangilio ya mitindo kwa BigBanana

Sita. Anza haraka

Mahitaji ya mazingira

• Node.js 18+ (kuendesha kiolesura cha BigBanana)
• Python 3.10+ (kuendesha seva ya nyuma ya Infinite Canvas)
• Angalau kadi moja ya NVIDIA inayotumia CUDA (inapendekezwa VRAM ya 8GB+)

Hatua za kuanzisha

# 1. Anzisha seva ya nyuma ya Infinite Canvas
cd Infinite-Canvas
python main.py
# 2. Anzisha seva ya maendeleo ya kiolesura cha BigBanana
cd BigBanana-AI-Director-main
npm install
npm run dev
# 3. Fungua kivinjari na utembelee
# BigBanana: http://localhost:5173
# Infinite Canvas: http://127.0.0.1:3000
# 4. Katika kituo cha kazi cha mkurugenzi cha BigBanana, bofya “Turubai Infinite Canvas”
# Subiri muunganisho wa daraja la iframe ukamilike (hali ionyeshe “Inapatikana”)
# Bofya “Chapisha kwenye turubai ili kutengeneza” au “Tuma ili kutengeneza”

Sanidi Comfyui

Katika Infinite-Canvas, pakia mtiririko maalum wa maandishi-hadi-picha, picha-hadi-picha, na video ya marejeo ya matumizi yote. Ikiwa huna mtiririko, unaweza kufuatilia na kuacha ujumbe “素材” ili kuupata kiotomatiki.

Saba. Hitimisho

Ujumuishaji wa BigBanana AI Director na Infinite Canvas si muunganisho rahisi wa zana mbili tu, bali ni uimarishaji wa dhana ya uundaji:

 Kutoka “mtu anayeendesha zana” hadi “mtu anayeongoza mfumo”.
 Kutoka “kutengeneza kimoja baada ya kingine” hadi “uzalishaji sambamba wa mstari wa kazi”.
 Kutoka “muundaji binafsi” hadi “timu ya mtu mmoja”.

Tunaamini AI haitachukua nafasi ya uwezo wa muundaji wa kufanya maamuzi na kuwa na ladha ya kisanii, lakini inaweza kuchukua nafasi ya kazi za utekelezaji zinazorudiwa, zinazotumia muda mwingi na zenye ubunifu mdogo. Andika hati, rekebisha wahusika, panga storyboard vizuri, kisha uachie turubai yaliyosalia.

Uundaji haumaliziki, maboresho hayaishii. 🚀

BigBanana AI Director × Infinite Canvas — Fanya kila mstari wa hadithi uwe turubai inayopanuka bila kikomo.

Fuata GC随笔 ili kupata maarifa zaidi ya kisasa kuhusu AI.