Kutengeneza Video za Kubadilisha Wahusika kwa AI kwa kutumia Claude Skill na Seedance 2.5

Utangulizi wa mradi

“AI Character Swap” ni Skill inayolenga Claude. Lengo lake ni kubadilisha watu katika video maarufu tayari na kuwaweka wahusika asilia wa AI uliowabuni, huku ikihifadhi kwa kadiri inavyowezekana mienendo na mpangilio wa video asilia.

Mradi huu hauhusiki tu na kutumia Seedance 2.5 kubadilisha wahusika kwenye video, bali pia unashughulikia usanifu wa wahusika, vidokezo vya picha za muundo, usimamizi wa wasifu wa wahusika, ukaguzi wa video chanzo, utengenezaji wa video za ulinganisho, pamoja na utengenezaji wa maandishi ya kuchapisha kwenye TikTok, Instagram na X.

Mhusika wa mfano “Bw. Wen” anaunganisha kichwa cha msomi wa Enzi ya Ming na mwili wa mfanyakazi wa ofisini: fundo kubwa la nywele limechomekwa kwa mlamba wa jade, amevaa suti kubwa kuliko kawaida, soksi nyeupe na slippers. Katika mfano huu, mtu wa video asilia anabadilishwa huku mienendo ikibaki ileile.

Vipengele muhimu

• Sanifu mhusika asilia: Kwa kuzingatia kanuni ya “jambo la kupita kiasi liwe sehemu ya mwili wa mtu, si kitu anachovaa,” tengeneza mpango wa mhusika na vidokezo vya picha ya muundo.
• Hifadhi wasifu wa mhusika: Hifadhi picha za muundo, picha ya uso wa mbele na maelezo ya mwonekano ili zitumike tena wakati wa kubadilisha wahusika na kupunguza mabadiliko ya sura.
• Kagua video chanzo: Ripoti kiotomatiki ubora wa picha na muda wa video, iongeze ukubwa inapokuwa na pikseli chache, na itengeneze picha za hakiki.
• Tengeneza vidokezo vya kubadilisha wahusika: Kusaidia kubadilisha mtu mmoja au watu wengi, na kuoanisha nyenzo husika kwa nambari za @picha.
• Tumia Seedance 2.5: Tuma kazi kiotomatiki kupitia BytePlus ModelArk au API ya Volcano Ark, fuatilia hali yake na pakua matokeo.
• Tengeneza video ya ulinganisho: Panga video asilia na video iliyobadilishwa kando kwa kando, ongeza lebo na epuka mipaka myeusi.
• Andaa maudhui ya kuchapisha: Tengeneza mapendekezo ya manukuu ya TikTok na Instagram, pamoja na maandishi yanayofaa kwa mfululizo wa mafunzo kwenye X.

Muundo wa faili za mradi

Faili na saraka kuu za mradi ni hizi:

• skills/ai-character-swap/SKILL.md: Skill yenyewe inayotumiwa na Claude.
• skills/ai-character-swap/scripts/seedance_swap.py: Skripti ya Python inayoandamana na mradi, inayohitaji Python 3 na ffmpeg pekee.
• 新手说明.md: Maelekezo kwa watumiaji wasiozoea mstari wa amri, yakiwa na njia ya kukamilisha mchakato kupitia toleo la wavuti.
• examples/: Saraka ya video za mfano za ulinganisho za mradi.

Maandalizi

Sakinisha ffmpeg

Skripti ya mradi inahitaji ffmpeg kuchakata video. Watumiaji wa macOS wanaweza kuisakinisha kupitia Homebrew:

brew install ffmpeg

Watumiaji wa Windows wanaweza kutumia winget:

winget install ffmpeg

Skripti yenyewe inahitaji Python 3 na ffmpeg pekee. Baada ya usakinishaji, inashauriwa kuthibitisha kuwa amri hizi mbili zinafanya kazi ipasavyo kwenye terminal.

Washa Seedance 2.5 API

Ikiwa ungependa Claude itume kiotomatiki kazi za kubadilisha wahusika na kupakua video, unahitaji kuwasha Seedance 2.5 API na kuunda API Key. Mradi unasoma ufunguo kupitia kigezo cha mazingira ARK_API_KEY:

export ARK_API_KEY="API_Key_yako"

Kwenye Windows, weka kigezo cha mazingira kulingana na terminal unayotumia. Usiandike API Key halisi moja kwa moja kwenye msimbo wa umma au kuichapisha kwenye hazina.

Njia ya kwanza: Mwachie Claude iendeshe kiotomatiki

1. Sakinisha ffmpeg na uandae mazingira ya Python 3.
2. Washa Seedance 2.5 API, unda API Key na uweke ARK_API_KEY.
3. Ongeza skills/ai-character-swap/ ya mradi kama Skill ya Claude.
4. Andaa picha ya mhusika asilia na video yenye mtu wa kubadilishwa.
5. Tuma picha ya mhusika na video kwa Claude kwenye kompyuta yako, kisha eleza mtu anayepaswa kubadilishwa.

Maelezo ya msingi ya kazi yanaweza kuwa:

Badilisha mtu aliye kwenye video na “Bw. Wen”. Tafadhali kagua video kwanza, tumia picha na maelezo ya mwonekano kutoka kwenye wasifu wa mhusika kutengeneza vidokezo vya kubadilisha mhusika, kisha tengeneza video ya ulinganisho wa pande mbili na utoe maandishi ya kuchapisha.

Claude itashughulikia taarifa za mhusika, video chanzo na kazi ya Seedance kulingana na mchakato wa Skill. Ikiwa video ina wahusika wengi, eleza wazi ni yupi anayepaswa kubadilishwa, au omba wahusika kadhaa wabadilishwa kwa wakati mmoja.

Njia ya pili: Tumia toleo la wavuti bila kuandika msimbo

Ikiwa hujazoea mstari wa amri au API, soma Maelekezo kwa wanaoanza kwenye mradi na utumie “Njia ya kwanza: Toleo la wavuti”. Njia hii hutumia ChatGPT pamoja na toleo la wavuti la Seedance kubuni wahusika na kubadilisha video, bila kuendesha skripti ya mradi moja kwa moja.

Njia ya wavuti inafaa kwa kujaribu mchakato mzima kwanza. Unapohitaji kutuma kazi, kufuatilia hali na kupakua matokeo kiotomatiki, tumia mchanganyiko wa Claude Skill na Seedance 2.5 API.

Mchakato kamili wa utengenezaji

1. Sanifu mhusika asilia

Anza kwa kubainisha utofauti mkuu wa mhusika na alama yake ya kuona. Mradi unasisitiza kuwa sifa zilizotiwa chumvi ziwe sehemu ya mwili na sura ya mhusika, badala ya kuongeza vazi moja tu. Baada ya kukamilisha usanifu, tengeneza vidokezo vya picha ya muundo na uandae picha ya uso wa mbele wa mhusika.

2. Unda wasifu wa mhusika

Panga picha ya muundo, picha ya uso wa mbele na maelezo ya mwonekano katika wasifu wa mhusika. Kutumia wasifu huo kila mara unapobadilisha mhusika husaidia kudumisha uthabiti wa nywele, sifa za uso, umbo la mwili na mavazi.

3. Kagua video chanzo

Mkabidhi Claude au mchakato unaoandamana na mradi video unayotaka kuchakata, kisha upate kwanza taarifa za ubora wa picha na muda. Ikiwa video chanzo ina pikseli chache, mchakato utaongeza ukubwa kiotomatiki na kutengeneza picha za hakiki ili kusaidia kuthibitisha kama nyenzo inafaa kuendelea kuchakatwa.

4. Tengeneza vidokezo vya kubadilisha wahusika

Tengeneza vidokezo kulingana na wasifu wa mhusika na maudhui ya video. Nyenzo zinapokuwa nyingi, tumia nambari za @picha ili kuoanisha picha za wahusika na picha za marejeo kwenye vidokezo. Unapobadilisha mtu mmoja, bainisha mlengwa wazi. Unapobadilisha watu wengi, eleza picha na mtu anayehusishwa na kila mhusika.

5. Tumia Seedance 2.5

Mchakato wa API utatuma kazi kiotomatiki, kufuatilia hali ya utengenezaji na kupakua matokeo baada ya kazi kukamilika. seedance_swap.py ya mradi hutoa uwezo huu wa ziada. Muundo maalum wa maombi umeandaliwa kulingana na msimbo rasmi wa BytePlus wa kuunganisha Seedance 2.5 na ComfyUI.

Unapotumia API kwa mara ya kwanza, inashauriwa kutumia chaguo la --dry-run la skripti kukagua mchakato na maombi, badala ya kuanza moja kwa moja na video ndefu. Baada ya kuthibitisha usanidi, tumia video fupi kwa jaribio halisi.

6. Tengeneza video ya ulinganisho

Baada ya kuthibitisha matokeo ya kubadilisha mhusika, tengeneza video ya ulinganisho wa pande mbili: video asilia ibaki upande wa kushoto, na matokeo ya AI yawekwe upande wa kulia, kisha uongeze lebo zinazoeleweka. Mradi hushughulikia mpangilio wa picha kwa lengo la kuzuia mipaka myeusi na kurahisisha kutumia video iliyokamilika kuonyesha matokeo.

7. Tengeneza maandishi ya kuchapisha

Hatimaye, mwombe Claude itengeneze mapendekezo ya manukuu ya TikTok na Instagram kulingana na video iliyokamilika, au iyapange kuwa mfululizo wa mafunzo kwenye X. Kabla ya kuchapisha, hakikisha maandishi yanaeleza kwa usahihi kuwa video imetumia AI.

Mapendekezo ya matumizi ya hali ya juu

Weka wasifu wa mhusika kuwa thabiti kwanza

Usimweleze upya mhusika kila unapobadilisha video. Kuendelea kutumia picha ileile ya muundo, picha ya uso wa mbele na maelezo ya mwonekano kunaweza kupunguza kutokuwiana kwa mhusika kati ya video tofauti.

Anza na video fupi, kisha ndefu

Kwa sasa inashauriwa kuendesha sehemu ya API kwa tahadhari. Tumia kwanza --dry-run kukagua ombi, kisha tumia video fupi kuthibitisha API Key, vigezo vya video na mchakato wa kupakua. Baada ya kufanikiwa, endelea na nyenzo rasmi.

Bainisha uhusiano kati ya watu na picha

Kwenye video yenye watu wengi, vidokezo vinapaswa kueleza wazi mtu anayepaswa kubadilishwa na kutumia nambari za @picha kuhusisha nyenzo sahihi za mhusika. Hii husaidia kuzuia picha ya mhusika kuhusishwa na mtu asiye sahihi.

Zingatia hakimiliki ya video na haki ya picha

Mradi unahitaji wahusika wawe asilia. Usitumie picha za watu mashuhuri, watu wenye ushawishi mtandaoni au watu unaowafahamu kuunda wahusika, kwani hilo linaweza kusababisha kuzuiwa na jukwaa au kuleta matatizo ya haki ya picha.

Washa lebo ya AI unapochapisha

Unapochapisha kwenye TikTok na Instagram, weka alama ya maudhui yaliyotengenezwa na AI kulingana na mahitaji ya jukwaa. Video ya ulinganisho na maandishi ya kuchapisha pia havipaswi kumfanya mtazamaji aamini kimakosa kuwa nyenzo yote ilirekodiwa katika hali halisi.

Hali ya mradi na mwelekeo wa kutatua hitilafu

Ukaguzi wa video, utengenezaji wa vidokezo na utengenezaji wa video za ulinganisho vimejaribiwa kwa mafanikio kwa kutumia nyenzo za mfano. Sehemu ya API imeandaliwa kulingana na msimbo rasmi wa BytePlus, hivyo unapaswa kwanza kufanya dry run na kisha kuthibitisha kwa video fupi.

Ukipata tatizo, kagua kwanza kama ffmpeg imesakinishwa, kama ARK_API_KEY imewekwa kwa usahihi, na kama video ni ndefu sana au ina ubora mdogo wa picha. Pia soma maelekezo kwenye hazina ya mradi. Ikiwa bado huwezi kulitatua, unaweza kuwasilisha Issue kwenye mradi.

Hitimisho

“AI Character Swap” inaunganisha usanifu wa wahusika, usimamizi wa uthabiti wa wahusika, ukaguzi wa video, matumizi ya Seedance 2.5 API, utengenezaji wa video za ulinganisho na maandishi ya kuchapisha katika Claude Skill moja. Unaweza kuanza kwa kujifunza mchakato kupitia toleo la wavuti, au kusanidi API na kumruhusu Claude akamilishe kiotomatiki mchakato mzima kuanzia ukaguzi wa nyenzo hadi kutoa video iliyokamilika.

Kabla ya kuanza, zingatia kanuni mbili: tumia wahusika asilia na weka alama sahihi ya maudhui ya AI unapochapisha. Hii itasaidia kutumia tena wahusika kwa uthabiti zaidi na kupunguza hatari za hakimiliki, haki ya picha na uzingatiaji wa masharti ya majukwaa.