Kutengeneza Video ya Uwasilishaji ya Avatar ya Kidijitali kwa Codex Skill: Kuanzia Kuanzisha Kazi hadi Ukaguzi wa Ubora

Utangulizi wa Mradi

lanshu-create-ai-presenter-video ni Skill ya jumla ya kutengeneza video za avatar za kidijitali kwa Codex. Unahitaji tu kutoa mada au maandishi kamili, pamoja na picha ya rejeleo iliyoidhinishwa yenye mtu mzima anayeonekana wazi, na Skill hii itaweza kupanga hatua kuu za utengenezaji wa video ya avatar ya kidijitali.

Mchakato kamili unajumuisha kusafisha maandishi, kutengeneza sauti, kuunda mhusika, kusawazisha midomo, kuweka manukuu, uhuishaji wa maneno muhimu, uhariri, uonyeshaji na ukaguzi wa ubora. Mradi huu huchagua uwezo kulingana na zana zinazopatikana katika mazingira ya sasa, bila kufunga msimbo wa chanzo kwenye mtoa huduma, jina la modeli au API ya faragha.

Skill hii si modeli huru ya kutengeneza video. Inahitaji kuendeshwa katika mazingira ya Codex au Agent inayooana na Skill za ndani, na hutegemea uwezo wa kutengeneza video, sauti na kusawazisha midomo unaoweza kuitwa katika mazingira hayo.

Sifa Kuu

• Haifungamani na mtoa huduma: Mtiririko wa kazi hautegemei modeli, jukwaa au API ya faragha mahususi.
• Mlolongo kamili wa utengenezaji: Kuna mchakato unaolingana kwa ukaguzi wa ingizo, maandishi na sauti, uhariri, manukuu, jalada, uhamishaji na ukaguzi.
• Msingi mmoja wa muda: Sauti kamili hutumiwa kama mhimili wa muda wa video nzima, unaoweka mahali video ya mhusika, manukuu, picha, maneno muhimu na mipito.
• Upakiaji wa marejeleo kwa hatua: Codex husoma hati husika tu inapoingia katika hatua inayolingana, ili kupunguza matumizi ya muktadha.
• Udhibiti wa gharama: Kwanza hutengeneza video ya majaribio ya mhusika kwa gharama ndogo, pamoja na maelezo ya uzalishaji wa kulipia, kikomo cha majaribio tena na kanuni za kurejesha kazi iliyokatika.
• Usalama na faragha: Thibitisha idhini kabla ya kupakia picha ya mtu au kunakili sauti; hazina haihifadhi funguo za API, tokeni za ufikiaji au nyenzo za mtumiaji.
• Uwasilishaji sanifu: Malengo ya mchakato yanajumuisha kutoa toleo kuu, toleo la kushiriki na ripoti ya QA.

Kuandaa Ingizo na Mazingira ya Uendeshaji

Ingizo la Chini Kabisa

1. Mada ya video au maandishi kamili.
2. Picha ya rejeleo iliyoidhinishwa yenye mtu mzima anayeonekana wazi.

Unaweza pia kutoa sampuli ya sauti, rekodi ya skrini, picha, B-roll, nyenzo za chapa, jukwaa lengwa, muda wa video, uwiano wa mlalo na wima, mtindo wa kuona, watermark na mwito wa mwisho wa kuchukua hatua. Sampuli ya sauti inaweza kutumiwa kunakili sauti tu baada ya kupata idhini inayofaa.

Mahitaji ya Mazingira

• Mazingira ya Codex au Agent inayooana na Skill za ndani.
• Python 3.9+.
• FFmpeg na ffprobe.
• Bash, jq, awk na sed.
• Angalau uwezo mmoja wa kutengeneza video, sauti na kusawazisha midomo unaoweza kuitwa katika mazingira ya sasa.

Kabla ya kuanza kazi, thibitisha kuwa amri hizi na uwezo wa uzalishaji zinapatikana katika mazingira ya sasa. Unaweza kuutazama hazina ya mradi kwenye GitHub.

Kusakinisha Skill

Tekeleza amri ifuatayo ili kuiga hazina kwenye saraka ya Skill ya Codex:

git clone https://github.com/cclank/lanshu-create-ai-presenter-video.git \
  ~/.codex/skills/lanshu-create-ai-presenter-video

Baada ya usakinishaji, njia inapaswa kuwa:

~/.codex/skills/lanshu-create-ai-presenter-video

Kuelewa Muundo wa Saraka

lanshu-create-ai-presenter-video/
├── SKILL.md
├── README.md
├── agents/
│   └── openai.yaml
├── assets/
│   └── job.template.json
├── references/
│   ├── generation.md
│   ├── editing.md
│   └── qa-recovery.md
└── scripts/
    ├── init_job.py
    ├── preflight.py
    └── finalize_delivery.sh

Hati tatu za marejeleo hutumika katika hatua tofauti za utengenezaji:

• generation.md: Hushughulikia ukaguzi wa ingizo, maandishi, sauti, uteuzi wa uwezo, uzalishaji wa kulipia, vidokezo vya mhusika na uthabiti.
• editing.md: Hushughulikia mhimili wa muda, mwanzo na mwisho, mipangilio ya manukuu, uhuishaji wa maneno muhimu kando ya mhusika, jalada na uhamishaji.
• qa-recovery.md: Hushughulikia ukaguzi wa kiufundi, ukaguzi wa kibinadamu na utatuzi wa hitilafu za kawaida.

Njia ya Kwanza: Kuunda Video Moja kwa Moja Kwenye Mazungumzo

Njia rahisi zaidi ni kuita Skill hii waziwazi katika mazungumzo ya Codex na kutoa maandishi, picha ya mhusika na mahitaji ya video kwa pamoja. Kwa mfano:

Tumia $lanshu-create-ai-presenter-video kutengeneza video ya uwasilishaji ya avatar ya kidijitali kutokana na maandishi haya na picha ya mhusika, ikiwa na uwiano wa 16:9, muda wa sekunde 30 na manukuu ya wakati halisi.

Unapowasilisha ombi, inashauriwa pia kutaja mahali pa nyenzo, jukwaa lengwa, muda, uwiano wa picha, aina ya manukuu, mtindo, watermark na mwito wa mwisho wa kuchukua hatua. Ikiwa hakuna sampuli ya sauti iliyoidhinishwa, mfumo utachagua sauti ya hifadhi inayofaa badala ya kunakili sauti bila ruhusa.

Njia ya Pili: Kuanzisha Saraka Sanifu ya Kazi

Kwa miradi inayohitaji kukagua usanidi, kuhifadhi rekodi za kazi au kutekelezwa kwa hatua, unaweza kwanza kutumia hati ya hazina kuunda saraka sanifu ya kazi.

Hatua ya Kwanza: Kuweka Njia ya Skill

SKILL_DIR=~/.codex/skills/lanshu-create-ai-presenter-video

Hatua ya Pili: Kuanzisha Kazi

python3 "$SKILL_DIR/scripts/init_job.py" \
  --job-dir ~/Videos/my-presenter-video \
  --presenter-image ~/Pictures/presenter.png \
  --topic "Mada ya video" \
  --duration 60 \
  --aspect 9:16 \
  --rights-confirmed \
  --adult-presenter-confirmed

Mfano huu huunda kazi yenye muda wa sekunde 60 na uwiano wa 9:16. --rights-confirmed humaanisha kuwa haki za kutumia picha ya mhusika zimethibitishwa, huku --adult-presenter-confirmed ikimaanisha kuwa mhusika katika picha ya rejeleo amethibitishwa kuwa mtu mzima.

Tumia vigezo hivi vya uthibitisho tu baada ya kukamilisha ukaguzi wa idhini na hali ya mhusika. Kabla ya kupakia kwa mbali, bado unapaswa kukagua maelezo ya idhini katika usanidi wa kazi.

Hatua ya Tatu: Kukamilisha job.json

Baada ya kuanzisha, ingia kwenye saraka ya kazi na utazame job.json iliyoundwa. Kamilisha vipengele vya ukaguzi wa kibinadamu na idhini ya kupakia kwa mbali kulingana na hali halisi ya kazi. Usitume picha ya mtu, sampuli ya sauti au nyenzo nyingine isiyoidhinishwa kwa huduma za mbali.

Hatua ya Nne: Kuendesha Ukaguzi wa Awali

python3 "$SKILL_DIR/scripts/preflight.py" ~/Videos/my-presenter-video/job.json

Ukaguzi wa awali hutumika kuthibitisha usanidi wa kazi kabla ya uzalishaji rasmi. Shughulikia kwanza matatizo yaliyoibuliwa na ukaguzi huu kabla ya kuingia katika hatua za video, sauti au kusawazisha midomo ambazo zinaweza kugharimu.

Kuelewa Mchakato Kamili wa Utengenezaji

1. Kupokea mada au maandishi pamoja na picha ya mhusika: Thibitisha kuwa nyenzo zinatumika na ukague idhini ya picha pamoja na hali ya mhusika kuwa mtu mzima.
2. Kufunga maandishi na sauti kamili: Kwanza amua maudhui ya mwisho ya masimulizi, kisha tengeneza sauti ya video nzima.
3. Kutengeneza video ya majaribio ya gharama ndogo: Thibitisha mwonekano wa mhusika na njia ya kiufundi kabla ya uzalishaji mkubwa wa kulipia.
4. Kuunda nyenzo kuu endelevu za avatar ya kidijitali: Tengeneza picha kuu kulingana na sauti na mipangilio ya mhusika iliyothibitishwa.
5. Kuhariri kwa kutumia mhimili mmoja wa muda wa sauti: Fanya picha ya mhusika, manukuu, picha, maneno muhimu na mipito itumie msingi mmoja wa muda.
6. Kuongeza manukuu, uhuishaji wa maneno muhimu na jalada: Kamilisha uimarishaji wa taarifa na ufungashaji wa kuchapisha.
7. Kutekeleza ukaguzi wa ubora: Kagua usawazishaji wa midomo, uthabiti wa mhusika, sauti na ubora wa picha.
8. Kukamilisha uwasilishaji: Toa toleo kuu, toleo la kushiriki na ripoti ya QA.

Sauti kamili ndiyo msingi muhimu wa mchakato. Kufunga sauti kwanza na kupanga video pamoja na manukuu kuizunguka hupunguza kuyumba kwa usawazishaji wa midomo na matatizo ya kuunganisha vipande tofauti.

Mipangilio ya Chaguo-msingi ya Matokeo

Ikiwa hakuna mahitaji mahususi zaidi, mtiririko wa kazi hutumia mwelekeo ufuatao wa chaguo-msingi:

• Video wima 9:16, mwonekano 1080×1920, fremu 30fps.
• Video zinazotengenezwa kutokana na mada kwa kawaida huwa na muda wa sekunde 45 hadi 75.
• Ikiwa hakuna sampuli ya sauti iliyoidhinishwa, hutumika sauti ya hifadhi inayofaa.
• Muundo kwa kawaida huwa na mwanzo unaoeleweka, midundo 2 hadi 4 ya maudhui na mwisho mfupi.
• Muziki na mwito wa kibiashara huongezwa kulingana na mahitaji.
• Lengo la sauti ya kuchapisha huwa takriban -16 LUFS.

Ikiwa lengo ni video ya mlalo, taja wazi 16:9 kama katika mfano wa mazungumzo; ikiwa unataka maudhui ya majukwaa ya video fupi, unaweza kubaki na 9:16 ya chaguo-msingi au kuweka wazi --aspect 9:16 wakati wa kuanzisha kazi.

Mbinu za Kina za Matumizi

Funga Sauti Kwanza, Kisha Panga Vipengele Vyote vya Kuona

Usitengeneze mihimili ya muda isiyohusiana kwa manukuu, picha na vipande vya mhusika. Tengeneza na uthibitishe sauti kamili kwanza, kisha linganisha manukuu, picha ya mhusika, uhuishaji wa maneno muhimu na mipito na sauti hiyo hiyo ili kuboresha usawazishaji wa jumla.

Tengeneza Video ya Majaribio Kabla ya Uzalishaji wa Kulipia

Kabla ya kuingia kwa mara ya kwanza katika uzalishaji wa kulipia, eleza wazi maudhui yatakayopakiwa, muda wa uzalishaji, msingi wa bei, mpango wa video ya majaribio na kikomo cha majaribio tena. Video ya majaribio ya gharama ndogo inaweza kufichua mapema matatizo ya mwonekano wa mhusika, usawazishaji wa midomo au uoanifu wa zana na kuzuia upotevu wa kutengeneza video kamili moja kwa moja.

Baada ya Kukatika, Rejesha Kazi Iliyopo Kwanza

Kazi ya mbali ikikatika, usiwasilishe ombi jipya mara moja. Kwanza tafuta kitambulisho cha kazi iliyopo na uthibitishe ikiwa bado inaendelea au tayari imetoa matokeo, ili kuepuka kutozwa mara mbili. Baada ya watahiniwa watatu wa kulipia kushindwa mfululizo, simamisha uzalishaji zaidi na fupisha tatizo.

Tenganisha Ukaguzi wa Kiufundi na Ukaguzi wa Kibinadamu

Ukaguzi wa kiufundi unaweza kugundua hitilafu katika faili na midia, huku ukaguzi wa kibinadamu ukipaswa kuzingatia kama usawazishaji wa midomo ni wa asili, mhusika ni thabiti, sauti inafaa, manukuu yanasomeka na picha inakidhi mahitaji ya kuchapisha. Kanuni zinazohusiana na ukaguzi na urejeshaji baada ya hitilafu ziko katika references/qa-recovery.md.

Linda Rekodi za Kazi na Faragha ya Nyenzo

• Usiandike funguo za API, tokeni za ufikiaji au anwani za upakuaji zilizosainiwa kwenye hazina.
• Ondoa vitambulisho na URL za muda kabla ya kuwasilisha rekodi za maombi ya kiwango cha kazi.
• Katika ripoti za ukaguzi wa awali na uwasilishaji, hifadhi majina ya faili pekee; usiandike njia kamili za kompyuta ya msanidi.
• Thibitisha haki za kutumia picha ya mtu kabla ya kupakia kwa mbali.
• Thibitisha idhini ya sauti kabla ya kutumia uwezo wa kunakili sauti.

Hitimisho

lanshu-create-ai-presenter-video hugawanya utengenezaji wa video za avatar za kidijitali katika hatua sanifu zinazoweza kukaguliwa na kurejeshwa, huku mhimili mmoja wa muda wa sauti ukipunguza matatizo ya usawazishaji wa midomo na uunganishaji wa uhariri. Baada ya kusakinisha Skill, unaweza kuanzisha kazi moja kwa moja katika mazungumzo ya Codex, au kwanza uanzishe job.json na utekeleze ukaguzi wa awali ili kudhibiti kwa umakini zaidi idhini, gharama, mchakato wa uzalishaji na ubora wa mwisho.

Mradi huu unatumia MIT License, inayoruhusu matumizi, marekebisho na usambazaji huru. Unaweza kuwasilisha maoni kupitia GitHub Issue, na kuchangia maboresho ya mtiririko wa kazi, uoanifu na ukaguzi wa ubora kupitia Pull Request.