Tengeneza Video za AI za Mtu Anayezungumza kutoka Picha Moja ukitumia Digital Human Koubo

Digital Human Koubo ni nini?

Digital Human Koubo ni Agent Skill ya chanzo-wazi ya kutengeneza video za AI zenye mtangazaji anayezungumza. Kwa kuanzia picha ya rejeleo iliyoruhusiwa na ombi la maudhui, wakala wa AI anaweza kuandaa hati ya mazungumzo, kutengeneza klipu za mtangazaji zilizosawazishwa na mwendo wa midomo, kukagua ubora wake, kuunganisha sauti, kuongeza manukuu na uwasilishaji wa picha, kisha kutoa MP4 iliyokamilika kwa kutumia Remotion.

Usanidi wa mtangazaji huhifadhiwa katika persona.json, ukiwa na rejeleo la uso, mavazi, maelezo ya sauti na kiolezo cha prompt. Hii huwezesha kutumia mtu huyo huyo wa kidijitali katika studio za matangazo ya moja kwa moja, madarasa, maduka, mitaa na matukio mengine yanayotengenezwa.

Tumia uso na sauti yako mwenyewe pekee, au nyenzo ambazo una ruhusa ya wazi ya kutumia. Usiige watu halisi au watayarishaji, na weka lebo kwenye video zilizokamilika kwamba ni maonyesho ya binadamu wa kidijitali yaliyotengenezwa na AI.

Vipengele muhimu

• Binadamu wa kidijitali anayetumika tena: Tengeneza mtangazaji thabiti kutokana na picha moja ya rejeleo na usanidi wa persona uliohifadhiwa.
• Uzalishaji uliosawazishwa na mwendo wa midomo: Gawanya hati ya mazungumzo katika sehemu zisizozidi sekunde 15 na uzitengeneze kwa Grok Video 1.5 kupitia Renoise MCP.
• Matumizi yanayotegemea idhini: Wakala huripoti idadi ya sehemu, muda, makadirio ya salio na salio la akaunti kabla ya uzalishaji. Husubiri idhini na hutengeneza sehemu ya kwanza kwa ukaguzi kabla ya kuanza sehemu zilizobaki kwa pamoja.
• Udhibiti wa ubora wa kiotomatiki: Hotuba iliyotengenezwa hunakiliwa kwa whisper na kulinganishwa na hati ya mazungumzo. Fremu nne kwa kila sehemu pia hukaguliwa ili kubaini matatizo kama vile manukuu yasiyotakiwa yaliyochomwa ndani ya video.
• Uthabiti wa sauti: Ulinganishaji wa spektra, kuondoa sauti za mkwaruzo, mwangwi wa pamoja wa chumba na urekebishaji wa kiwango cha sauti hufanya klipu zilizotengenezwa tofauti zisikike zaidi kama rekodi moja.
• Mitindo mitano ya uhariri: Wakala hupendekeza mitindo kulingana na mada, muundo, muda na hadhira inayolengwa.
• Zana ya uwasilishaji: Vipengele 48 hutoa hooks, kadi za ushahidi, vihesabu, ramani, kadi za sura, manukuu yaliyohuishwa, zoom za karibu na miundo mingine ya uhariri.
• Lugha nyingi: Kiingereza, Kijapani, Kikorea, Kifaransa, Kihispania na Kiarabu zimejaribiwa, huku whisper ikitumika kuthibitisha hotuba.
• Maandishi ya kina ya hiari: Kwenye macOS, ugawaji wa mtu kwa Apple Vision unaweza kuweka maandishi makubwa kati ya mandhari ya nyuma na mtangazaji.

Elewa mtiririko wa uzalishaji

Skill hii humwongoza wakala anayeoana kupitia mchakato ufuatao:

1. Kagua Renoise MCP, ffmpeg, Python, Node.js, Remotion na whisper.
2. Changanua maudhui, pendekeza mitindo miwili ya uhariri na kusanya chaguo zinazohitajika katika awamu moja ya maswali.
3. Tengeneza hati ya mazungumzo iliyogawanywa katika script.json, ukihakikisha klipu za hotuba zilizotengenezwa zinabaki ndani ya kikomo cha sekunde 15.
4. Toa makadirio ya gharama ya salio la Renoise na usubiri uthibitisho.
5. Tengeneza sehemu ya kwanza, omba idhini, kisha tengeneza sehemu zilizobaki.
6. Pakua klipu kwa usalama, nakili hotuba na kagua fremu zinazowakilisha video.
7. Tumia uunganishaji wa sauti na utengeneze ratiba ya kiwango cha neno katika tl.json.
8. Hariri kwa kiolezo cha mtindo wa Remotion na vipengele vilivyochaguliwa vya uwasilishaji.
9. Toa video, kagua mabadiliko na rekebisha kiwango cha mwisho cha sauti.

Kabla ya usakinishaji

Ili kuendesha mtiririko mzima wa kazi kiotomatiki, wakala wako lazima aweze kupakia Agent Skills, kuunganisha kwenye seva ya mbali ya MCP na kutekeleza amri za ndani. Claude Code ilitumika kujenga na kujaribu hazina hii. Codex inatarajiwa kufanya kazi na hati hizo hizo, huku OpenClaw, WorkBuddy na bidhaa nyingine zikiweza kufanya kazi zinapotoa uwezo huo wote mitatu.

Wakala anayeweza kutumia MCP na mazungumzo pekee bado anaweza kupanga video, kukadiria gharama za uzalishaji na kuunda klipu kupitia Renoise. Upakuaji wa ndani, ukaguzi wa ubora, uhariri na utoaji wa video lazima ukamilishwe na wakala anayeweza kutumia shell au kwa kuendesha amri zilizoandikwa mwenyewe.

Sakinisha Digital Human Koubo

1. Nakili hazina

git clone https://github.com/andyhuo520/digital-human-koubo.git
cd digital-human-koubo

2. Sakinisha Agent Skills zote mbili

Hazina hii ina skill kuu ya digital-human-koubo na injini ya finance-explainer inayotumiwa na Mtindo A. Watumiaji wa Claude Code wanaweza kusakinisha zote mbili kwa:

mkdir -p ~/.claude/skills
cp -R skills/digital-human-koubo skills/finance-explainer ~/.claude/skills/

Kwa Codex, zinakili kwenye saraka yake ya skills:

mkdir -p ~/.codex/skills
cp -R skills/digital-human-koubo skills/finance-explainer ~/.codex/skills/

Ikiwa wakala wako anaingiza skills kupitia kiolesura cha picha, tengeneza jalada la ZIP lenye folda zote mbili:

cd skills
zip -r ../digital-human-skills.zip digital-human-koubo finance-explainer
cd ..

3. Unganisha Renoise MCP

Fungua akaunti kwenye Renoise. Uthibitishaji hufanyika kwenye kivinjari, kwa hiyo huhitaji kubandika ufunguo wa API kwenye mradi.

Kwa Claude Code, sakinisha programu-jalizi rasmi:

/plugin marketplace add ArcoCodes/renoise-plugins-official
/plugin install renoise@renoise-plugins-official

Kwa Codex, ongeza na uthibitishe seva ya mbali ya MCP:

codex mcp add renoise --url https://renoise.ai/api/public/mcp
codex mcp login renoise

Wateja wengine wanaooana wanaweza kutumia https://renoise.ai/api/public/mcp kama URL maalum ya MCP ya mbali. Baada ya kuunganisha, mwombe wakala akague salio lako la Renoise. Hii inathibitisha uthibitishaji na ufikiaji wa zana kabla hujaanza kuzalisha mali za kulipia.

4. Sakinisha zana za uzalishaji za ndani

Mchakato wa ndani unahitaji ffmpeg, Python 3 yenye NumPy na Pillow, Node.js 18 au mpya zaidi, whisper.cpp, na modeli ya whisper. Kwenye macOS, usanidi wa kawaida ni:

brew install ffmpeg python node whisper-cpp
python3 -m pip install numpy pillow

Pakua ggml-medium-q5_0.bin kutoka kwenye mkusanyiko wa modeli za whisper.cpp na uiweke katika ~/models/. Vinginevyo, elekeza mchakato kwenye eneo tofauti:

export WHISPER_MODEL=/path/to/model.bin

Watumiaji wa Claude Code wanaweza kuendesha hati iliyojumuishwa ya uchunguzi. Hupuuza vitegemezi vilivyosakinishwa na huorodhesha chaguo kwa chochote kinachokosekana:

bash ~/.claude/skills/digital-human-koubo/scripts/doctor.sh

Kwenye Windows, sakinisha ffmpeg, Python, na Node.js kwa Winget, kisha pata whisper-cli kutoka kwenye matoleo ya whisper.cpp. Kwenye Linux, sakinisha ffmpeg na Python kwa kidhibiti cha vifurushi cha mfumo, tumia toleo la LTS la Node.js, na ujenge whisper.cpp kutoka kwenye msimbo wa chanzo ikihitajika.

5. Zalisha mali za sauti

Hifadhi hazijumuishi sauti za wahusika wengine. Zalisha seti asili ya athari za sauti 30 na wimbo wa muda wa mandharinyuma kwa:

python3 ~/.claude/skills/digital-human-koubo/scripts/make_assets.py

Hati ya new_edit.sh pia hufanya hatua hii kwa miradi mipya. Ili kutumia wimbo wa ubora wa juu zaidi, weka muziki ulio na leseni ya kuutumia katika <project>/public/music/bgm.mp3.

Unda binadamu wako wa kidijitali

1. Chagua picha inayotazama mbele yenye mwangaza sawa, mdomo uliofungwa, na nywele zilizo mbali na uso.
2. Mwombe wakala azalishe laha ya marejeo yenye mitazamo minne inayoonyesha mbele, pande zote mbili, na nyuma. README inapendekeza GPT Image 2.5 yenye mwonekano wa 2K.
3. Jaribu picha hiyo hiyo na mstari wa mazungumzo kwa modeli za video zinazopatikana, kama Grok Video 1.5 na Wan 3.0, kisha uchague matokeo unayopendelea.
4. Pakia marejeo yaliyoidhinishwa kwenye Renoise.
5. Nakili thamani ya material:<id> iliyorejeshwa kwenye skills/digital-human-koubo/persona.json chini ya renoise.reference_material.

Vitambulisho vya nyenzo vilivyojumuishwa kwenye hifadhi ni vya akaunti ya Renoise ya mwandishi na havitafanya kazi katika akaunti nyingine. Vibadilishe kwa marejeo yako uliyopakia. Mtangazaji wa pili anaweza kusanidiwa kupitia sehemu iliyoandikwa other_hosts.me.

Unda video yako ya kwanza

Mara tu ujuzi na zana zitakapopatikana, eleza video kwa lugha ya kawaida. Jumuisha mada, muda unaotakiwa, maelezo ya ofa yenye ukweli, na maombi yoyote ya picha.

Use my digital human skill to make a 30-second livestream ad:
WorkBuddy course, 10 lessons, ¥99, previously ¥999.

Unaweza pia kuomba maelezo marefu zaidi au mpangilio maalum:

Make a 3-minute explainer about why Silicon Valley Bank collapsed.
Use the finance and technology explainer style.
Add a map route when the countries are mentioned.
Put “¥99” behind the presenter and begin with a teaser cold open.

Wakala anapaswa kujibu kwa utambuzi mfupi wa maudhui, mitindo miwili inayopendekezwa, na seti moja ya maswali kuhusu mtindo, uwiano, muda, ukubwa wa manukuu, na mtangazaji. Kisha huandaa hati na muundo wa matukio kabla ya kuonyesha makadirio ya salio.

Usiidhinishe kiotomatiki. Kagua idadi ya sehemu, jumla ya sekunde, salio la sasa, na salio linalotarajiwa. Baada ya kuidhinisha, kagua sehemu ya kwanza kwa ulinganifu wa utambulisho, matamshi, usawazishaji wa midomo, upangaji wa fremu, na manukuu yasiyotakikana. Iidhinishe kundi lililosalia tu wakati sampuli inakubalika.

Chagua mtindo wa uhariri

• Mtindo A, maelezo ya fedha au teknolojia: Muundo wa 16:9 kwa video za takriban dakika 3–20 kuhusu matukio, ushahidi, data, na maswali ya “kwa nini”.
• Mtindo B, mshawishi anayezungumza mbele ya kamera: Muundo wa 9:16 kwa mapendekezo ya bidhaa, video za mauzo, na maoni ya sekunde 30–120. Manukuu yanaweza kuwa tulivu, ya kawaida, au changamfu.
• Mtindo C, uchanganuzi wa uzinduzi: Muundo wa 16:9 kwa matangazo ya bidhaa au modeli ya sekunde 30–90, mara nyingi mtangazaji akiwa kando ya picha saidizi.
• Mtindo D, mafunzo ya hatua kwa hatua: Muundo wa 16:9 kwa miongozo ya usanidi na maudhui ya maelekezo ya dakika 3–8.
• Mtindo E, waandaji na matukio wengi: Muundo wa 16:9 kwa maonyesho ya lugha nyingi ya dakika 3–7 yenye waandaji au maeneo mengi.

Mtindo A hukopa tu kanuni za muundo na uhariri kutoka kwenye miundo maarufu ya maelezo. Hautumii uso, sauti, seti, au maneno ya mtayarishi.

Geuza mpangilio kukufaa

Mfumo wa mpangilio una vipengele 48 vilivyopewa majina. Vimepangwa katika vikundi vya vichocheo vya mwanzo, ushahidi na data, maelezo, watu, mdundo, na mwingiliano. Mifano ni pamoja na TeaserColdOpen, NumberSpike, EvidenceCard, MapRoute, LowerThird, PunchInHost, ChapterCard, na TextBehind.

Vipengele huongezwa kwenye orodha ya pack. Muda unaweza kurejelea sehemu na neno lililozungumzwa, hivyo kuruhusu athari kufuata mazungumzo badala ya kutegemea sekunde ghafi pekee:

{
  "pack": [
    {
      "use": "NumberSpike",
      "at": "1:不到十块钱",
      "until": "1:end",
      "text": "¥9.9/节",
      "label": "一节课"
    },
    {
      "use": "Danmaku",
      "items": [
        { "t": "真的假的？", "at": "1:" },
        { "t": "AI 还能帮我干活？", "at": "1:教你", "hot": true }
      ]
    }
  ]
}

Thibitisha usanidi wa uhariri kabla ya kutoa:

python3 scripts/check_edit.py <project>/src

Unda maandishi nyuma ya mtangazaji

Efekti ya maandishi yenye kina hutumia safu ya usuli, maandishi makubwa, na sehemu iliyokatwa kwa uwazi ya mtangazaji. Utenganishaji wa mtu unategemea Apple Vision, kwa hiyo efekti hii mahususi inahitaji macOS ingawa sehemu nyingine ya mchakato inaweza kufanya kazi kwenye mifumo mbalimbali.

python3 scripts/cutout_video.py \
  public/main.mp4 \
  public/main_cut_s4.webm \
  --from 17.2 \
  --to 22.4

Chakata sekunde zinazohitaji efekti hiyo pekee. Hufanya kazi vizuri zaidi kwa picha ya wastani yenye nafasi inayoonekana kuzunguka mhusika. Ikiwa mtangazaji anajaza zaidi ya takriban asilimia 60 ya fremu, hati huonya kwamba maandishi yanaweza kufunikwa. Weka alama kwenye sehemu husika kwa "shot": "depth" ili zitengenezwe kwa upangaji unaofaa zaidi.

Vidokezo vya hali ya juu vya utayarishaji

Anza moja kwa moja

Anza na dai, kitendo, au swali kuu katika sekunde tatu za kwanza. Epuka kuanza kwa salamu au nembo. Katika sekunde 30 za kwanza, anzisha mabadiliko ya kimuonekano au kiuhariri takriban kila baada ya sekunde tatu hadi tano.

Tumia mwendo kwa uangalifu

Kwa binadamu wa kidijitali anayetumia kamera moja, mikato ya kusogeza karibu kwenye mipaka ya sentensi hutoa mdundo wa kimuonekano kwa gharama ndogo. Mpangilio uliorekodiwa hubadilishana kati ya upangaji wa takriban 1.0×, 1.18×, na 1.32×.

Tumia madoido ya sauti kwa kuchagua

Dumisha muziki wa usuli, lakini hifadhi madoido ya sauti kwa matukio yenye maana. Ukimya mfupi wa takriban sekunde 0.6–1.0 kabla ya ufunuaji unaweza kufanya ufunuaji uwe na athari zaidi.

Kagua makosa ya unukuzi kwa busara

Whisper inaweza kubadilisha maneno ya Kichina ya namba yaliyotamkwa kuwa tarakimu. Hili linaweza kupunguza alama iliyokokotolewa ya ulinganifu wa maandishi hata wakati sauti iko sahihi. Sikiliza sehemu zenye shaka kabla ya kulipia kuzitengeneza upya.

Hifadhi uwiano wa awali wa picha

Matokeo ya Grok ya 9:16 720p ni 720×1280. Usiyanyooshe yaingie katika uwiano mwingine wa picha. Tumia kiolezo kinachofaa, kata kwa makusudi, au tengeneza upya kwa muundo unaohitajika.

Epuka sauti mbili za mtangazaji

Zima mkondo wa sauti wa video ya mtangazaji unapotumia sauti iliyosafishwa. Kucheza mikondo ya awali na iliyochakatwa pamoja kwa tofauti ndogo ya muda huunda uchujaji mkali wa kuchanganya masafa.

Tumia sauti mbadala kwa uangalifu

Sauti asilia ya Grok kwa ujumla hutoa ulandanishi bora zaidi kwa sababu modeli huunda mwendo wa midomo kwa kutumia sauti hiyo. Xiaomi MiMo TTS inaweza kutoa sauti iliyoundwa, sauti iliyonakiliwa kwa idhini, au usimulizi, lakini kubadilisha sauti iliyotengenezwa kunaweza kuacha pengo la takriban milisekunde 100. Hili halionekani sana katika picha-ndani-ya-picha kuliko katika picha za karibu za skrini nzima. Kwa ulinganifu kamili na rekodi yako mwenyewe, tazama nyaraka za ujuzi huo kuhusu modeli inayoendeshwa na sauti kama OmniHuman.

Mbinu ya gharama na idhini

Uzalishaji hutumia salio za Renoise, na bei zinaweza kubadilika. README inarekodi tangazo la mtiririko wa moja kwa moja la wima lenye sekunde 27 kwa salio 482, huku mafunzo ya dakika kadhaa yakihitaji salio elfu kadhaa. Chukulia namba hizo kama mifano badala ya bei zisizobadilika.

Tegemea kila mara bei ya moja kwa moja kutoka kwa wakala. Kagua pia mwonekano uliopangwa: bei za marejeo zilizorekodiwa zilikuwa salio 17 kwa sekunde kwa Grok Video 1.5 katika 720p, salio 10 kwa sekunde katika 480p, na salio 23 kwa utengenezaji wa 2K GPT Image 2.5 wakati README iliandikwa.

Orodha ya ukaguzi wa uchapishaji unaowajibika

• Tumia nyuso na sauti unazomiliki au ulizopewa ruhusa ya wazi kuzitumia pekee.
• Usiwahi kujifanya mtu halisi au kudokeza kwamba mtangazaji wa AI ni pendekezo halisi.
• Weka lebo kwamba video imeigizwa na binadamu wa kidijitali wa AI, na uweke lebo kwa matukio au wanyama waliotengenezwa kwamba wametengenezwa na AI.
• Usibuni bei, maoni, ofa, takwimu, au madai ya wateja. Weka data ya mfano alama wazi.
• Usiweke picha za filamu zilizo na hakimiliki, fremu za televisheni, picha za watu mashuhuri, au meme za wavuti zisizo na leseni.
• Mtaje Google Noto unapotumia vipengele vya emoji vilivyohuishwa vilivyojumuishwa.
• Kagua mahitaji tofauti ya leseni ya Remotion, hasa kwa kampuni zenye zaidi ya watu watatu.

Hitimisho

Digital Human Koubo huunganisha upangaji unaoendeshwa na wakala, utengenezaji wa Renoise, uthibitishaji unaotumia whisper, uchakataji wa sauti, na uhariri wa Remotion kuwa mchakato wa utayarishaji unaodhibitiwa. Njia salama zaidi ya kuanza ni kusakinisha ujuzi wote wawili, kuthibitisha kila utegemezi, kusanidi persona yako iliyoidhinishwa, na kutengeneza video fupi ya majaribio. Idhinisha bei na sehemu ya kwanza kwa uangalifu kabla ya kuongeza kiwango hadi miradi mirefu, ya lugha nyingi, au yenye vifurushi vingi.