WeVisCut Inafanya kazi

WeVisCut ni Agent ya Tencent WeChat Vision ya uhariri wa kiotomatiki wa video ndefu, iliyotolewa kama chanzo huria. Ukiingiza hati ya simulizi, modeli ya mkakati ya 9B hutumia runtime yenye hali ya pamoja ya uzalishaji kukamilisha kiotomatiki upangaji wa picha, uigizaji wa sauti, utafutaji wa nyenzo, uundaji na ukaguzi pamoja na urekebishaji wa ubora, na kutoa moja kwa moja video iliyokamilika ya dakika kadhaa. WeVisCut hutumia mchakato wa urekebishaji wa uhariri na uchezaji wa uthibitishaji kurejesha zaidi ya data 130,000 za mafunzo kutoka kwa video 3,750 zilizokamilika. Katika tathmini, utendaji wake ni sawa na Claude Opus 5, huku ikipunguza tokeni za uzalishaji kwa takriban mara 33; gharama ya dakika moja ya video iliyokamilika ni $0.09 pekee.

Hati kuwa video ndefu: Ingiza hati ya simulizi au maarifa, na mfumo hutoa kiotomatiki video kamili ya dakika kadhaa bila kuhitaji upangaji wa picha kwa mkono.
Uamuzi wa mchakato mzima kwa mkakati mmoja: Modeli ya 9B hufanya majukumu ya mratibu, mzalishaji na mkosoaji, hivyo kuchukua nafasi ya mtiririko wa kazi wa Agent wa hatua nyingi.
Hali ya pamoja ya uzalishaji: harness huhifadhi hali ya picha, nyenzo na ratiba ya muda kwa kudumu; matokeo ya zana ya hatua iliyotangulia huweka masharti ya moja kwa moja kwa uamuzi wa hatua inayofuata.
Ukaguzi na urekebishaji wa mzunguko uliofungwa: Mkakati hukagua video iliyokamilika kiotomatiki, hutambua hitilafu na kufanya urekebishaji mdogo wenye mipaka, huku ukihifadhi sehemu zilizofaulu bila kuzifanya upya.
Uhariri wa mazungumzo na mkurugenzi: Baada ya video ya kwanza, unaweza kubadilisha nyenzo, muziki na manukuu kupitia gumzo; mkakati hupanga upya sehemu husika na kuwasilisha matokeo mapya.
Uwasilishaji wa ratiba ya muda inayoweza kuhaririwa: Runtime ya Studio hutoa ratiba ya nyimbo 8, inayosaidia kutoa upya kila picha na kurejesha matoleo.
Uendeshaji binafsi kwa gharama ndogo: Kila dakika iliyofanikiwa kugharimu takriban $0.09 na dakika 2.1 za muda wa saa; uzito wa 9B wenye chanzo huria unaweza kutumwa ndani ya eneo lako.

Fuata WeChat na ujibu “开源” ili kujiunga na kundi la mawasiliano la miradi ya AI ya chanzo huria
Ufafanuzi wa tatizo: Usimamizi wa hali katika utengenezaji wa mnyororo mrefu. Ugumu wa kubadilisha hati ya video ndefu kuwa video unatokana na utegemeano kati ya uteuzi wa nyenzo, utekelezaji wa zana na maamuzi ya urekebishaji; usahihi wa kila picha binafsi hauhakikishi mdundo mzuri wa video nzima. Ikiwa mchakato utagawanywa katika hatua nyingi za Agent za jumla, kila hatua inahitaji kusimba upya muktadha wote wa kimataifa, na hivyo gharama ya tokeni na miito hujilimbikiza kwa uwiano wa idadi ya picha. Wazo kuu la WeVisCut ni kutumia mkakati mmoja wa 9B kudumisha hali nzima ya utengenezaji, na kubadilisha “kuelewa muktadha wote” kutoka kazi inayorudiwa kila hatua kuwa kazi endelevu ya mara moja.
Harness yenye hali: Hali ya pamoja ya uzalishaji. Runtime hudumisha production state moja inayodumu, na huandika tu matokeo ya zana yaliyopitisha uthibitishaji kwenye hali hiyo. Kila mara mkakati hutuma mwito mmoja tu wa zana na kuchagua kitendo halali kutoka hali ya sasa; miito isiyo halali hukataliwa kama blocker iliyoainishwa kwa aina, na kulazimisha utegemeano kukamilishwa kwanza kabla ya kujaribu tena. Hali na muktadha wa modeli hutenganishwa, hivyo mkakati hauhitaji kubeba historia yote tena na tena.
Mkakati mmoja, majukumu matatu: Mkakati wenye vigezo vya pamoja hufanya kazi kama mratibu, mzalishaji na mkosoaji kupitia uelekezaji wa majukumu. Nafasi ya vitendo imewekwa kwenye zana 12, bila mashine ya hatua iliyowekwa kwa msimbo; mkakati huamua kwa uhuru mfuatano mzima, huku vizuizi vikizuia tu miito isiyo halali.
Data ya mafunzo: Editing Inversion + Verified Replay. Video iliyokamilika huonyesha matokeo pekee na haifichui nia ya uhariri. Waandishi hutumia mchakato wa hatua nne kurejesha usimamizi: kwanza, kurudisha nyuma kutoka video iliyokamilika hadi hati na nia ya picha; kisha kucheza tena ndani ya runtime ili kuthibitisha utekelezaji; kasoro zinapojitokeza wakati wa uchezaji, kufanya urekebishaji wenye mipaka na kuhifadhi bidhaa zilizofaulu; hatimaye, kubadilisha rekodi za utekelezaji kuwa mifano ya mafunzo yenye mrejesho wa zana. Video 3,750 hubadilishwa kuwa data 134,771 za usimamizi zinazoweza kutekelezwa, jambo linalofundisha modeli kurejea baada ya kushindwa.
Mafunzo ya hatua tatu: SFT iliyounganishwa na RFT ya uthibitishaji wa runtime huanzisha matumizi ya zana na tabia ya kurejea; Guided-OPD huingiza uingiliaji wa mwalimu ili kufundisha maamuzi ya kurejea, huku uingiliaji ukipunguzwa hatua kwa hatua wakati wa mafunzo; RCF-DAPO huboresha ubora wa maamuzi kwa kulinganisha matokeo ya watahiniwa ndani ya jukumu na muktadha uleule wa uzalishaji. Hatua hizi tatu huongeza Overall kutoka 74.5 ya modeli msingi hadi 90.5.

Pata msimbo: Kopa hazina kutoka GitHub github.com/Tencent/WeVisCut.
Andaa mazingira: Sakinisha runtime ya Studio na vitegemezi kulingana na maelekezo ya hazina.
Pakua modeli: Pakua uzito wa 9B wa tencent/WeVisCut kutoka HuggingFace.
Anzisha huduma: Endesha hati ya uanzishaji ili kupakia mkakati na sajili ya zana, kisha fungua kiolesura cha wavuti cha Studio.
Ingiza hati: Bandika au pakia hati ndefu ya simulizi au maarifa kwenye kiolesura.
Fuatilia utengenezaji: Agent hugawanya sura, hupanga picha, huunda sauti, hutafuta nyenzo na kujenga ratiba ya muda kwa wakati halisi; mchakato unaonekana.
Fanya marekebisho kwa mazungumzo: Baada ya video ya kwanza, pendekeza marekebisho kwenye dirisha la gumzo la mkurugenzi ili kuwasilisha upya sehemu husika.
Hamisha video iliyokamilika: Thibitisha kila picha kwenye kiolesura cha ratiba ya muda kisha hamisha video ya mwisho, au rejesha toleo na uunde upya inapohitajika.

Gharama ndogo sana: Kila dakika ya video iliyofanikiwa hutumia tokeni 2,377 za uzalishaji na hugharimu $0.09 pekee; modeli ndogo ya 9B inaweza kutumwa binafsi.
Uwasilishaji wa kuaminika: Overall ya 90.5 katika vipimo vitano ni pointi 16 juu ya modeli msingi, huku kiwango cha utekelezaji wa mipango, uthabiti wa muda mrefu na kiwango cha matokeo ya uonyeshaji vikiongoza kwa pamoja.
Mkakati mmoja husimamia mchakato wote: Modeli moja ya 9B hufanya majukumu ya uratibu, uzalishaji na ukosoaji, ikichukua nafasi ya mtiririko wa Agent wa hatua nyingi na kuepuka kujenga upya muktadha mara kwa mara.
Usimamizi endelevu wa hali: Hali ya pamoja ya uzalishaji huwezesha matokeo ya zana ya hatua iliyotangulia kuweka masharti ya moja kwa moja kwa uamuzi wa hatua inayofuata; mchakato mrefu haupotezi mdundo wala kurudia kuelewa muktadha wote.
Uwezo wa kujirekebisha: Data ya mafunzo inajumuisha mfuatano wa kurejea baada ya kushindwa; mkakati unaweza kukagua ubora, kutambua tatizo na kufanya urekebishaji mdogo wenye mipaka huku ukihifadhi sehemu zilizofaulu.
Uhariri wa mwingiliano: Baada ya video kukamilika, unaweza kuirekebisha kwa mazungumzo ya lugha ya kawaida; kupanga upya sehemu husika hakuhitaji kurekodi upya.

Tovuti rasmi ya mradi: https://tencent.github.io/WeVisCut/
Hazina ya GitHub: https://github.com/Tencent/WeVisCut
Hazina ya modeli ya HuggingFace: https://huggingface.co/tencent/WeVisCut
Jarida la kiteknolojia la arXiv: https://arxiv.org/pdf/2610.38352

Uzalishaji wa kwa wingi wa video za elimu ya maarifa: Badilisha kiotomatiki makala ndefu za elimu au hati za simulizi kuwa video za maelezo za dakika kadhaa, zinazofaa kwa MCN na waundaji wa maudhui wanaochapisha kila siku.
Mafunzo ya kampuni na utengenezaji wa kozi: Badilisha kwa haraka vifaa vya mafunzo na simulizi za slaidi kuwa video zilizokamilika, na kupunguza gharama ya kutoa nje video za mafunzo ya ndani.
Uonyeshaji wa habari na taarifa: Ongeza picha na muziki kiotomatiki kwenye hati za taarifa za fedha na teknolojia ili kuunda video, zinazofaa kwa uchapishaji wa haraka wa akaunti za habari.
Uuzaji na maelezo ya bidhaa: Tengeneza kwa mbofyo mmoja toleo la kwanza la video ya matangazo kutoka kwa maelezo ya bidhaa, kisha wafanyakazi wa masoko warekebishe nyenzo na mtindo kupitia mazungumzo.
Usambazaji wa maudhui ya lugha nyingi kimataifa: Baada ya kutafsiri hati, tengeneza upya moja kwa moja matoleo yenye sauti na manukuu mapya, na utumie tena mchakato uleule wa utengenezaji kwa wingi.