WeVisCut Đang hoạt động

WeVisCut là Agent tự động biên tập video dài mã nguồn mở của Tencent WeChat Vision. Chỉ cần nhập kịch bản lời dẫn, một mô hình chiến lược 9B sử dụng runtime với trạng thái sản xuất dùng chung để tự động hoàn tất phân cảnh, lồng tiếng, tìm kiếm tư liệu, dựng và kiểm tra, sửa lỗi, rồi trực tiếp xuất video hoàn chỉnh dài vài phút. WeVisCut sử dụng quy trình đảo ngược biên tập + phát lại đã xác minh để khôi phục hơn 130.000 mẫu dữ liệu huấn luyện từ 3.750 video hoàn chỉnh. Trong đánh giá, hiệu năng tương đương Claude Opus 5, tiết kiệm khoảng 33 lần số token sinh ra và chi phí cho mỗi phút video hoàn chỉnh chỉ là $0.09.

Chuyển kịch bản thành video dài: nhập kịch bản lời dẫn/kiến thức, tự động xuất video hoàn chỉnh dài vài phút mà không cần phân cảnh thủ công.
Một chiến lược duy nhất quyết định toàn bộ quy trình: một mô hình 9B đảm nhiệm ba vai trò điều phối, tạo nội dung và phản biện, thay thế quy trình Agent nhiều giai đoạn.
Trạng thái sản xuất dùng chung: harness lưu lâu dài trạng thái như cảnh quay, tư liệu và timeline; kết quả công cụ ở bước trước trực tiếp ràng buộc quyết định ở bước sau.
Kiểm tra và sửa lỗi khép kín: chiến lược tự động kiểm tra video, xác định lỗi và thực hiện sửa cục bộ có giới hạn, giữ lại phần đã thành công mà không làm lại.
Chỉnh sửa video qua hội thoại với đạo diễn: sau bản dựng đầu tiên, có thể trò chuyện để thay tư liệu, đổi nhạc và điều chỉnh phụ đề; chiến lược lập kế hoạch lại cục bộ và bàn giao lại.
Bàn giao timeline có thể chỉnh sửa: runtime Studio cung cấp timeline 8 track, hỗ trợ kết xuất lại từng cảnh và khôi phục phiên bản.
Triển khai riêng tư với chi phí thấp: mỗi phút video xuất thành công chỉ tốn khoảng $0.09 và 2.1 phút thời gian thực; trọng số 9B được mở mã nguồn và có thể triển khai cục bộ.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Định nghĩa vấn đề: quản lý trạng thái trong quy trình sản xuất dài. Khó khăn của việc chuyển kịch bản video dài thành video nằm ở chỗ lựa chọn tư liệu, thực thi công cụ và quyết định sửa lỗi phụ thuộc lẫn nhau; một cảnh đúng cục bộ không đồng nghĩa toàn bộ video có nhịp điệu tốt. Nếu tách thành nhiều giai đoạn Agent phổ quát, mỗi giai đoạn phải tuần tự hóa lại toàn bộ ngữ cảnh, khiến chi phí token và gọi công cụ tăng tuyến tính theo số cảnh. Ý tưởng cốt lõi của WeVisCut là dùng một chiến lược 9B để duy trì toàn bộ trạng thái sản xuất, biến việc “hiểu toàn cục” từ thao tác lặp lại ở mỗi bước thành một quá trình liên tục.
Harness trạng thái hóa: trạng thái sản xuất dùng chung. Runtime duy trì một production state được lưu lâu dài và chỉ ghi kết quả công cụ đã vượt qua kiểm tra vào trạng thái. Mỗi lần chiến lược chỉ gửi một lệnh gọi công cụ, chọn hành động hợp lệ từ trạng thái hiện tại; lệnh gọi không hợp lệ bị blocker được định kiểu từ chối, buộc phải bổ sung đầy đủ phần phụ thuộc trước khi thử lại. Trạng thái và ngữ cảnh mô hình được tách biệt, nên chiến lược không cần lặp lại toàn bộ lịch sử.
Một chiến lược, ba vai trò: một chiến lược dùng chung tham số đảm nhiệm vai trò điều phối, tạo nội dung và phản biện thông qua định tuyến vai trò. Không gian hành động cố định gồm 12 công cụ, không có máy trạng thái theo giai đoạn được mã hóa cứng; toàn bộ quỹ đạo do chiến lược tự quyết định, còn lớp bảo vệ chỉ chặn các lệnh gọi không hợp lệ.
Dữ liệu huấn luyện: Editing Inversion + Verified Replay. Video hoàn chỉnh chỉ thể hiện kết quả mà không bộc lộ ý đồ biên tập. Tác giả khôi phục dữ liệu giám sát qua quy trình bốn giai đoạn: trước tiên suy ngược kịch bản và ý đồ cảnh từ video hoàn chỉnh; sau đó phát lại trong runtime để xác minh khả năng thực thi; khi phát lại phát hiện lỗi thì sửa có giới hạn và giữ lại sản phẩm thành công; cuối cùng hiện thực hóa nhật ký thực thi thành các mẫu huấn luyện kèm phản hồi công cụ. 3.750 video hoàn chỉnh được chuyển thành 134,771 mẫu dữ liệu giám sát có thể thực thi, giúp mô hình học cách phục hồi sau thất bại.
Huấn luyện ba giai đoạn: SFT thống nhất cùng RFT được xác minh bởi runtime để khởi tạo khả năng sử dụng công cụ và phục hồi; Guided-OPD đưa sự can thiệp của giáo viên vào quá trình huấn luyện quyết định phục hồi, với mức can thiệp giảm dần trong quá trình huấn luyện; RCF-DAPO so sánh các đầu ra ứng viên trong cùng vai trò và cùng ngữ cảnh sản xuất để tối ưu chất lượng quyết định. Ba giai đoạn nâng Overall từ 74.5 của mô hình nền lên 90.5.

Lấy mã nguồn: clone kho lưu trữ từ GitHub tại github.com/Tencent/WeVisCut.
Chuẩn bị môi trường: cài đặt runtime Studio và các phần phụ thuộc theo hướng dẫn trong kho lưu trữ.
Tải mô hình: tải trọng số 9B của tencent/WeVisCut từ HuggingFace.
Khởi động dịch vụ: chạy tập lệnh khởi động để nạp chiến lược và registry công cụ, sau đó mở giao diện web Studio.
Nhập kịch bản: dán hoặc tải lên kịch bản dài dạng lời dẫn/kiến thức trong giao diện.
Theo dõi quá trình sản xuất: Agent tự động chia chương, phân cảnh, lồng tiếng, tìm kiếm tư liệu và xây dựng timeline theo thời gian thực; toàn bộ quá trình có thể quan sát.
Chỉnh sửa qua hội thoại: sau bản dựng đầu tiên, đưa ra yêu cầu chỉnh sửa trong cửa sổ trò chuyện với đạo diễn để bàn giao lại phần cục bộ.
Xuất video hoàn chỉnh: xác nhận từng cảnh trong giao diện timeline rồi xuất video cuối cùng, hoặc khôi phục phiên bản và kết xuất lại khi cần.

Chi phí cực thấp: mỗi phút video xuất thành công chỉ cần 2,377 token sinh ra và $0.09; mô hình nhỏ 9B có thể triển khai riêng tư.
Bàn giao đáng tin cậy: Overall 90.5 trên năm chỉ số, cao hơn mô hình nền 16 điểm; tỷ lệ hoàn thành kế hoạch, tính nhất quán dài hạn và tỷ lệ đầu ra kết xuất đều dẫn đầu.
Một chiến lược quản lý toàn bộ quy trình: một mô hình 9B duy nhất đảm nhiệm ba vai trò điều phối/tạo nội dung/phản biện, thay thế quy trình Agent nhiều giai đoạn và tránh phải xây dựng lại ngữ cảnh nhiều lần.
Quản lý trạng thái liên tục: trạng thái sản xuất dùng chung khiến kết quả công cụ ở bước trước trực tiếp ràng buộc quyết định ở bước sau, giúp quy trình dài không mất nhịp và không phải lặp lại việc hiểu toàn cục.
Tự phục hồi: dữ liệu huấn luyện bao gồm quỹ đạo phục hồi sau thất bại; chiến lược có thể kiểm tra, xác định vấn đề và sửa cục bộ có giới hạn, đồng thời giữ lại phần đã thành công.
Chỉnh sửa tương tác: sau khi hoàn thành video, có thể dùng hội thoại ngôn ngữ tự nhiên để chỉnh sửa; chỉ lập kế hoạch lại cục bộ mà không cần quay lại.

Trang web dự án：https://tencent.github.io/WeVisCut/
Kho GitHub：https://github.com/Tencent/WeVisCut
Kho mô hình HuggingFace：https://huggingface.co/tencent/WeVisCut
Bài báo kỹ thuật arXiv：https://arxiv.org/pdf/2610.38352

Sản xuất hàng loạt video phổ biến kiến thức: tự động chuyển bài viết dài/kịch bản lời dẫn phổ biến kiến thức thành video thuyết minh dài vài phút, phù hợp với MCN và các nhà sáng tạo nội dung đăng hằng ngày.
Đào tạo doanh nghiệp và sản xuất khóa học: nhanh chóng chuyển tài liệu đào tạo và lời dẫn bài giảng thành video hoàn chỉnh, giảm chi phí thuê ngoài video đào tạo nội bộ.
Trực quan hóa tin tức: tự động thêm hình ảnh, nhạc và dựng video từ kịch bản tin tức tài chính, công nghệ, phù hợp với nhịp đăng nhanh của các tài khoản tin tức.
Tiếp thị và thuyết minh sản phẩm: tạo phiên bản đầu của video quảng bá từ nội dung sản phẩm chỉ bằng một lần thao tác, sau đó nhân viên tiếp thị tinh chỉnh tư liệu và phong cách qua hội thoại.
Đưa nội dung đa ngôn ngữ ra quốc tế: sau khi dịch kịch bản, trực tiếp tạo lại phiên bản lồng tiếng và phụ đề, tái sử dụng cùng một quy trình sản xuất ở quy mô lớn.