rea-video Đang hoạt động

rea-video là công cụ kỹ thuật đảo ngược video AI mã nguồn mở, được thiết kế riêng cho AI Agent. rea-video phân tích từng cảnh để xác định đó là cảnh quay thực, nội dung do AI tạo hay hiệu ứng chuyển động bằng mã, đồng thời tách bố trí máy quay và ánh sáng, kiểu phụ đề, nhịp dựng và cấu trúc âm thanh, rồi xuất báo cáo theo từng cảnh cùng phương án tái tạo. Công cụ còn có thể suy ngược prompt cho từng cảnh, kết hợp với các công cụ tái tạo để thay thế sản phẩm hoặc nhân vật và tạo video mới. Máy tính cần có ffmpeg và Python 3.10+; sau khi kết nối mô hình thị giác, độ chính xác của việc phân tích sẽ cao hơn.

Phân loại loại video: phân tích từng cảnh để xác định đó là người thật quay, nội dung do AI tạo, kết xuất 3D, hiệu ứng chuyển động bằng mã hay quay màn hình; video dựng kết hợp sẽ được tách và phân tích theo từng đoạn rồi tái cấu trúc.
Phân tích phương thức sản xuất: xuất phương án bố trí máy quay và ánh sáng, chuyển động camera, hiệu chỉnh màu; hoặc suy ngược prompt và tài nguyên tham chiếu cần thiết cho từng cảnh AI.
Trích xuất phụ đề và các yếu tố trang trí: cung cấp thời gian bắt đầu và kết thúc, màu sắc, đường viền và hiệu ứng xuất hiện của từng dòng phụ đề; có thể xuất SRT/ASS, đồng thời xác định vị trí và thời lượng hiển thị của nhãn dán, biểu tượng cảm xúc và khung hình trong khung hình.
Phân tích dựng và âm thanh: đánh dấu vị trí cắt, nhịp dựng và mối tương ứng với nhịp nhạc, đồng thời xác định giọng người/lồng tiếng AI, nhạc AI hoặc nhạc từ thư viện, BPM và vị trí hiệu ứng âm thanh.
Tạo phương án tái tạo: sắp xếp hàng loạt các cảnh thành kế hoạch tạo nội dung dựa trên năng lực của mô hình video mục tiêu, phân biệt phần cần quay thực, tạo bằng AI và viết mã, rồi xuất báo cáo HTML có ảnh chụp từng cảnh.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Phân đoạn cảnh: trước tiên phát hiện ranh giới cảnh trong video và phân đoạn theo dấu thời gian thực (đối với video có tốc độ khung hình thay đổi, căn chỉnh điểm cắt theo thời gian khung hình thực tế), đồng thời tách một track âm thanh thành ba track gồm giọng người, nhạc và hiệu ứng âm thanh để chuẩn bị cho việc thu thập bằng chứng theo từng loại.
Thu thập bằng chứng đa phương thức: ở cấp độ định lượng, đo nhịp khung hình, nhiễu cảm biến, kiểm tra toàn bộ hình ảnh có chuyển động như một mặt phẳng duy nhất hay không, đồng thời kiểm tra nhãn AIGC trong siêu dữ liệu; ở cấp độ thị giác, mô hình kiểm tra bàn tay, văn bản và tính hợp lý vật lý; ở cấp độ thính giác, phân tích BPM, cung nhạc và phân biệt hát với nói.
Ra quyết định theo mức độ ưu tiên của bằng chứng: bằng chứng cứng được ưu tiên hơn trực giác của mô hình về việc nội dung “trông giống” loại nào; khi hai kết luận mâu thuẫn, kết quả được đánh dấu là chưa chắc chắn và giao cho Agent kiểm tra bằng mắt để giảm tỷ lệ phán đoán sai xuống mức thấp nhất.
Lập kế hoạch tái tạo theo năng lực mô hình: tích hợp bảng năng lực của các mô hình video/hình ảnh/âm thanh, từ đó xử lý hàng loạt các cảnh thành kế hoạch giảm số lần tạo nội dung nhất, đồng thời quyết định một đoạn nên được tạo bằng mô hình video hay để LLM viết mã Blender/Three.js/Remotion nhằm tái dựng.
Kiến trúc do Agent điều khiển: dự án được cung cấp dưới dạng CLI kết hợp Skill để Claude Code, Codex và các Agent khác gọi, có thể chạy mà không cần mô hình video; sau khi kết nối Gemini hoặc Doubao, công cụ có thể tự động viết ngược prompt cho từng cảnh, đồng thời nâng cao độ chính xác và mức độ tự động hóa.

Chuẩn bị môi trường: cài ffmpeg và Python 3.10+ trên máy tính.
Chọn Agent: sử dụng Claude Code, Codex hoặc bất kỳ AI Agent nào có thể thực thi lệnh.
Cài đặt dự án: nói với Agent “cài đặt https://github.com/JuneYaooo/rea-video” để tự động hoàn tất.
Bắt đầu phân tích: nói với Agent “phân tích video này /path/to/video.mp4”, công cụ sẽ chạy toàn bộ quy trình.
Kết nối mô hình thị giác: cung cấp cho Agent địa chỉ API và Key của Gemini hoặc Doubao để tăng độ chính xác khi phân tích từng cảnh và có thể suy ngược prompt; nếu không kết nối, Agent sẽ trực tiếp xem hình ảnh để kiểm tra các cảnh chưa chắc chắn.
Xem kết quả: nhận được bản tóm tắt một câu, kế hoạch tái tạo được chia thành ba loại “quay thực/tạo bằng AI/viết mã”, cùng report.html chứa ảnh chụp từng cảnh và phân tích âm thanh.
Tiếp tục tái tạo: đưa báo cáo cho các công cụ như cheap-claude-video hoặc Hypit để tạo phiên bản mới thay thế các yếu tố theo công thức.

Phạm vi bao quát rộng: có thể phân tích cảnh quay người thật, nội dung AI tạo, hoạt hình 3D, hiệu ứng chuyển động bằng mã, quay màn hình và dựng kết hợp; video kết hợp còn được đánh giá riêng theo từng đoạn.
Dựa trên bằng chứng: ưu tiên bằng chứng cứng như nhịp khung hình, nhiễu cảm biến và siêu dữ liệu AIGC hơn trực giác của mô hình; các mục xung đột được giao cho Agent kiểm tra lại. Theo tự kiểm tra chính thức, độ chính xác trên video gốc đạt khoảng 99%.
Đầu ra là công thức thực hiện: không chỉ đưa ra kết luận mà còn cung cấp danh sách bố trí máy quay và ánh sáng, prompt suy ngược và kế hoạch tái tạo được tổ chức hàng loạt theo năng lực mô hình, có thể thực hiện ngay.
Mức độ chi tiết cao: lượng hóa và phân tích toàn diện thời gian cùng kiểu phụ đề, vị trí nhãn dán, mối quan hệ giữa điểm cắt và nhịp nhạc, giọng người/lồng tiếng AI và BPM.
Nguyên bản cho Agent: tích hợp với Claude Code, Codex và các Agent khác dưới dạng CLI+Skill; chỉ bằng một lệnh có thể tự động cài đặt môi trường và chạy toàn bộ quy trình, với ngưỡng sử dụng rất thấp.

Kho GitHub: https://github.com/JuneYaooo/rea-video

Tái tạo video bán hàng thương mại điện tử: phân tích vị trí máy quay, phân cảnh và nhịp phụ đề của video bán hàng nổi bật, sau đó thay bằng sản phẩm của mình để tạo hàng loạt video tương tự.
Nghiên cứu đối thủ cho MCN: phân tích từng cảnh trong video đối thủ, bao gồm tỷ lệ quay thực, các đoạn tạo bằng AI và hiệu ứng chuyển động bằng mã, để nắm rõ chi phí và quy trình sản xuất.
Nâng cao hiệu suất sáng tác video ngắn AI: suy ngược prompt và tham số tạo nội dung cho từng cảnh từ các video ngắn AI yêu thích, giảm chi phí thử sai khi tự tìm hiểu.
Phân tích nội dung kết hợp: xác định phương thức sản xuất theo từng đoạn đối với video kết hợp “người thật+nhân vật AI+quay màn hình”, rồi tái cấu trúc phiên bản riêng theo dòng thời gian gốc.
Sao chép video phổ biến/hiệu ứng chuyển động: chuyển các video phổ biến 3D và hiệu ứng chuyển động bằng mã thành tư duy tái dựng bằng Blender/Remotion, để tái tạo hiệu ứng tương tự với chi phí thấp hơn.