Tạo video hoạt hình nguyên bản từ phong cách tham khảo với ReelMimic

ReelMimic là gì?

ReelMimic là một công cụ mã nguồn mở phân tích cách tạo ra một video tham chiếu và sử dụng những kỹ thuật đó để sản xuất một hoạt hình 2D mới, nguyên bản. Bạn có thể cung cấp tệp cục bộ, video quay bằng điện thoại hoặc liên kết YouTube, sau đó mô tả video muốn tạo trong một bản tóm tắt ngắn.

Dự án phân tích các yếu tố như số lượng cảnh quay, thời lượng cảnh, nhịp dựng, BPM, hiệu ứng chuyển cảnh, bố cục khung hình, màu sắc và chuyển động máy quay. Sau đó, công cụ trình bày một kế hoạch sản xuất gồm storyboard, nhân vật, tài sản và các khung hình mẫu về phong cách để bạn phê duyệt.

ReelMimic học kỹ thuật của video tham chiếu. Công cụ không sao chép cảnh quay, nhân vật, logo hoặc các tài sản khác của video đó.

Quy trình sản xuất hoạt động như thế nào?

Sau khi bạn phê duyệt kế hoạch, ReelMimic phân chia quá trình sản xuất cho nhiều tác nhân AI. Tối đa sáu tác nhân có thể đồng thời xử lý các phần khác nhau của video. Mỗi cảnh hoàn tất được gửi đến một tác nhân riêng để đánh giá, bảo đảm tác nhân tạo ra cảnh đó không tự chấm điểm sản phẩm của mình.

Nếu người đánh giá phát hiện vấn đề, cảnh quay sẽ được gửi lại để chỉnh sửa. Các bản sửa đổi bao gồm ảnh chụp màn hình trước và sau để người đánh giá kiểm tra. Giao diện cũng hiển thị hoạt động của tác nhân, các lệnh, khung hình đã kiểm tra và nhật ký đầy đủ.

Tính năng chính

• Phân tích video tham chiếu: Kiểm tra thời điểm, hiệu ứng chuyển cảnh, màu sắc, bố cục khung hình, chuyển động máy quay và các lựa chọn phong cách liên quan.
• Quy trình ưu tiên lập kế hoạch: Cho phép bạn xem xét và thảo luận về storyboard, nhân vật, tài sản và các khung hình phong cách trước khi bắt đầu kết xuất.
• Các tác nhân AI song song: Phân công những phần khác nhau của quá trình sản xuất cho nhiều tác nhân.
• Đánh giá độc lập: Gửi mỗi cảnh đến một tác nhân khác với tác nhân tạo ra cảnh đó để kiểm tra chất lượng.
• Sửa lỗi dựa trên bằng chứng: Ghi lại ảnh chụp màn hình trước và sau khi chỉnh sửa.
• Phản hồi theo thời gian: Cho phép bạn tua đến một giây cụ thể trong video hoàn chỉnh và đính kèm ghi chú.
• Phong cách dựa trên Markdown: Biểu diễn mỗi phong cách bằng một tệp Markdown thay vì yêu cầu viết mã.
• Giao diện đa ngôn ngữ: Hỗ trợ tiếng Anh, tiếng Trung phồn thể và tiếng Trung giản thể.

Các phong cách đầu ra được hỗ trợ và giới hạn

ReelMimic hiện tập trung vào hoạt hình 2D. Công cụ không tạo cảnh quay người thật.

Bảy công cụ vẽ của ReelMimic bao gồm:

• Đồ họa vector và đồ họa chuyển động, xây dựng trên HyperFrames
• Màu nước vẽ tay, xây dựng trên painted-animation
• Nghệ thuật sách tranh bằng bút sáp
• Nghệ thuật pixel
• Hoạt hình stop-motion cắt giấy
• Nét vẽ nguệch ngoạc trên bảng trắng
• Hoạt hình cel anime

README lưu ý rằng năm công cụ mới hơn đã được sử dụng trong thực tế ít hơn so với các công cụ vector và màu nước. Nếu video tham chiếu không phù hợp với một phong cách đã biết, ReelMimic sẽ chọn công cụ gần nhất và chuẩn bị đề xuất cho một phong cách mới.

Video dài từ 30 đến 60 giây thường cần khoảng 1 đến 3.5 giờ sau khi kế hoạch được phê duyệt. Đầu ra màu nước và bút sáp thường chậm hơn vì các khung hình được vẽ bằng cọ.

Điều kiện tiên quyết

Hãy cài đặt và cấu hình các công cụ sau trước khi thiết lập ReelMimic:

• Node.js 22.18 trở lên
• Python 3.10 trở lên
• FFmpeg
• Google Chrome
• Một trong hai công cụ Claude Code hoặc Codex CLI, cùng với một tài khoản đã xác thực

Dự án chủ yếu được kiểm thử trên Windows. macOS và Linux cũng được cho là sẽ hoạt động, dù đã được kiểm thử ít hơn.

Cài đặt ReelMimic

Cài đặt trên macOS hoặc Linux

Sao chép kho lưu trữ, truy cập thư mục của kho, chạy trình cài đặt và khởi động ứng dụng:

git clone https://github.com/edenfunf/reelmimic.git && cd reelmimic
./install.sh
./start.sh

Cài đặt trên Windows

Sao chép hoặc tải xuống kho lưu trữ. Trong thư mục dự án, nhấp đúp vào install.bat, sau đó nhấp đúp vào start.bat.

Tập lệnh cài đặt sẽ kiểm tra phần mềm bắt buộc và báo cáo mọi thành phần còn thiếu. Để thực hiện lại bước kiểm tra chẩn đoán này sau đó, hãy chạy:

cd app
npm run doctor

Claude Code tự động phát hiện các kỹ năng đi kèm kho lưu trữ. Codex đọc tệp AGENTS.md được cung cấp, vì vậy cả hai tùy chọn đều không yêu cầu thiết lập tác nhân riêng cho ReelMimic.

Mở giao diện web

Sau khi khởi động ReelMimic, hãy mở http://localhost:4318 trong trình duyệt. Cổng 4318 là cổng mặc định và có thể được thay đổi trong phần cài đặt của ReelMimic.

Tạo video đầu tiên

1. Thêm tài liệu tham chiếu. Thả video vào trang chủ hoặc dán một liên kết được hỗ trợ.
2. Viết bản mô tả. Mô tả video gốc mà bạn muốn ReelMimic tạo. Quy trình dự kiến trong README sử dụng yêu cầu súc tích thay vì đặc tả kỹ thuật chi tiết.
3. Chọn công cụ AI. Chọn bản cài đặt Claude Code hoặc Codex mà bạn đã xác thực.
4. Chờ phân tích. ReelMimic phân tích tài liệu tham chiếu và chuẩn bị kế hoạch sản xuất đề xuất.
5. Xem lại kế hoạch. Kiểm tra bảng phân cảnh, nhân vật, tài sản và các khung hình phong cách trước khi cho phép bắt đầu sản xuất.
6. Yêu cầu thay đổi. Sử dụng bảng trò chuyện để chỉnh sửa đề xuất. Bạn cũng có thể cung cấp ảnh chụp màn hình làm dữ liệu đầu vào.
7. Cung cấp tài liệu được yêu cầu. Nếu kế hoạch yêu cầu nội dung như lời bài hát, hãy thêm nội dung đó hoặc chọn bỏ qua.
8. Bắt đầu sản xuất. Chọn Phê duyệt và bắt đầu khi kế hoạch đã sẵn sàng.

Ví dụ về bản mô tả

Một yêu cầu đơn giản có thể xác định chủ đề và kết quả mong muốn, đồng thời cho phép tài liệu tham chiếu cung cấp ngôn ngữ sản xuất:

Tạo một câu chuyện hoạt hình gốc dài 30 giây về một chú mèo trốn giờ tắm, sử dụng nhịp độ và cách bố trí khung hình của video tham chiếu.

Hãy xem đây là điểm khởi đầu. Giai đoạn xem xét là lúc bạn có thể làm rõ nhân vật, tài sản, định hướng hình ảnh hoặc các chi tiết câu chuyện trước khi bắt đầu quy trình sản xuất dài hơn.

Giám sát và xem xét quá trình sản xuất

Mở tab Dây chuyền sản xuất sau khi quá trình kết xuất bắt đầu. Tab này hiển thị trạng thái của từng nhân vật và phân đoạn video, cùng với ảnh chụp màn hình để xem xét. Bạn có thể kiểm tra các tác vụ mà tác nhân đã chạy, những khung hình chúng đã phân tích và toàn bộ nhật ký sản xuất.

Nếu tài khoản Claude Code hoặc Codex của bạn đạt đến giới hạn sử dụng, tác vụ sẽ tạm dừng. Tác vụ có thể tiếp tục từ vị trí đã dừng sau khi quyền truy cập được khôi phục.

Nhận xét về video hoàn thiện

Sau khi video hoàn tất, tua đến bất kỳ thời điểm nào cần chú ý và nhập ghi chú tại mốc thời gian đó. Bạn có thể tập hợp nhiều ghi chú và gửi cùng lúc thay vì khởi động lại toàn bộ quy trình sáng tạo sau mỗi lần nhận xét.

Cấu hình khóa, đường dẫn và mức độ đồng thời

ReelMimic lưu trữ khóa API và đường dẫn công cụ đã chọn tại:

~/.reelmimic/secrets.json

Tệp này nằm ngoài kho lưu trữ, giúp ngăn thông tin bí mật bị commit cùng dự án. Sử dụng secrets.example.json trong kho lưu trữ làm tài liệu tham khảo về định dạng.

Các cài đặt khả dụng

• YATING_KEY: Bật giọng đọc tiếng Quan Thoại Đài Loan của Yating.
• PIXABAY_KEY và FREESOUND_KEY: Cung cấp thêm nguồn hình ảnh, nhạc và hiệu ứng âm thanh được phép sử dụng. Đây là các khóa tùy chọn vì Openverse hoạt động mà không cần khóa.
• FFMPEG_DIR: Chỉ định vị trí của FFmpeg khi công cụ này không có trong đường dẫn hệ thống.
• CHROME_PATH: Trỏ ReelMimic đến tệp thực thi Chrome.
• CODEX_BIN: Chỉ định tệp thực thi Codex.
• PYTHON: Chỉ định tệp thực thi Python.
• CODEX_SANDBOX: Kiểm soát chế độ sandbox của Codex. Giá trị mặc định là danger-full-access. README cảnh báo rằng workspace-write sẽ chặn trình kết xuất Chrome.
• BUILDERS: Kiểm soát số tác nhân làm việc đồng thời trên một video. Giá trị mặc định là sáu.
• MAX_AGENTS: Giới hạn số tác nhân đồng thời trên tất cả dự án. Giá trị mặc định là mười hai.
• PORT: Thay đổi cổng web mặc định 4318.

Mẹo về quy trình nâng cao

Tinh chỉnh kế hoạch trước khi kết xuất

Quá trình kết xuất có thể mất hàng giờ, vì vậy hãy giải quyết các vấn đề rõ ràng về câu chuyện, nhân vật, tài sản và phong cách trong giai đoạn lập kế hoạch. Sử dụng phần trò chuyện bên cạnh và ảnh chụp màn hình để truyền đạt các thay đổi cụ thể, rồi chỉ phê duyệt khi bảng phân cảnh và các khung hình mẫu phù hợp với ý định của bạn.

Chọn mức độ đồng thời một cách thận trọng

Nhiều tác nhân hơn có thể phân chia công việc, nhưng mọi hoạt động đều được tính vào mức sử dụng tài khoản Claude Code hoặc Codex của bạn. Ban đầu hãy giữ các giới hạn mặc định, theo dõi mức tiêu thụ tài nguyên và kế hoạch, rồi chỉ điều chỉnh BUILDERS hoặc MAX_AGENTS khi cần thiết.

Chạy kiểm tra chẩn đoán sau khi thay đổi môi trường

Nếu bạn cập nhật Node.js, Python, FFmpeg, Chrome, Claude Code hoặc Codex, hãy chạy lại npm run doctor từ thư mục app. Các đường dẫn công cụ được chỉ định rõ trong secrets.json có thể hữu ích khi các tệp thực thi đã được cài đặt nhưng không có trong đường dẫn hệ thống.

Mở rộng phong cách mà không thay đổi mã ứng dụng

ReelMimic định nghĩa phong cách thông qua các tệp Markdown. Hãy tham khảo tài liệu mở rộng của kho lưu trữ trước khi thêm một phong cách, công cụ kết xuất hoặc tích hợp AI khác. Tài liệu kiến trúc giải thích hành vi lúc chạy, vị trí tệp và cách các công cụ AI kết nối với hệ thống.

Tôn trọng nguồn và quyền sử dụng

ReelMimic ghi lại nguồn, tác giả và giấy phép của tài liệu tìm thấy trên mạng, đồng thời đánh dấu các giấy phép không rõ ràng. Lời bài hát phải đến từ văn bản do bạn cung cấp; công cụ không tải các bài hát thương mại. Bạn vẫn chịu trách nhiệm bảo đảm mình có quyền sử dụng dữ liệu đầu vào và xuất bản video kết quả.

Kết luận

ReelMimic cung cấp một quy trình cục bộ, dựa trên việc xem xét, để chuyển kỹ thuật sáng tạo của một video thành một hoạt hình 2D mới. Quy trình lập kế hoạch trước, các tác nhân sản xuất song song, việc xem xét từng cảnh độc lập, nhật ký hiển thị rõ ràng và phản hồi theo mốc thời gian giúp quy trình này dễ kiểm soát hơn so với quy trình tạo nội dung một lần. Hãy bắt đầu bằng một tài liệu tham chiếu ngắn và bản mô tả rõ ràng, xem xét kỹ kế hoạch được đề xuất, đồng thời theo dõi mức sử dụng tài khoản trong khi các tác nhân xây dựng và kiểm tra kết quả.