EdenLive Đang hoạt động

EdenLive là trình kết xuất tạo sinh theo thời gian thực do VAST phát triển, là thành quả theo giai đoạn của dự án mô hình thế giới Project Eden. EdenLive sử dụng Proxy để đơn giản hóa hình ảnh hoặc video tham chiếu làm tín hiệu điều khiển, kết hợp với khung hình đầu tiên mục tiêu và lời nhắc văn bản để liên tục tạo ra hình ảnh chân thực hoặc cách điệu theo thời gian thực. Với một GPU RTX 5090, hệ thống có thể đạt độ phân giải 720P và hơn 24FPS, với độ trễ chỉ vài trăm mili giây. Thiết kế cốt lõi của EdenLive là tách biệt việc duy trì trạng thái thế giới khỏi kết xuất hình ảnh, cho phép tạo hình ảnh tương tác mà không cần đầy đủ tài sản mỹ thuật. Dự án đã được phát hành mã nguồn mở hoàn toàn và có thể được sử dụng trong game, hoạt hình, tạo dữ liệu cho trí tuệ nhân tạo hiện thân cùng nhiều kịch bản khác.

Kết xuất tạo sinh theo thời gian thực: sử dụng hình ảnh Proxy đơn giản hóa hoặc video tham chiếu làm tín hiệu điều khiển để liên tục tạo ra hình ảnh chi tiết hoặc cách điệu theo thời gian thực, với tốc độ trên 24 FPS ở độ phân giải 720P.
Chuyển đổi phong cách tùy ý: chỉ cần cung cấp khung hình đầu tiên mục tiêu và lời nhắc văn bản, hệ thống có thể chuyển cùng một cảnh sang nhiều phong cách hình ảnh khác nhau như anime, tranh sơn dầu và chân thực.
Đầu vào tham chiếu đa dạng: hỗ trợ nhiều nguồn làm tham chiếu về cấu trúc và chuyển động, bao gồm hoạt hình 2D, cảnh 3D và video thực, không phụ thuộc vào một quy trình kết xuất cụ thể.
Tạo ảnh Proxy-to-Fine: trực tiếp tạo hình ảnh thành phẩm chất lượng cao từ cấu trúc cảnh thô mà không cần chuẩn bị trước đầy đủ tài sản mỹ thuật.
Tích hợp tương tác game: phối hợp tách biệt với hệ thống tương tác ở tầng trên, giữ lại giao diện người dùng và cơ chế điều khiển của game, tạo thành quy trình hoàn chỉnh từ duy trì trạng thái đến kết xuất thời gian thực.
Hệ sinh thái mã nguồn mở: cung cấp trọng số mô hình, mã suy luận và báo cáo kỹ thuật, kèm Game Prototype Turbo để tạo game Proxy có thể chơi được chỉ bằng ngôn ngữ tự nhiên.
Tạo dữ liệu cho trí tuệ nhân tạo hiện thân: thay đổi diện mạo hình ảnh trong khi giữ nguyên quỹ đạo chuyển động và cấu trúc cảnh ban đầu, cung cấp dữ liệu đa dạng cho việc huấn luyện robot.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc tách biệt trạng thái và kết xuất: EdenLive tách việc duy trì trạng thái thế giới khỏi quá trình tạo hình ảnh. Quy tắc game, vị trí nhân vật, phán định va chạm và các thông tin khác được hệ thống tương tác ở tầng trên ghi nhận, cập nhật một cách rõ ràng; mô hình video không còn phải suy luận trạng thái ngầm, nhờ đó tránh lỗi tích lũy dần theo thời lượng tạo và có thể tập trung vào chất lượng hình ảnh cũng như tính thời gian thực.
Mô thức tạo Proxy-to-Fine: mô hình sử dụng bố cục cảnh, chuyển động camera và chuyển động ở mức thô do hình ảnh tham chiếu Proxy cung cấp làm điều kiện, không yêu cầu hình ảnh tham chiếu đạt độ chính xác hình học nhất định nhưng vẫn có thể tạo ra hình ảnh mục tiêu chi tiết.
Điều khiển bằng điều kiện đa phương thức: quá trình tạo được thúc đẩy đồng thời bởi ba loại đầu vào: luồng video tham chiếu cung cấp thông tin về cấu trúc và chuyển động, khung hình đầu tiên mục tiêu quyết định diện mạo hình ảnh tổng thể và phong cách, còn lời nhắc văn bản bổ sung phong cách cùng chi tiết. Ba yếu tố phối hợp để thực hiện điều khiển linh hoạt với mọi tham chiếu và mọi phong cách.
Tạo luồng theo thời gian thực: mô hình sử dụng suy luận theo luồng thay vì tạo toàn bộ đoạn video ngoại tuyến, liên tục tiếp nhận hình ảnh tham chiếu biến đổi và xuất kết quả kết xuất theo từng khung hình. Với một RTX 5090, 5B tham số và cấu hình 720P, hệ thống đạt hơn 24 FPS cùng độ trễ đầu cuối ở mức vài trăm mili giây, cho phép tạo liên tục trong nhiều phút.

Lấy mã nguồn: clone kho mã nguồn mở từ GitHub https://github.com/VAST-AI-Research/EdenLive.
Tải trọng số: tải trọng số mô hình theo kích thước và thông số tương ứng từ Hugging Face https://huggingface.co/VAST-AI/EdenLive.
Chuẩn bị đầu vào 1, hình ảnh tham chiếu: cung cấp cảnh Proxy đơn giản hóa hoặc luồng video tham chiếu, có thể lấy từ cảnh 2D/3D tự xây dựng, đầu ra của game engine hoặc bản ghi màn hình.
Chuẩn bị đầu vào 2, khung hình đầu tiên mục tiêu: chỉ định một hình ảnh khung hình đầu tiên quyết định phong cách và diện mạo hình ảnh tổng thể.
Chuẩn bị đầu vào 3, lời nhắc văn bản: viết lời nhắc mô tả phong cách và chi tiết.
Chạy suy luận: gọi mã suy luận, EdenLive sẽ kết xuất hình ảnh tham chiếu theo thời gian thực thành hình ảnh chi tiết hoặc luồng video với phong cách được chỉ định.
Tích hợp hệ thống tương tác: liên tục đưa hình ảnh tham chiếu động do engine ở tầng trên xuất ra vào mô hình để tạo vòng lặp kết xuất hoàn chỉnh cho các kịch bản tương tác thời gian thực như game.
Trải nghiệm bản demo đầu cuối: sử dụng Game Prototype Turbo mã nguồn mở để tạo game Proxy có thể chơi được bằng ngôn ngữ tự nhiên, sau đó kết nối với EdenLive để kết xuất theo thời gian thực và hoàn thiện toàn bộ quy trình.

Tính thời gian thực cao: một RTX 5090 có thể tạo liên tục trong nhiều phút ở độ phân giải 720P và hơn 24FPS, với độ trễ đầu cuối chỉ ở mức vài trăm mili giây.
Kiến trúc tách biệt ổn định: trạng thái thế giới được hệ thống tương tác duy trì rõ ràng, còn mô hình video tập trung vào kết xuất, tránh tích lũy sai số do suy luận trạng thái ngầm.
Yêu cầu đầu vào thấp: hình ảnh tham chiếu Proxy không cần hình học chi tiết hay quy trình kết xuất cụ thể; chỉ từ cảnh thô cũng có thể tạo ra hình ảnh chất lượng thành phẩm.
Tự do chuyển đổi phong cách: cùng một hình ảnh tham chiếu có thể tạo ra nhiều phong cách như chân thực, anime và tranh sơn dầu mà không cần chế tác lại tài sản cho từng phong cách.
Thích ứng với mọi tham chiếu: hỗ trợ nhiều nguồn như hoạt hình 2D, cảnh 3D và video thực, thống nhất hoàn thiện quá trình kết xuất tạo sinh.

Trang web dự án: https://vast-eden.ai/?p=edenlive
Kho GitHub: https://github.com/VAST-AI-Research/EdenLive
Kho mô hình Hugging Face: https://huggingface.co/VAST-AI/EdenLive
Báo cáo kỹ thuật: https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

Phát triển game bằng AI: dựa trên khả năng kết xuất theo thời gian thực của EdenLive để tạo hình ảnh chất lượng thành phẩm, giúp nhà phát triển độc lập xây dựng game 3D với chi phí thấp.
Tiền kỳ điện ảnh và hoạt hình: sau khi đạo diễn xác định bố cục, chuyển động camera và đường đi của nhân vật bằng hình ảnh phác thảo, hệ thống có thể tạo ngay các phiên bản theo nhiều phong cách như chân thực, hoạt hình và tranh sơn dầu, giúp nhanh chóng chốt định hướng mỹ thuật.
Phát trực tiếp/video cách điệu theo thời gian thực: sử dụng video người thật làm tham chiếu, kết xuất màn trình diễn của người thật theo thời gian thực thành hình ảnh anime hoặc các phong cách khác, phục vụ streamer ảo và sáng tạo video ngắn.
Tạo dữ liệu huấn luyện cho trí tuệ nhân tạo hiện thân: thay đổi diện mạo hình ảnh trong khi giữ nguyên quỹ đạo chuyển động của robot và cấu trúc cảnh, nhanh chóng tạo dữ liệu mô phỏng đa dạng cho việc huấn luyện robot.
Giáo dục tương tác và trải nghiệm ảo: kết xuất cảnh 3D đơn giản của các ứng dụng giáo dục và trưng bày thành hình ảnh chất lượng cao theo thời gian thực, mang đến trải nghiệm tương tác sống động trên trình duyệt hoặc thiết bị nhẹ.