HOMIE Đang hoạt động

HOMIE là framework mã nguồn mở của Đại học Khoa học và Công nghệ Hồng Kông để tạo video kỹ thuật số, dựa trên backbone Wan2.1-T2V-14B và tích hợp mô hình ngôn ngữ đa phương thức lớn Qwen3-VL. Framework có thể xử lý thống nhất bốn yếu tố: người kỹ thuật số + sản phẩm + Logo + văn bản, giải quyết chính xác bốn vấn đề lớn gồm tương tác người-vật, gắn Logo thương hiệu, độ trung thực của văn bản OCR và tính nhất quán đa góc nhìn. Quá trình huấn luyện mô hình chỉ cần 5.5K bước/khoảng 1 vạn giờ A100; độ chính xác OCR cao hơn 38.7% so với mô hình mã nguồn mở mạnh nhất, hỗ trợ suy luận từ 480P trên một GPU đến 720P trên nhiều GPU, giúp giảm đáng kể ngưỡng sản xuất video cho các kịch bản như bán hàng qua livestream thương mại điện tử và streamer ảo.

Cá nhân hóa video tương tác người-vật: Hỗ trợ nhiều nhân vật và nhiều vật thể cùng xuất hiện trong một video, duy trì tính nhất quán về ngoại hình của từng chủ thể, đồng thời tạo ra các hành động tương tác tự nhiên, hợp lý (chẳng hạn cầm, giới thiệu hoặc truyền sản phẩm).
Gắn Logo/khái niệm trừu tượng chính xác: Tận dụng năng lực suy luận ngữ nghĩa của mô hình ngôn ngữ đa phương thức lớn (MLLM) để tự động gắn Logo thương hiệu và các khái niệm trừu tượng khác lên vật thể có liên quan nhất về ngữ nghĩa, không cần mô tả rõ quan hệ vị trí trong prompt.
Tạo văn bản OCR có độ trung thực cao: Kết hợp hình ảnh tham chiếu OCR để bảo đảm văn bản trên bao bì và nhãn sản phẩm hiển thị rõ ràng, dễ đọc trong video được tạo, không bị mờ hoặc lẫn ký tự, giải quyết vấn đề “văn bản bị nhòe thành một đống” trong quá trình tạo video AI.
Tạo nội dung nhất quán đa góc nhìn: Khi cung cấp hình ảnh tham chiếu đa góc nhìn của cùng một vật thể, hệ thống vẫn duy trì ngoại hình và chi tiết nhất quán khi vật thể xoay hoặc chuyển động trong video, phù hợp với các cảnh giới thiệu mô hình, vật thể 3D và đồ chơi.

关注 WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc tổng thể: Sử dụng DiT của Alibaba Wan2.1-T2V-14B làm backbone, đưa Qwen3-VL-2B-Thinking vào làm mô-đun hiểu hình ảnh, kết hợp với bộ mã hóa văn bản UmT5 và bộ mã hóa hình ảnh VAE để hình thành kiến trúc tạo sinh ba luồng song song gồm “văn bản + ngữ nghĩa đa phương thức + hình ảnh”.
Chiến lược tích hợp MLLM: Đưa năng lực suy luận ngữ nghĩa của mô hình đa phương thức lớn vào DiT mà không phá vỡ quan hệ căn chỉnh của mô hình tạo video từ văn bản hiện có và không phát sinh chi phí căn chỉnh lại đắt đỏ, giúp mô hình tự động hiểu các mối quan hệ tiềm ẩn giữa những hình ảnh tham chiếu.
Hướng dẫn tự chú ý đa phương thức toàn cục (GMG): Trong lớp tự chú ý của DiT, căn chỉnh toàn cục các đặc trưng ngữ nghĩa do MLLM trích xuất với các token hình ảnh VAE. Thông qua phép chiếu, gộp và biến đổi affine, mọi token video trong quá trình tạo đều có thể “nhìn thấy” thông tin ngữ nghĩa toàn cục của hình ảnh tham chiếu.
Embedding phương thức-tham chiếu (MRE): Gán embedding phương thức riêng cho token đặc trưng MLLM và token hình ảnh VAE, gán embedding tham chiếu độc lập cho từng hình ảnh tham chiếu, đồng thời liên kết các token hình ảnh tham chiếu đa góc nhìn/OCR của cùng một chủ thể để tránh trộn lẫn thông tin.
Huấn luyện tiến triển ba giai đoạn: một chủ thể 480P → nhiều chủ thể 480P → độ phân giải cao 720P, tổng cộng chỉ cần 5.5K bước để hoàn tất huấn luyện, thấp hơn nhiều so với hàng chục nghìn bước của các phương pháp tương tự.

Chuẩn bị môi trường: Clone kho mã HOMIE từ GitHub về máy cục bộ và hoàn tất cài đặt các dependency môi trường.
Tải trọng số: Tải trọng số tiền huấn luyện chính thức từ HuggingFace vào thư mục mô hình được chỉ định.
Chuẩn bị tư liệu: Chuẩn bị hình ảnh tham chiếu, bao gồm ảnh nhân vật, ảnh sản phẩm, ảnh Logo hoặc ảnh văn bản OCR và các tư liệu có nhiều chủ thể khác.
Viết prompt: Viết prompt văn bản mô tả chính xác các hành động tương tác và bối cảnh giữa nhân vật với vật thể trong video mục tiêu.
Chạy suy luận: Chạy script suy luận; HOMIE sẽ tự động hợp nhất thông tin tham chiếu đa phương thức và tạo video cá nhân hóa.
Chọn độ phân giải: GPU đơn có thể trực tiếp tạo video độ phân giải 832×480, còn FSDP trên nhiều GPU có thể mở rộng lên đầu ra độ phân giải cao 720P.

Framework thống nhất: Một framework đồng thời xử lý bốn nhiệm vụ lớn gồm tương tác người-vật, gắn Logo, bảo toàn văn bản OCR và nhất quán đa góc nhìn, không cần chuyển đổi giữa các mô hình khác nhau cho từng kịch bản.
Huấn luyện hiệu quả: Chỉ cần 5.5K bước/khoảng 1 vạn giờ A100 để hoàn tất huấn luyện, chi phí thấp hơn nhiều so với 3–4 vạn bước thường cần ở các phương pháp tương tự.
Tích hợp MLLM không tổn hao: Đưa năng lực suy luận ngữ nghĩa của mô hình đa phương thức lớn vào pipeline tạo video mà không làm giảm khả năng kiểm soát của bộ mã hóa văn bản và không phát sinh chi phí căn chỉnh lại đắt đỏ.
Chất lượng dẫn đầu: Độ chính xác OCR tăng tương đối 38.7%, tính nhất quán đa góc nhìn tăng 8.2%; trong nghiên cứu người dùng với 40 người, 64.7% bình chọn chất lượng tổng thể đứng đầu.
Suy luận linh hoạt: Hỗ trợ suy luận từ 480P trên một GPU đến 720P trên nhiều GPU, đồng thời có thể xuất video dọc 1280×720, phù hợp trực tiếp với hoạt động bán hàng qua livestream và sản xuất video ngắn.

Trang web dự án: https://yiyangcai.github.io/homie-page.github.io
Kho GitHub: https://github.com/YIYANGCAI/HOMIE
Kho mô hình HuggingFace: https://huggingface.co/yychai/homie-r2v-wan2.1
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2607.18217

Bán hàng qua livestream thương mại điện tử: Tạo video bán hàng trong đó người kỹ thuật số được chỉ định cầm sản phẩm được chỉ định và thực hiện hành động được chỉ định, hỗ trợ đầu ra video dọc 1280×720, phù hợp trực tiếp với các nền tảng video ngắn.
Sản xuất quảng cáo thương hiệu: Tự động gắn Logo thương hiệu lên sản phẩm có liên quan về ngữ nghĩa, không cần chỉ rõ quan hệ vị trí trong prompt.
Streamer ảo/người kỹ thuật số: Duy trì tính nhất quán về danh tính của người kỹ thuật số, đồng thời tương tác tự nhiên với nhiều sản phẩm.
Giới thiệu sản phẩm đa góc nhìn: Dựa trên hình ảnh tham chiếu đa góc nhìn của mô hình, vật thể 3D hoặc đồ chơi, tạo video trình diễn xoay, trong đó ngoại hình nhất quán ở mọi góc độ.
Bảo toàn văn bản trên bao bì: Kết hợp hình ảnh tham chiếu OCR để bảo đảm văn bản trên bao bì và nhãn sản phẩm hiển thị rõ ràng, dễ đọc trong video, phù hợp với các kịch bản cần giới thiệu thành phần/hướng dẫn sử dụng của thực phẩm, mỹ phẩm, thực phẩm bảo vệ sức khỏe và các sản phẩm khác.