SenseNova U1.5-Lite-Preview – Mô hình đa phương thức nhẹ do SenseTime mã nguồn mở Đang hoạt động

SenseNova U1.5-Lite-Preview là phiên bản xem trước của mô hình đa phương thức thống nhất nguyên bản nhẹ do SenseTime mã nguồn mở. Dựa trên kiến trúc NEO-Unify, mô hình chỉ với 8B-MoT tham số đã kết nối liền mạch khả năng hiểu hình ảnh, suy luận, tạo và chỉnh sửa. Mô hình hỗ trợ tạo ảnh 4K nguyên bản, có khả năng tái hiện kết cấu cục bộ tinh tế, chất liệu thế giới thực, văn bản tiếng Trung và tiếng Anh cùng bố cục phức tạp; đồng thời được tối ưu để tuân thủ chính xác ngôn ngữ tự nhiên dài và các chỉ thị hình ảnh có cấu trúc. Prompt Enhance Skill đi kèm giúp giảm ngưỡng sáng tạo phức tạp.

Tạo 4K nguyên bản: Hỗ trợ tạo ảnh độ phân giải siêu cao đầu-cuối, với chi tiết vẫn rõ khi phóng to.
Chất lượng hình ảnh tinh tế: Thể hiện kết cấu vật liệu, sắc độ ánh sáng và chi tiết cục bộ chân thực hơn.
Tạo văn bản tiếng Trung và tiếng Anh: Kết xuất chính xác văn bản và bố cục tiếng Trung, tiếng Anh trong các thiết kế phức tạp.
Chỉnh sửa và lặp ảnh: Hỗ trợ chỉnh sửa ảnh lặp liên tục dựa trên chỉ thị ngôn ngữ tự nhiên.
Prompt Enhance Skill: Tự động mở rộng yêu cầu ngắn thành phương án sáng tạo hoàn chỉnh, giảm ngưỡng viết chỉ thị.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc thống nhất NEO-Unify: Mô hình hóa kết hợp ngôn ngữ, ngữ nghĩa hình ảnh và tạo pixel trong một mô hình duy nhất, qua đó thống nhất nguyên bản khả năng hiểu, suy luận, tạo và chỉnh sửa.
Thiết kế nhẹ 8B-MoT: Sử dụng kiến trúc token hỗn hợp chỉ với 8 tỷ tham số, mở rộng biên giới năng lực đa phương thức trong khi vẫn duy trì tính nhẹ, đồng thời kiểm chứng khả năng mở rộng liên tục của kiến trúc thống nhất.
Ánh xạ pixel-ngôn ngữ nguyên bản: Được huấn luyện đầu-cuối từ pixel và ngôn ngữ, mô hình học được năng lực ánh xạ nguyên bản từ mô tả ngôn ngữ đến cấu trúc hình ảnh.
Kiểm soát hình ảnh ngữ cảnh dài: Mô hình được tối ưu để hiểu ngôn ngữ tự nhiên dài và các chỉ thị sáng tạo có cấu trúc, hỗ trợ thực hiện chính xác các chỉ thị hình ảnh đa ràng buộc, phân cấp.

Lấy mô hình và tài liệu: Truy cập kho GitHub để xem tài liệu kỹ thuật và mã suy luận, hoặc tải trọng số mô hình 8B-MoT cùng tệp cấu hình từ Hugging Face.
Triển khai môi trường: Cấu hình môi trường chạy theo tài liệu và nạp trọng số mô hình để hoàn tất khởi tạo mô hình cục bộ hoặc trên đám mây.
Tạo ảnh cơ bản: Nhập trực tiếp mô tả bằng ngôn ngữ tự nhiên (hỗ trợ tiếng Trung và tiếng Anh), mô hình có thể tạo ảnh 4K nguyên bản.
Chỉ thị sáng tạo phức tạp: Cung cấp yêu cầu sáng tạo hoàn chỉnh gồm chủ thể, bố cục, phong cách, văn bản và các điều kiện ràng buộc; mô hình sẽ tạo ảnh theo cấu trúc hình ảnh được xác định rõ.
Hỗ trợ Prompt Enhance: Gọi Prompt Enhance Skill thử nghiệm để tự động mở rộng ý tưởng ngắn thành phương án sáng tạo hoàn chỉnh, sau đó gửi cho mô hình thực thi.
Thao tác chỉnh sửa ảnh: Tải ảnh có sẵn lên và bổ sung chỉ thị chỉnh sửa bằng ngôn ngữ tự nhiên; mô hình sẽ thực hiện chỉnh sửa lặp liên tục trong khi duy trì tính nhất quán tổng thể.

Thống nhất và nhẹ: Chỉ với 8B-MoT tham số đã tích hợp khả năng hiểu, tạo và chỉnh sửa, giúp giảm chi phí triển khai.
Siêu nét 4K: Hỗ trợ tạo ảnh độ phân giải 4K nguyên bản, vẫn duy trì chi tiết và tính nhất quán ở khung hình cực lớn.
Tuân thủ chỉ thị mạnh: Ngay cả khi không được huấn luyện định dạng chuyên biệt cho Prompt Enhance, mô hình vẫn thực hiện ổn định các chỉ thị hình ảnh dài và phức tạp.
Chất liệu chân thực: Cải thiện rõ rệt khả năng thể hiện kết cấu cục bộ, ánh sáng vật liệu và chất liệu thế giới thực.
Văn bản ổn định: Khả năng tạo văn bản tiếng Trung, tiếng Anh và tổ chức bố cục phức tạp chính xác, ổn định hơn.

Kho GitHub: https://github.com/OpenSenseNova/SenseNova-U1/blob/main/docs/u1.5_preview.md
Kho mô hình HuggingFace: https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-Preview

Thiết kế hình ảnh thương hiệu thương mại: Nhanh chóng tạo áp phích, infographic và ấn phẩm quảng bá thương hiệu có văn bản tiếng Trung, tiếng Anh chính xác, bố cục phức tạp và phong cách hình ảnh chỉ định, đáp ứng nhu cầu sáng tạo thương mại với khả năng kiểm soát cao.
Tranh cuộn kể chuyện siêu rộng: Sử dụng độ phân giải siêu nét 4K để sáng tạo nội dung kể chuyện liên tục siêu rộng như niên biểu lịch sử và tranh cuộn văn hóa; nhiều chi tiết văn bản và biểu tượng vẫn rõ ràng, ổn định khi phóng to.
Trực quan hóa ý tưởng kiến trúc và sản phẩm: Tạo hình ảnh kết xuất ngoại thất kiến trúc có độ chân thực cao, hình ảnh ý tưởng không gian nội thất và hình ảnh trưng bày sản phẩm, thể hiện kết cấu vật liệu, sắc độ ánh sáng và bầu không khí không gian chân thực.
Chân dung và cận cảnh cấp độ nhiếp ảnh: Mô hình có thể tạo ảnh chân dung, cận cảnh khuôn mặt và tác phẩm chủ đề nhân vật với kết cấu da tinh tế, ánh sáng tự nhiên và chất liệu chân thực, đồng thời hỗ trợ bố cục phức tạp và chỉ định phong cách.
Sáng tạo nghệ thuật hoài cổ và collage: Mô hình hỗ trợ các sáng tạo hình ảnh phong cách như sổ tay hoài cổ, áp phích collage và tranh minh họa bách khoa tự nhiên với nhiều yếu tố hòa trộn, tái hiện chính xác các chi tiết như chất liệu giấy, tem thư và chữ viết tay.