SenseNova Loop-9B-Preview Đang hoạt động

SenseNova Loop-9B-Preview là mô hình đa phương thức bản xem trước ở quy mô 9B tham số do SenseTime phát hành mã nguồn mở. SenseNova Loop-9B-Preview giữ lại 4 lớp bộ giải mã ban đầu ở đầu và cuối, thay các lớp giữa bằng mô-đun tính toán lặp dùng chung tham số, mở rộng độ sâu tính toán hiệu dụng qua nhiều vòng lặp và đưa vào cơ chế mHC để tăng độ ổn định của tương tác đặc trưng. Theo đánh giá chính thức, mô hình vượt Qwen3.5-27B trong các tác vụ văn phòng và tác vụ tác tử, đạt năng lực xử lý tác vụ phức tạp cấp mô hình lớn với số tham số nhỏ; trọng số đã được công khai trên GitHub và Hugging Face.

Tạo mã: Đạt mức dẫn đầu trong nhóm ở các tác vụ viết mã, hỗ trợ ứng dụng trong môi trường phát triển.
Tạo nội dung văn phòng: Tích hợp với ứng dụng Tiểu Hoán Hùng, có thể tạo thiết kế PPT, tài liệu dài và các sản phẩm văn phòng khác.
Tác vụ tác tử: Thể hiện nổi bật trong các bài đánh giá Agent nhiều bước như AutomationBench, có thể hoàn thành các tác vụ phức tạp, chuỗi dài, bao gồm kể chuyện và tương tác.
Xử lý ngữ cảnh dài: Được định vị chính thức là mô hình đa phương thức lặp dành cho ngữ cảnh dài và quy trình làm việc của tác tử.
Khám phá mã nguồn mở và thương mại hóa: Trọng số cùng mã suy luận được công khai trên GitHub và Hugging Face, phục vụ nghiên cứu cộng đồng và ứng dụng hằng ngày.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc lặp Looped Transformer: Mô hình lấy quy mô 9B làm nền tảng, giữ lại 4 lớp bộ giải mã ban đầu ở đầu và cuối, thay các lớp giữa bằng mô-đun tính toán lặp dùng chung tham số. Cùng một bộ trọng số được tái sử dụng qua nhiều vòng lặp, nhờ đó mở rộng độ sâu tính toán hiệu dụng mà không thay đổi quy mô tham số, giúp mô hình nhỏ có năng lực suy luận gần với mạng sâu hơn.
Cơ chế tương tác đặc trưng mHC: Để cải thiện truyền thông tin trong các vòng lặp, mô hình đưa vào Manifold-Constrained Hyper-Connections (mHC), trộn các đặc trưng thông qua nhiều luồng dư và ma trận trộn bị ràng buộc “song ngẫu nhiên”, vừa tăng cường tương tác đặc trưng giữa các lớp vừa ràng buộc đa tạp thông tin nhằm duy trì sự ổn định của lan truyền tín hiệu; thí nghiệm loại bỏ cho thấy cơ chế này giúp GPQA Diamond tăng 4.42 điểm và TeamBench tăng 13.34 điểm.
Thiết kế chia sẻ tham số và hiệu suất: Việc chia sẻ trọng số giữa các lớp lặp trung gian giúp mô hình với khoảng 9B tham số đảm nhận độ sâu tính toán vượt xa mô hình dày đặc 9B, kết hợp các kỹ thuật như TBK để kiểm soát chi phí tính toán mỗi vòng, hướng tới khả năng tiệm cận hiệu suất của mô hình cấp 27B trong các tác vụ phức tạp với chi phí suy luận có thể kiểm soát.

Chuẩn bị môi trường: Cài đặt PyTorch tương thích với CUDA, sau đó chạy pip install "transformers==5.18.0" accelerate safetensors.
Lấy mô hình: Tải trọng số sensenova/SenseNova-Loop-9B-Preview từ Hugging Face về máy; đảm bảo thư mục chứa cấu hình, tokenizer, mẫu chat và mã mô hình tùy chỉnh.
Nạp mô hình: Trong mã nguồn, sử dụng trust_remote_code=True và dtype=torch.bfloat16 để gọi AutoModelForCausalLM.from_pretrained nạp mô hình, sau đó gọi .eval().
Tạo đầu vào: Dùng tokenizer.apply_chat_template để xây dựng prompt hội thoại; khi cần suy luận chuyên sâu, đặt enable_thinking=True.
Sinh suy luận: Gọi model.generate để sinh văn bản, hỗ trợ use_cache nhằm tăng tốc; có thể sử dụng tăng tốc MTP.
Triển khai dạng dịch vụ: Trong môi trường sản xuất, có thể dùng LightLLM hoặc SGLang để cung cấp API.

Hiệu quả tham số cao: Khoảng 9B tham số, có thể mô phỏng độ sâu thực thi 56 lớp thông qua vòng lặp chia sẻ trọng số, đạt hiệu suất gần cấp 27B với chi phí thấp.
Đổi mới kiến trúc: Sử dụng Looped Transformer + mHC hai luồng, tăng cường tương tác thông tin và ổn định lan truyền tín hiệu bằng cơ chế trộn nhiều luồng dư có ràng buộc; đây là một trong những thực tiễn mã nguồn mở khả dụng đầu tiên trong nước ở quy mô 9B.
Năng lực ngữ cảnh dài: Hỗ trợ ngữ cảnh dài tối đa 262,144token trong quá trình huấn luyện, phù hợp với việc hiểu tài liệu và các tác vụ chuỗi dài.
Đầu vào đa phương thức: Hỗ trợ đầu vào văn bản và hình ảnh, được định vị chính thức là mô hình đa phương thức dành cho ngữ cảnh dài và quy trình làm việc của tác tử.
Thân thiện với tăng tốc suy luận: Tích hợp cơ chế tăng tốc MTP và đã có thể sử dụng; các phương án giải mã suy đoán như Dspark và Dflash2 đang được nghiên cứu.

Kho GitHub: https://github.com/OpenSenseNova/SenseNova-Loop
Kho mô hình HuggingFace: https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

Hiểu và phân tích tài liệu dài: Nhờ ngữ cảnh siêu dài 256K, mô hình có thể xử lý toàn bộ hợp đồng, báo cáo tài chính, tuyển tập bài nghiên cứu và các tài liệu lớn khác trong một lần, đồng thời tạo bản tóm tắt có cấu trúc và câu trả lời hỏi đáp.
Quy trình làm việc của tác tử (Agent): Thể hiện nổi bật trong các kịch bản gọi công cụ nhiều bước, thao tác trên web và lập kế hoạch tác vụ, phù hợp để xây dựng Agent tự động hóa văn phòng và thực thi quy trình.
Tạo nội dung văn phòng: Khi tích hợp với ứng dụng Tiểu Hoán Hùng, mô hình có thể trực tiếp tạo thiết kế PPT, báo cáo phân tích dữ liệu và trang trình chiếu có hiệu ứng, bao quát việc tạo các sản phẩm văn phòng hằng ngày.
Hỗ trợ phát triển mã: Năng lực tạo mã đạt mức dẫn đầu trong nhóm, có thể đảm nhiệm hoàn thiện mã, viết tập lệnh và phát triển đầu cuối các dự án nhỏ.
Sáng tạo nội dung đa phương thức: Hỗ trợ đầu vào văn bản và hình ảnh, phù hợp để tạo nội dung đa phương tiện như chuyên đề du lịch kết hợp văn bản và hình ảnh, trang tiếp thị và website mang tính tự sự.