SenseNova U1.5-Lite-Preview – 상탕이 오픈소스로 공개한 경량 멀티모달 모델 운영 중

SenseNova U1.5-Lite-Preview는 상탕테크놀로지가 오픈소스로 공개한 경량 네이티브 통합 멀티모달 모델의 프리뷰 버전입니다. NEO-Unify 아키텍처를 기반으로 발전했으며, 단 8B-MoT 파라미터로 시각적 이해, 추론, 생성 및 편집을 통합합니다. 이 모델은 4K 이미지 생성을 기본 지원하고, 정교한 로컬 텍스처, 사실적인 실세계 질감, 중·영문 텍스트 생성 및 복잡한 레이아웃 처리 기능을 갖추고 있습니다. 또한 매우 긴 자연어와 구조화된 시각 지시를 정확히 따르도록 최적화되었으며, Prompt Enhance Skill을 통해 복잡한 창작의 진입장벽을 낮춥니다.

4K 네이티브 생성: 초고해상도 이미지를 엔드투엔드로 생성하며, 확대해도 디테일이 선명하게 유지됩니다.
정교한 시각적 질감: 더욱 사실적인 소재 텍스처, 빛과 그림자의 깊이, 로컬 디테일을 표현합니다.
중·영문 텍스트 생성: 복잡한 레이아웃 속 중·영문 텍스트와 조판을 정확하게 렌더링합니다.
이미지 편집 및 반복 작업: 자연어 지시에 기반한 지속적인 반복 이미지 편집을 지원합니다.
Prompt Enhance Skill: 짧은 요구사항을 완전한 창작 계획으로 자동 확장해 지시문 작성의 진입장벽을 낮춥니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈소스 프로젝트交流群에 참여하세요
NEO-Unify 통합 아키텍처: 하나의 모델에서 언어, 시각 의미 및 픽셀 생성을 공동 모델링해 이해, 추론, 생성 및 편집을 기본적으로 통합합니다.
8B-MoT 경량 설계: 80억 개에 불과한 파라미터의 혼합 토큰 아키텍처를 사용해 경량성을 유지하면서 멀티모달 역량의 한계를 확장하고, 통합 아키텍처의 지속적인 확장 가능성을 검증합니다.
네이티브 픽셀-언어 매핑: 픽셀과 언어를 기반으로 엔드투엔드 학습을 진행하며, 언어 설명에서 시각 구조로 이어지는 네이티브 매핑 능력을 학습합니다.
긴 컨텍스트 시각 제어: 매우 긴 자연어와 구조화된 창작 지시에 대한 이해를 최적화해 다중 제약과 계층적 시각 지시를 정확하게 수행합니다.

모델 및 문서 확인: GitHub 저장소에서 기술 문서와 추론 코드를 확인하거나 Hugging Face에서 8B-MoT 모델 가중치와 설정 파일을 다운로드합니다.
환경 배포: 문서에 따라 실행 환경을 구성하고 모델 가중치를 로드한 뒤 로컬 또는 클라우드에서 모델을 초기화합니다.
기본 이미지 생성: 자연어 설명을 입력하면(중·영문 지원) 모델이 4K 이미지를 기본적으로 생성합니다.
복잡한 창작 지시: 주제, 레이아웃, 스타일, 텍스트 및 제약 조건이 포함된 완전한 창작 요구사항을 제공하면 모델이 명확한 시각 구조에 따라 생성합니다.
Prompt Enhance 지원: 실험적인 Prompt Enhance Skill을 호출해 짧은 아이디어를 완전한 창작 계획으로 자동 확장한 후 모델에 전달합니다.
이미지 편집 작업: 기존 이미지를 업로드하고 자연어 편집 지시를 추가하면, 모델이 전체적인 일관성을 유지하면서 지속적인 반복 편집을 수행합니다.

경량 통합: 단 8B-MoT 파라미터로 이해, 생성, 편집을 통합해 배포 비용을 낮춥니다.
4K 초고화질: 4K 해상도 생성을 기본 지원하며, 대형 화면에서도 디테일과 일관성을 유지합니다.
강력한 지시 준수: 전용 Prompt Enhance 형식화 학습이 없어도 긴 복잡한 시각 지시를 안정적으로 수행합니다.
사실적인 질감: 로컬 텍스처, 소재의 빛과 그림자 및 실세계 질감 표현을 크게 향상했습니다.
안정적인 텍스트: 중·영문 텍스트 생성과 복잡한 레이아웃 구성이 더욱 정확하고 안정적입니다.

GitHub 저장소: https://github.com/OpenSenseNova/SenseNova-U1/blob/main/docs/u1.5_preview.md
HuggingFace 모델 저장소: https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-Preview

상업 브랜드 비주얼 디자인: 정확한 중·영문 텍스트, 복잡한 레이아웃 및 지정된 시각 스타일을 포함한 포스터, 인포그래픽과 브랜드 홍보물을 빠르게 생성해 높은 제어력이 필요한 상업 창작 수요를 충족합니다.
초광폭 서사형 긴 두루마리: 4K 초고화질 해상도로 역사 연표, 문화 장권 등 초광폭 연속 서사 콘텐츠를 제작하며, 많은 텍스트와 아이콘 디테일도 확대 후 선명하고 안정적으로 유지됩니다.
건축 및 제품 콘셉트 시각화: 사실감 높은 건축 외관 렌더링, 실내 공간 콘셉트 이미지 및 제품 전시 이미지를 제작해 실제와 같은 소재 텍스처, 빛과 그림자의 깊이 및 공간 분위기를 표현합니다.
사진급 인물 및 클로즈업: 정교한 피부 텍스처, 자연스러운 빛과 그림자 및 사실적인 질감을 갖춘 인물 사진, 얼굴 클로즈업과 인물 중심 작품을 생성하며 복잡한 구도와 스타일 지정을 지원합니다.
복고풍 및 콜라주 아트 창작: 다양한 요소가 융합된 복고풍 다이어리, 콜라주 포스터, 박물학 도감 등 스타일화된 시각 창작을 지원하며 종이 질감, 우표, 손글씨 등의 디테일을 정확하게 표현합니다.