SenseNova Loop-9B-Preview 운영 중

SenseNova Loop-9B-Preview는 상탕이 오픈 소스로 공개한 90억 개 파라미터 규모의 멀티모달 프리뷰 모델입니다. SenseNova Loop-9B-Preview는 앞뒤 각각 4개의 원본 디코더 레이어를 유지하고, 중간 레이어를 파라미터 공유 순환 계산 모듈로 변경했습니다. 이를 통해 여러 차례의 반복 연산으로 유효 계산 깊이를 확장하고, mHC 메커니즘을 도입해 특성 상호작용의 안정성을 높였습니다. 공식 평가에서 모델의 사무 및 에이전트 작업 성능은 Qwen3.5-27B를 넘어섰으며, 적은 파라미터로 대규모 모델 수준의 복잡한 작업 능력을 구현했습니다. 가중치는 GitHub와 Hugging Face에 공개되어 있습니다.

코드 생성: 코드 작성 작업에서 동급 최고 수준의 성능을 달성하여 개발 시나리오에 활용할 수 있습니다.
사무 콘텐츠 생성: 샤오환슝 클라이언트에 연결하면 PPT 디자인, 장문서 등 사무 결과물을 생성할 수 있습니다.
에이전트 작업: AutomationBench 등의 다단계 Agent 평가에서 뛰어난 성능을 보이며, 서사와 상호작용이 포함된 복잡한 장기 작업을 수행할 수 있습니다.
긴 컨텍스트 처리: 긴 컨텍스트와 에이전트 워크플로를 위한 순환 멀티모달 모델로 설계되었습니다.
오픈 소스 및 상용화 탐색: 가중치와 추론 코드를 GitHub 및 Hugging Face에 공개하여 커뮤니티 연구와 일상적인 활용을 지원합니다.

WeChat에서 팔로우 후 “开源”에 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요
Looped Transformer 순환 아키텍처: 모델은 90억 개 파라미터 규모를 기반으로 하며, 앞뒤 각각 4개의 원본 디코더 모듈을 유지하고 중간 레이어를 파라미터 공유 순환 계산 모듈로 대체합니다. 동일한 가중치를 여러 차례 반복 재사용하여 파라미터 규모를 유지하면서 유효 계산 깊이를 확장하고, 소형 모델이 더 깊은 네트워크에 가까운 추론 능력을 갖추도록 합니다.
mHC 특성 상호작용 메커니즘: 여러 차례의 순환 과정에서 정보 전달을 개선하기 위해 Manifold-Constrained Hyper-Connections(mHC)를 도입했습니다. 다중 잔차 양방향 흐름과 ”이중 확률” 제약 혼합 행렬을 통해 특성을 혼합하고, 레이어 간 특성 상호작용을 강화하는 동시에 정보 다양체를 제약하여 신호 전파의 안정성을 유지합니다. 절제 실험에 따르면 이 메커니즘으로 GPQA Diamond는 4.42점, TeamBench는 13.34점 향상되었습니다.
파라미터 공유 및 효율성 설계: 중간 순환 레이어의 가중치 공유를 통해 약 90억 개 파라미터로 90억 개 밀집 모델을 크게 뛰어넘는 계산 깊이를 구현합니다. 또한 TBK 등의 기술로 단일 라운드의 계산 비용을 제어하여, 추론 비용을 관리 가능한 수준으로 유지하면서 복잡한 작업에서 270억 개 파라미터급 모델의 성능에 근접하는 것을 목표로 합니다.

환경 준비: CUDA에 맞는 PyTorch를 설치한 후 pip install "transformers==5.18.0" accelerate safetensors를 실행합니다.
모델 받기: Hugging Face에서 sensenova/SenseNova-Loop-9B-Preview 가중치를 로컬에 다운로드하고, 디렉터리에 구성 파일, tokenizer, chat 템플릿 및 사용자 정의 모델 코드가 포함되어 있는지 확인합니다.
모델 로드: 코드에서 trust_remote_code=True, dtype=torch.bfloat16을 사용해 AutoModelForCausalLM.from_pretrained로 모델을 로드한 뒤 .eval()을 호출합니다.
입력 구성: tokenizer.apply_chat_template을 사용해 대화 prompt를 구성하며, 심층 추론이 필요할 때는 enable_thinking=True로 설정합니다.
추론 생성: model.generate를 호출해 텍스트를 생성하며, use_cache를 통한 가속을 지원하고 MTP 가속도 사용할 수 있습니다.
서비스 배포: 프로덕션 환경에서는 LightLLM 또는 SGLang을 사용해 API를 제공할 수 있습니다.

높은 파라미터 효율성: 약 90억 개 파라미터로, 가중치 공유 순환을 통해 56개 레이어의 실행 깊이를 모사하며 낮은 비용으로 270억 개 파라미터급 모델의 성능에 근접합니다.
아키텍처 혁신: Looped Transformer와 양방향 흐름 mHC를 결합하고, 제약된 다중 잔차 혼합으로 정보 상호작용을 강화하며 신호 전파를 안정화합니다. 중국에서 초기 단계에 해당하는 90억 개 파라미터급 실용 오픈 소스 사례입니다.
긴 컨텍스트 처리 능력: 최대 262,144토큰 컨텍스트 학습을 지원하여 문서 이해와 장기 작업에 적합합니다.
멀티모달 입력: 텍스트와 이미지 입력을 지원하며, 긴 컨텍스트와 에이전트 워크플로를 위한 멀티모달 모델로 설계되었습니다.
추론 가속 지원: MTP 가속 메커니즘이 내장되어 이미 사용할 수 있으며, Dspark와 Dflash2 등의 추측 디코딩 방식은 개발 중입니다.

GitHub 저장소：https://github.com/OpenSenseNova/SenseNova-Loop
HuggingFace 모델 저장소：https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

장문서 이해 및 분석: 256K의 초장문 컨텍스트를 바탕으로 전체 계약서, 재무 보고서, 논문 모음 등 대규모 문서를 한 번에 처리하고 구조화된 요약과 질의응답을 생성할 수 있습니다.
에이전트(Agent) 워크플로: 다단계 도구 호출, 웹 조작 및 작업 계획 시나리오에서 뛰어난 성능을 보여 자동화된 사무 및 프로세스 실행형 Agent 구축에 적합합니다.
사무 콘텐츠 생성: 샤오환슝 클라이언트에 연결하면 PPT 디자인, 데이터 분석 보고서 및 애니메이션 프레젠테이션 페이지를 직접 생성하여 일상적인 사무 결과물 제작을 지원합니다.
코드 개발 보조: 코드 생성 능력이 동급 최고 수준에 도달하여 코드 자동 완성, 스크립트 작성 및 소규모 프로젝트의 엔드투엔드 개발 작업을 수행할 수 있습니다.
멀티모달 콘텐츠 제작: 텍스트와 이미지 입력을 지원하여 이미지와 텍스트가 결합된 여행 특집, 마케팅 페이지, 서사형 웹사이트 등 리치 미디어 콘텐츠 생성에 적합합니다.