SenseNova U1.5-Lite-Preview – 商湯がオープンソース化した軽量マルチモーダルモデル 運営中

SenseNova U1.5-Lite-Previewは、商湯科技がオープンソース化した軽量なネイティブ統合マルチモーダルモデルのプレビュー版です。NEO-Unifyアーキテクチャを基盤に改良され、わずか8B-MoTパラメータで視覚理解、推論、生成、編集を一体化しています。モデルは4K画像のネイティブ生成に対応し、精緻な局所テクスチャ、現実世界の質感、中英語の文字生成、複雑なレイアウトを実現します。また、非常に長い自然言語や構造化された視覚指示への正確な追従を最適化し、Prompt Enhance Skillによって複雑な創作のハードルを下げます。

4Kネイティブ生成：超高解像度画像のエンドツーエンド生成に対応し、拡大しても細部を鮮明に保ちます。
精緻な視覚表現：よりリアルな素材のテクスチャ、光と影の階調、局所的なディテールを再現します。
中英語の文字生成：複雑なレイアウト内の中国語・英語テキストと組版を正確にレンダリングします。
画像編集と反復：自然言語の指示に基づく継続的な反復画像編集に対応します。
Prompt Enhance Skill：短い要望を完全な制作プランへ自動的に拡張し、指示作成のハードルを下げます。

WeChatでフォローし「开源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
NEO-Unify統合アーキテクチャ：単一モデル内で言語、視覚的意味、ピクセル生成を共同モデリングし、理解、推論、生成、編集をネイティブに統合します。
8B-MoT軽量設計：わずか80億パラメータの混合トークンアーキテクチャを採用。軽量性を維持しながらマルチモーダル能力の限界を広げ、統合アーキテクチャの継続的な拡張性を検証します。
ネイティブなピクセル・言語マッピング：ピクセルと言語を起点にエンドツーエンドで学習し、言語記述から視覚構造へのネイティブなマッピング能力を獲得しています。
長文脈の視覚制御：非常に長い自然言語や構造化された創作指示への理解を最適化し、複数の制約や階層化された視覚指示を正確に実行します。

モデルとドキュメントの入手：GitHubリポジトリにアクセスして技術ドキュメントと推論コードを確認するか、Hugging Faceから8B-MoTモデルの重みと設定ファイルをダウンロードします。
環境の構築：ドキュメントに従って実行環境を設定し、モデルの重みを読み込んでローカルまたはクラウド上でモデルを初期化します。
基本的な画像生成：自然言語による説明（中国語・英語に対応）を入力するだけで、モデルが4K画像をネイティブに生成します。
複雑な創作指示：主体、レイアウト、スタイル、文字、制約条件を含む完全な制作要件を提示すると、モデルが明確な視覚構造に沿って生成します。
Prompt Enhanceによる補助：実験的なPrompt Enhance Skillを呼び出して短いアイデアを完全な制作プランへ自動拡張し、その後モデルに実行させます。
画像編集：既存の画像をアップロードして自然言語の編集指示を追加すると、全体の一貫性を保ちながら継続的な反復編集を行えます。

軽量な統合性：わずか8B-MoTパラメータで理解、生成、編集を一体化し、導入コストを削減します。
4K超高精細：4K解像度のネイティブ生成に対応し、超大判でも細部と一貫性を維持します。
高い指示遵守性：専用のPrompt Enhance形式化学習を行わなくても、長く複雑な視覚指示を安定して実行します。
リアルな質感：局所テクスチャ、素材の光と影、現実世界の質感表現を大幅に向上させています。
文字の安定性：中国語・英語の文字生成と複雑なレイアウト構成が、より正確で安定しています。

GitHubリポジトリ：https://github.com/OpenSenseNova/SenseNova-U1/blob/main/docs/u1.5_preview.md
HuggingFaceモデルライブラリ：https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-Preview

商用ブランドのビジュアルデザイン：正確な中国語・英語の文字、複雑なレイアウト、指定したビジュアルスタイルを含むポスター、インフォグラフィック、ブランド販促物を迅速に生成し、高度な制御が求められる商用制作ニーズに対応します。
超ワイドな物語絵巻：4K超高精細解像度で歴史年表や文化絵巻など、超ワイドで連続性のある物語コンテンツを制作します。大量の文字やアイコンの細部も、拡大後まで鮮明で安定しています。
建築・製品コンセプトの可視化：リアルな質感の建築外観レンダリング、インテリア空間のコンセプト画像、製品展示画像を生成し、素材のテクスチャ、光と影の階調、空間の雰囲気を表現します。
写真品質のポートレートとクローズアップ：精緻な肌のテクスチャ、自然な光と影、リアルな質感を備えたポートレート、顔のクローズアップ、人物テーマ作品を生成できます。複雑な構図やスタイル指定にも対応します。
レトロ・コラージュアート制作：複数の要素を融合したレトロな手帳、コラージュポスター、博物学図鑑などのスタイル化されたビジュアル制作に対応し、紙の質感、切手、手書き文字などの細部を正確に表現します。