SenseNova Loop-9B-Preview آپریشن میں

SenseNova Loop-9B-Preview شَنگ تانگ کا اوپن سورس 9B پیرامیٹر سطح کا ملٹی موڈل پیش نظارہ ماڈل ہے۔ SenseNova Loop-9B-Preview اصل ڈیکوڈر کی ابتدا اور انتہا کی 4، 4 تہوں کو برقرار رکھتا ہے، جبکہ درمیانی تہوں کو پیرامیٹر شیئر کرنے والے چکر دار حسابی ماڈیولز میں تبدیل کرتا ہے۔ متعدد تکراری مراحل کے ذریعے مؤثر حسابی گہرائی میں اضافہ کیا جاتا ہے اور فیچر تعامل کے استحکام کو بہتر بنانے کے لیے mHC میکانزم متعارف کرایا گیا ہے۔ سرکاری جائزوں کے مطابق، ماڈل دفتری اور ایجنٹ کے کاموں میں Qwen3.5-27B سے بہتر کارکردگی دکھاتا ہے، کم پیرامیٹرز کے ساتھ بڑے ماڈل جیسی پیچیدہ کاموں کی صلاحیت فراہم کرتا ہے، اور اس کے وزن GitHub اور Hugging Face پر جاری کیے جا چکے ہیں۔

کوڈ جنریشن: کوڈ لکھنے سے متعلق کاموں میں اسی سطح کے ماڈلز میں نمایاں کارکردگی، جو ترقیاتی منظرناموں میں استعمال کو ممکن بناتی ہے۔
دفتری مواد کی تخلیق: شیاو ہوانگ شیاؤ کلائنٹ سے منسلک ہو کر PPT ڈیزائن، طویل دستاویزات اور دیگر دفتری مواد تیار کر سکتا ہے۔
ایجنٹ کے کام: AutomationBench جیسے متعدد مراحل والے Agent جائزوں میں نمایاں کارکردگی، اور بیانیہ و تعامل پر مشتمل پیچیدہ طویل سلسلہ وار کام مکمل کرنے کی صلاحیت۔
طویل سیاق و سباق کی پروسیسنگ: سرکاری طور پر طویل سیاق و سباق اور ایجنٹ ورک فلو کے لیے تیار کردہ چکر دار ملٹی موڈل ماڈل کے طور پر پیش کیا گیا ہے۔
اوپن سورس تجارتی استعمال کی تلاش: وزن اور inference کوڈ GitHub اور Hugging Face پر عوامی طور پر دستیاب ہیں، تاکہ کمیونٹی تحقیق اور روزمرہ استعمال کر سکے۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
Looped Transformer چکر دار معماری: ماڈل 9B پیمانے کو بنیاد بناتا ہے، اصل ڈیکوڈر ماڈیول کی ابتدا اور انتہا کی 4، 4 تہوں کو برقرار رکھتا ہے، جبکہ درمیانی تہوں کو پیرامیٹر شیئر کرنے والے چکر دار حسابی ماڈیولز سے تبدیل کرتا ہے۔ ایک ہی وزن کو متعدد تکراری مراحل میں دوبارہ استعمال کیا جاتا ہے، جس سے پیرامیٹرز کے حجم میں اضافہ کیے بغیر مؤثر حسابی گہرائی بڑھتی ہے اور چھوٹے ماڈل کو نسبتاً گہرے نیٹ ورک جیسی استدلالی صلاحیت ملتی ہے۔
mHC فیچر تعامل میکانزم: متعدد چکر دار مراحل میں معلومات کی منتقلی بہتر بنانے کے لیے ماڈل Manifold-Constrained Hyper-Connections (mHC) متعارف کراتا ہے۔ متعدد residual دو طرفہ راستوں اور ”دوہری تصادفی“ پابندی والے مکسنگ میٹرکس کے ذریعے فیچرز کو ملایا جاتا ہے، جس سے تہوں کے درمیان فیچر تعامل بہتر ہوتا ہے اور معلوماتی منی فولڈ پر پابندی برقرار رہتی ہے، نتیجتاً سگنل کی ترسیل مستحکم رہتی ہے؛ ablation تجربات سے ظاہر ہوا کہ اس میکانزم نے GPQA Diamond میں 4.42 پوائنٹس اور TeamBench میں 13.34 پوائنٹس کا اضافہ کیا۔
پیرامیٹر شیئرنگ اور کارکردگی کا ڈیزائن: درمیانی چکر دار تہوں کے مشترکہ وزن ماڈل کو تقریباً 9B پیرامیٹرز کے ساتھ 9B کے کثیف ماڈل سے کہیں زیادہ حسابی گہرائی فراہم کرتے ہیں۔ TBK جیسی ٹیکنالوجیز کے ساتھ فی چکر حسابی لاگت کو قابو میں رکھا جاتا ہے، تاکہ inference کی لاگت قابل کنٹرول رہتے ہوئے پیچیدہ کاموں میں 27B سطح کے ماڈل کی کارکردگی کے قریب پہنچا جا سکے۔

ماحول کی تیاری: CUDA سے مطابقت رکھنے والا PyTorch انسٹال کریں، پھر pip install "transformers==5.18.0" accelerate safetensors چلائیں۔
ماڈل حاصل کریں: Hugging Face سے sensenova/SenseNova-Loop-9B-Preview کے وزن مقامی طور پر ڈاؤن لوڈ کریں، اور یقینی بنائیں کہ ڈائریکٹری میں configuration، tokenizer، chat template اور custom model code موجود ہوں۔
ماڈل لوڈ کریں: کوڈ میں trust_remote_code=True اور dtype=torch.bfloat16 کے ساتھ AutoModelForCausalLM.from_pretrained کے ذریعے ماڈل لوڈ کریں، پھر .eval() چلائیں۔
ان پٹ تیار کریں: گفتگو کا prompt ترتیب دینے کے لیے tokenizer.apply_chat_template استعمال کریں؛ گہری استدلالی صلاحیت درکار ہو تو enable_thinking=True سیٹ کریں۔
Inference جنریشن: متن تیار کرنے کے لیے model.generate کال کریں؛ use_cache کے ذریعے تیزی ممکن ہے اور MTP acceleration بھی دستیاب ہے۔
سروس کے طور پر تعیناتی: production ماحول میں LightLLM یا SGLang کے ذریعے API فراہم کی جا سکتی ہے۔

اعلیٰ پیرامیٹر کارکردگی: تقریباً 9B پیرامیٹرز کے ساتھ مشترکہ وزن والے چکر کے ذریعے 56 تہوں کی execution depth کی نقل، کم لاگت میں 27B سطح کے ماڈل کی کارکردگی کے قریب۔
معماری کی جدت: Looped Transformer + دو طرفہ mHC استعمال کرتا ہے؛ پابندی والے متعدد residual مکسنگ کے ذریعے معلوماتی تعامل بہتر اور سگنل کی ترسیل مستحکم بناتا ہے، اور یہ چین میں ابتدائی قابل استعمال 9B سطح کے اوپن سورس عملی نمونوں میں شامل ہے۔
طویل سیاق و سباق کی صلاحیت: تربیت میں زیادہ سے زیادہ 262,144token سیاق و سباق کی معاونت، جو دستاویز فہمی اور طویل سلسلہ وار کاموں کے لیے موزوں ہے۔
ملٹی موڈل ان پٹ: متن اور تصویر کے ان پٹ کی معاونت، اور سرکاری طور پر طویل سیاق و سباق اور ایجنٹ ورک فلو کے لیے ملٹی موڈل ماڈل کے طور پر پیش کیا گیا ہے۔
Inference acceleration کے لیے موزوں: MTP acceleration میکانزم شامل ہے اور دستیاب ہے؛ Dspark، Dflash2 اور دیگر speculative decoding حل زیر تحقیق ہیں۔

GitHub repository: https://github.com/OpenSenseNova/SenseNova-Loop
HuggingFace model repository: https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

طویل دستاویزات کی تفہیم اور تجزیہ: 256K کے انتہائی طویل سیاق و سباق کی مدد سے مکمل معاہدے، مالیاتی رپورٹس، مقالوں کے مجموعے اور دیگر بڑے دستاویزاتی مواد کو ایک ہی بار میں پروسیس کر کے ساختی خلاصہ اور سوال و جواب تیار کیے جا سکتے ہیں۔
ایجنٹ ورک فلو: متعدد مراحل پر مشتمل tool calling، ویب آپریشن اور task planning کے منظرناموں میں نمایاں کارکردگی، جو خودکار دفتری اور عمل درآمدی Agent بنانے کے لیے موزوں ہے۔
دفتری مواد کی تخلیق: شیاو ہوانگ شیاؤ کلائنٹ سے منسلک ہو کر براہ راست PPT ڈیزائن، ڈیٹا تجزیاتی رپورٹس اور متحرک پریزنٹیشن صفحات تیار کر سکتا ہے، جو روزمرہ دفتری مواد کی تیاری کا احاطہ کرتے ہیں۔
کوڈ ڈویلپمنٹ میں معاونت: کوڈ جنریشن کی صلاحیت اسی سطح کے ماڈلز میں نمایاں ہے، اور کوڈ تکمیل، اسکرپٹ نویسی اور چھوٹے پروجیکٹس کی end-to-end development سنبھال سکتی ہے۔
ملٹی موڈل مواد کی تخلیق: متن اور تصویر کے ان پٹ کی معاونت، جو متن و تصویر کے امتزاج والے سفری موضوعات، مارکیٹنگ صفحات، بیانیہ ویب سائٹس اور دیگر بھرپور میڈیا مواد کی تخلیق کے لیے موزوں ہے۔