SenseNova Loop-9B-Preview চালু আছে

SenseNova Loop-9B-Preview হলো শাংটাং-এর উন্মুক্ত 9B-প্যারামিটার-স্তরের মাল্টিমোডাল প্রিভিউ মডেল। SenseNova Loop-9B-Preview-এর শুরু ও শেষের 4টি করে মূল ডিকোডার স্তর রাখা হয়েছে, মধ্যবর্তী স্তরগুলো প্যারামিটার-শেয়ার করা পুনরাবৃত্তিমূলক গণনা মডিউলে পরিবর্তন করা হয়েছে। এর মাধ্যমে একাধিক পুনরাবৃত্তির সাহায্যে কার্যকর গণনার গভীরতা বাড়ানো হয় এবং বৈশিষ্ট্য আদান-প্রদানের স্থিতিশীলতা বাড়াতে mHC প্রক্রিয়া যুক্ত করা হয়েছে। সরকারি মূল্যায়নে মডেলটি অফিস ও এজেন্ট-ভিত্তিক কাজে Qwen3.5-27B-এর চেয়ে ভালো ফল করেছে। ছোট প্যারামিটার সংখ্যায় বড় মডেল-স্তরের জটিল কাজ সম্পাদনের সক্ষমতা অর্জন করা হয়েছে এবং ওজন GitHub ও Hugging Face-এ প্রকাশ করা হয়েছে।

কোড জেনারেশন: কোড লেখার ধরনের কাজে একই স্তরে অগ্রণী ফলাফল অর্জন করে এবং ডেভেলপমেন্ট-সংক্রান্ত ব্যবহারে সহায়তা করে।
অফিস কনটেন্ট জেনারেশন: শিয়াওহুয়ানশিয়ং ক্লায়েন্টে সংযুক্ত হয়ে PPT ডিজাইন, দীর্ঘ নথি ইত্যাদি অফিস ডেলিভারেবল তৈরি করতে পারে।
এজেন্ট কাজ: AutomationBench-এর মতো বহু-ধাপের Agent মূল্যায়নে উল্লেখযোগ্য ফল দেখায় এবং বর্ণনা ও ইন্টারঅ্যাকশনসহ জটিল দীর্ঘ কর্মপ্রবাহ সম্পন্ন করতে পারে।
দীর্ঘ কনটেক্সট প্রক্রিয়াকরণ: দীর্ঘ কনটেক্সট ও এজেন্ট ওয়ার্কফ্লোর জন্য তৈরি একটি পুনরাবৃত্তিমূলক মাল্টিমোডাল মডেল হিসেবে সরকারি অবস্থান নির্ধারণ করা হয়েছে।
উন্মুক্ত ও বাণিজ্যিক ব্যবহারের অনুসন্ধান: ওজন ও ইনফারেন্স কোড GitHub এবং Hugging Face-এ প্রকাশ করা হয়েছে, যাতে কমিউনিটি গবেষণা ও দৈনন্দিন ব্যবহারে তা কাজে লাগানো যায়।

WeChat-এ ফলো করে “开源” লিখে উত্তর পাঠান, AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
Looped Transformer পুনরাবৃত্তিমূলক আর্কিটেকচার: মডেলটি 9B স্কেলকে ভিত্তি হিসেবে ব্যবহার করে এবং শুরু ও শেষের 4টি করে মূল ডিকোডার মডিউল রেখে মধ্যবর্তী স্তরগুলোকে প্যারামিটার-শেয়ার করা পুনরাবৃত্তিমূলক গণনা মডিউলে প্রতিস্থাপন করে। একই ওজন একাধিক পুনরাবৃত্তিতে পুনরায় ব্যবহার করা হয়। ফলে প্যারামিটার সংখ্যা অপরিবর্তিত রেখেই কার্যকর গণনার গভীরতা বাড়ানো যায় এবং ছোট মডেল প্রায় আরও গভীর নেটওয়ার্কের মতো যুক্তি করার সক্ষমতা পায়।
mHC বৈশিষ্ট্য-আদানপ্রদান প্রক্রিয়া: একাধিক পুনরাবৃত্তিতে তথ্য প্রবাহ উন্নত করতে মডেলটি Manifold-Constrained Hyper-Connections (mHC) যুক্ত করেছে। বহু-পথের রেসিডুয়াল দ্বৈত-প্রবাহ এবং “দ্বৈত-র্যান্ডম” সীমাবদ্ধ মিশ্রণ ম্যাট্রিক্সের মাধ্যমে বৈশিষ্ট্য মেশানো হয়, যা স্তরগুলোর মধ্যে বৈশিষ্ট্য আদান-প্রদান বাড়ানোর পাশাপাশি তথ্যের ম্যানিফোল্ডকে নিয়ন্ত্রণ করে এবং সংকেত প্রবাহের স্থিতিশীলতা বজায় রাখে। অ্যাবলেশন পরীক্ষায় দেখা গেছে, এই প্রক্রিয়ায় GPQA Diamond-এ 4.42 এবং TeamBench-এ 13.34 পয়েন্ট উন্নতি হয়েছে।
প্যারামিটার শেয়ারিং ও দক্ষতা নকশা: মধ্যবর্তী পুনরাবৃত্তিমূলক স্তরগুলোর ওজন শেয়ার করার ফলে মডেলটি প্রায় 9B প্যারামিটারে 9B ঘন মডেলের তুলনায় অনেক বেশি গণনাগত গভীরতা ধারণ করতে পারে। TBK-এর মতো প্রযুক্তির মাধ্যমে এক রাউন্ডের গণনাগত ব্যয় নিয়ন্ত্রণ করা হয়। লক্ষ্য হলো ইনফারেন্স ব্যয় নিয়ন্ত্রিত রেখে জটিল কাজে 27B-স্তরের মডেলের ফলাফলের কাছাকাছি পৌঁছানো।

পরিবেশ প্রস্তুতি: CUDA-এর সঙ্গে সামঞ্জস্যপূর্ণ PyTorch ইনস্টল করুন, তারপর pip install "transformers==5.18.0" accelerate safetensors চালান।
মডেল সংগ্রহ: Hugging Face থেকে sensenova/SenseNova-Loop-9B-Preview ওজন স্থানীয়ভাবে ডাউনলোড করুন এবং নিশ্চিত করুন যে ডিরেক্টরিতে কনফিগারেশন, tokenizer, chat template ও কাস্টম মডেল কোড রয়েছে।
মডেল লোড: কোডে trust_remote_code=True এবং dtype=torch.bfloat16 ব্যবহার করে AutoModelForCausalLM.from_pretrained-এর মাধ্যমে মডেল লোড করুন এবং .eval() কল করুন।
ইনপুট তৈরি: tokenizer.apply_chat_template ব্যবহার করে কথোপকথনের prompt সাজান। গভীর যুক্তি প্রয়োজন হলে enable_thinking=True সেট করুন।
ইনফারেন্স জেনারেশন: পাঠ্য তৈরি করতে model.generate কল করুন। use_cache দিয়ে গতি বাড়ানো যায় এবং MTP acceleration ব্যবহার করা যায়।
সার্ভিস হিসেবে ডিপ্লয়: প্রোডাকশন পরিবেশে LightLLM বা SGLang ব্যবহার করে API প্রদান করা যায়।

উচ্চ প্যারামিটার দক্ষতা: প্রায় 9B প্যারামিটার ব্যবহার করে শেয়ার করা ওজনের পুনরাবৃত্তির মাধ্যমে 56 স্তরের কার্যকর গভীরতা অনুকরণ করা যায় এবং কম খরচে 27B-স্তরের মডেলের ফলাফলের কাছাকাছি পৌঁছানো যায়।
আর্কিটেকচার উদ্ভাবন: Looped Transformer + দ্বৈত-প্রবাহ mHC ব্যবহার করে সীমাবদ্ধ বহু-পথের রেসিডুয়াল মিশ্রণের মাধ্যমে তথ্য আদান-প্রদান বাড়ানো ও সংকেত প্রবাহ স্থিতিশীল করা হয়েছে। এটি দেশের প্রথম দিকের 9B-স্তরের ব্যবহারযোগ্য ওপেন-সোর্স বাস্তবায়নগুলোর একটি।
দীর্ঘ কনটেক্সট সক্ষমতা: প্রশিক্ষণে সর্বোচ্চ 262,144token কনটেক্সট সমর্থিত, যা নথি বোঝা ও দীর্ঘ কর্মপ্রবাহের কাজে উপযোগী।
মাল্টিমোডাল ইনপুট: পাঠ্য ও ছবি ইনপুট সমর্থন করে এবং দীর্ঘ কনটেক্সট ও এজেন্ট ওয়ার্কফ্লোর জন্য মাল্টিমোডাল মডেল হিসেবে অবস্থান করা হয়েছে।
ইনফারেন্স ত্বরান্বিতকরণে উপযোগী: MTP acceleration প্রক্রিয়া অন্তর্নির্মিত এবং ব্যবহারযোগ্য। Dspark, Dflash2 ইত্যাদি speculative decoding সমাধান নিয়ে কাজ চলছে।

GitHub রিপোজিটরি：https://github.com/OpenSenseNova/SenseNova-Loop
HuggingFace মডেল রিপোজিটরি：https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

দীর্ঘ নথি বোঝা ও বিশ্লেষণ: 256K দীর্ঘ কনটেক্সটের সাহায্যে একটি সম্পূর্ণ চুক্তি, আর্থিক প্রতিবেদন, গবেষণাপত্রের সংকলনসহ বড় নথি একবারে প্রক্রিয়া করে কাঠামোবদ্ধ সারাংশ ও প্রশ্নোত্তর তৈরি করা যায়।
এজেন্ট (Agent) ওয়ার্কফ্লো: বহু-ধাপের টুল কল, ওয়েব অপারেশন ও কাজের পরিকল্পনায় উল্লেখযোগ্য ফল দেখায়, তাই স্বয়ংক্রিয় অফিস ও প্রক্রিয়া সম্পাদনের Agent তৈরিতে উপযোগী।
অফিস কনটেন্ট জেনারেশন: শিয়াওহুয়ানশিয়ং ক্লায়েন্টে সংযুক্ত করে সরাসরি PPT ডিজাইন, ডেটা বিশ্লেষণ প্রতিবেদন ও অ্যানিমেটেড ডেমো পৃষ্ঠা তৈরি করা যায়, যা দৈনন্দিন অফিস ডেলিভারেবলের নির্মাণে সহায়তা করে।
কোড ডেভেলপমেন্ট সহায়তা: কোড জেনারেশনে একই স্তরে অগ্রণী ফলাফল অর্জন করে এবং কোড সম্পূরণ, স্ক্রিপ্ট লেখা ও ছোট প্রকল্পের শুরু থেকে শেষ পর্যন্ত ডেভেলপমেন্টে সহায়তা করতে পারে।
মাল্টিমোডাল কনটেন্ট তৈরি: পাঠ্য ও ছবি ইনপুট সমর্থন করে এবং ছবি-পাঠ্য মিশ্রিত ভ্রমণ বিষয়ক পৃষ্ঠা, বিপণন পৃষ্ঠা, বর্ণনাধর্মী ওয়েবসাইটসহ সমৃদ্ধ মিডিয়া কনটেন্ট তৈরিতে ব্যবহার করা যায়।