Shieldstral চালু আছে

Shieldstral হলো Mistral AI-এর তৈরি 3B প্যারামিটারের ওপেন-সোর্স মাল্টিমোডাল কনটেন্ট সেফটি ক্লাসিফিকেশন মডেল, যা Ministral-3B-এর ওপর নির্মিত। মডেলটি প্রচলিত নির্দিষ্ট শ্রেণিভিত্তিক কনটেন্ট মডারেশনকে বাইনারি প্রশ্নোত্তর কাজে পুনঃসংজ্ঞায়িত করে। এটি প্রাকৃতিক ভাষার প্রশ্নের মাধ্যমে রিয়েল-টাইমে মডারেশন নীতি নির্ধারণ করতে পারে এবং পুনঃপ্রশিক্ষণ ছাড়াই বিভিন্ন পরিস্থিতির সঙ্গে মানিয়ে নিতে পারে। টেক্সট সেফটি বেঞ্চমার্কে মডেলটির গড় F1 84.9% এবং মাল্টিমোডাল সেফটি F1 83.8%, উভয়ই SOTA। এটি মাত্র একটি 16GB GPU-তে স্থাপন করা যায় এবং 12টি ভাষা সমর্থন করে।

নীতির সঙ্গে অভিযোজিত মডারেশন: নিরাপত্তা নীতিকে প্রাকৃতিক ভাষার প্রশ্ন হিসেবে ইনপুট দিয়ে বিভিন্ন পরিস্থিতিতে রিয়েল-টাইমে কাস্টমাইজড মডারেশন করা যায়।
মাল্টিমোডাল সমন্বিত শনাক্তকরণ: একটি একক ইন্টারফেসের মাধ্যমে শুধু টেক্সট, ছবি এবং টেক্সট-ছবির সমন্বিত কনটেন্টের নিরাপত্তা মূল্যায়ন করা যায়।
সূক্ষ্ম স্তরের লঙ্ঘন শনাক্তকরণ: মোটা স্তরের বাইনারি সিদ্ধান্ত থেকে 73টি লিফ ক্যাটাগরি পর্যন্ত সূক্ষ্ম নিরাপত্তা শ্রেণিবিন্যাস সমর্থন করে।
ক্যালিব্রেটেড সেফটি স্কোর: softmax নরমালাইজেশনের মাধ্যমে 0–1 পরিসরের ধারাবাহিক নিরাপত্তা স্কোর দেয় এবং 0.5 থ্রেশহোল্ডে লঙ্ঘন নির্ধারণ করে।
হালকা এজ-ডিভাইস স্থাপন: 3B প্যারামিটারের মডেলটি একটি 16GB NVIDIA GPU-তে কার্যকরভাবে ইনফারেন্স চালাতে পারে, ফলে হার্ডওয়্যারের প্রয়োজনীয়তা কমে।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের আলোচনা গ্রুপে যোগ দিন
বাইনারি প্রশ্নোত্তর আর্কিটেকচার: মডারেশন কাজকে “yes” ও “no” এই দুটি আউটপুট টোকেনের লজিক্যাল মান পূর্বাভাসে রূপান্তর করা হয়। এরপর softmax নরমালাইজেশনের মাধ্যমে ধারাবাহিক নিরাপত্তা স্কোর পাওয়া যায়।
তিন-ফিল্ডের কাঠামোবদ্ধ ইনপুট: （মূল্যায়ন পরিস্থিতি ও কঠোরতার মাত্রা）、（নিরাপদ কি না—এই প্রশ্ন）、（পর্যালোচনাধীন কনটেন্ট）—এই মানসম্মত প্রম্পট ফরম্যাট ব্যবহার করা হয়।
বৃহৎ পরিসরের কনট্রাস্টিভ প্রশিক্ষণ: 5410万 নমুনার (4520万 ওপেন-সোর্স টেক্সট, 440万 সিন্থেটিক কনট্রাস্টিভ টেক্সট, 450万 মাল্টিমোডাল) ওপর ভিত্তি করে একই কনটেন্টের ভিন্ন প্রশ্নের কনট্রাস্টিভ জোড়া দিয়ে প্রশিক্ষণ দেওয়া হয়, যাতে মডেলটি কাছাকাছি শ্রেণিগুলো আলাদা করতে পারে।
সিন্থেটিক ডেটা বৃদ্ধি: LLM ব্যবহার করে নিরাপদ টেক্সটকে লঙ্ঘনমূলক ভ্যারিয়েন্টে রূপান্তর করা হয় এবং লক্ষ্য শ্রেণি ও সংশ্লিষ্ট শ্রেণির কনট্রাস্টিভ প্রশ্নজোড়া স্বয়ংক্রিয়ভাবে তৈরি করা হয়, যা সূক্ষ্ম স্তরের পার্থক্য শনাক্তকরণ শক্তিশালী করে।
LoRA ফাইন-টিউনিং + SLERP মার্জ: Ministral-3B-এ কার্যকর LoRA ফাইন-টিউনিং করা হয় এবং পাবলিক ডেটাসেট ও সিন্থেটিক ডেটা দিয়ে প্রশিক্ষিত দুটি পরিপূরক চেকপয়েন্টকে স্ফেরিক্যাল লিনিয়ার ইন্টারপোলেশনের মাধ্যমে একত্র করা হয়।

পরিবেশ প্রস্তুতি: একটি 16GB NVIDIA GPU-তে Shieldstral মডেল ও ইনফারেন্স ফ্রেমওয়ার্ক স্থাপন করুন।
মডারেশন নীতি নির্ধারণ: ক্ষেত্রটি পূরণ করে মূল্যায়ন পরিস্থিতি, ডোমেইনের প্রেক্ষাপট ও কঠোরতার মানদণ্ড উল্লেখ করুন।
নিরাপত্তা প্রশ্ন লিখুন: ক্ষেত্রের মধ্যে বাইনারি হ্যাঁ/না প্রশ্ন তৈরি করুন, যেমন ”কনটেন্টটি কি শারীরিক সহিংসতার প্রচার করে?”।
পর্যালোচনাধীন কনটেন্ট ইনপুট দিন: টেক্সট, ছবি অথবা টেক্সট-ছবির সমন্বয় ক্ষেত্রে বসিয়ে মডেলে জমা দিন।
নিরাপত্তা সিদ্ধান্ত পান: মডেলের softmax-নরমালাইজড ধারাবাহিক স্কোর পড়ে ব্যবসায়িক প্রয়োজন অনুযায়ী থ্রেশহোল্ড নির্ধারণ করুন এবং বাইনারি লঙ্ঘন সিদ্ধান্ত নিন।

নীতিতে নমনীয়তা: মডারেশন মানদণ্ড প্রাকৃতিক ভাষায় রিয়েল-টাইমে নির্ধারণ করা যায়, তাই নতুন পরিস্থিতির জন্য মডেল পুনঃপ্রশিক্ষণের প্রয়োজন নেই।
উন্নত কর্মদক্ষতা: 3B প্যারামিটারের মডেলটি টেক্সট ও মাল্টিমোডাল সেফটি বেঞ্চমার্কে SOTA অর্জন করে এবং 7 গুণ বড় মডেলের সমতুল্য কর্মদক্ষতা দেয়।
হার্ডওয়্যার-বান্ধব: একটি 16GB GPU-তেই চালানো যায়, ফলে প্রতিষ্ঠানের নিজস্ব স্থাপনার প্রবেশদ্বার অনেক সহজ হয়।
ঐক্যবদ্ধ ডেটা: নির্দেশনা-কোয়েরি-নথি ফরম্যাটের মাধ্যমে 54.1M ভিন্নধর্মী ডেটা একত্র করা হয়েছে, যা 12টি ভাষা ও বিভিন্ন পরিস্থিতি কভার করে।
ব্যাখ্যাযোগ্য সিদ্ধান্ত: ব্ল্যাক-বক্স শ্রেণি লেবেলের বদলে ক্যালিব্রেটেড ধারাবাহিক স্কোর দেয়, ফলে অপারেশনস কর্মীরা প্রয়োজন অনুযায়ী থ্রেশহোল্ড সামঞ্জস্য করতে পারেন।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://mistral.ai/news/shieldstral/
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/mistralai/Shieldstral-1.0-3B
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2607.25857

সামাজিক প্ল্যাটফর্মের কনটেন্ট ঝুঁকি নিয়ন্ত্রণ: ব্যবহারকারীদের প্রকাশিত টেক্সট-ছবির পোস্ট রিয়েল-টাইমে পর্যালোচনা করা এবং বিভিন্ন কমিউনিটির অনুবর্তিতা নীতির সঙ্গে динамиকভাবে মানিয়ে নেওয়া।
AI কথোপকথনের নিরাপত্তা: ব্যবহারকারীর প্রম্পটে জেলব্রেক আক্রমণ এবং মডেলের ক্ষতিকর বা পক্ষপাতদুষ্ট উত্তর শনাক্ত করা।
বিজ্ঞাপন ও বিপণন অনুবর্তিতা: বিজ্ঞাপনের উপকরণে থাকা লঙ্ঘনমূলক টেক্সট ও ছবির উপাদান স্বয়ংক্রিয়ভাবে পরীক্ষা করে বিভিন্ন প্ল্যাটফর্মে প্রচারিত কনটেন্টের বৈধতা নিশ্চিত করা।
অনলাইন শিক্ষার কনটেন্ট ফিল্টারিং: পাঠ্যসামগ্রী ও ইন্টার‌্যাকশনে থাকা অনুপযুক্ত তথ্য শনাক্ত করে অপ্রাপ্তবয়স্কদের শিক্ষার পরিবেশ সুরক্ষিত রাখা।
কর্পোরেট নথির নিরাপত্তা নিরীক্ষা: অভ্যন্তরীণভাবে শেয়ার করা বহুভাষিক ফাইলে সংবেদনশীল তথ্য ও লঙ্ঘনমূলক কনটেন্ট স্বয়ংক্রিয়ভাবে শনাক্ত করা।