MiniCPM-V 4.7 চালু আছে

MiniCPM-V 4.7 হলো মিয়ানবিল্ডিং ইন্টেলিজেন্স ও OpenBMB-এর যৌথভাবে প্রকাশিত ওপেন-সোর্স এজ-সাইড মাল্টিমোডাল বৃহৎ মডেল, যাতে 35B-A3B（MoE）ও 1B—এই দুটি সংস্করণ রয়েছে। ফ্ল্যাগশিপ সংস্করণটি বিশ্বের প্রথম ওপেন-সোর্স MoE মাল্টিমোডাল মডেল, যা মোবাইল ফোনে গুণগত মানের ক্ষতি ছাড়াই সাবলীলভাবে চালানো যায়। অগ্রগামী বিশেষজ্ঞ-শিডিউলিং প্রযুক্তির সাহায্যে প্রায় 3GB মেমরিতে iPhone-এ 13+ tokens/s গতি অর্জন করে এবং 34টি বেঞ্চমার্কে সমশ্রেণির মডেলকে ছাড়িয়ে যায়; 1B সংস্করণটি এন্ট্রি-লেভেল ডিভাইসের জন্য তৈরি।

সাধারণ ভিশন বোঝাপড়া: ছবি দেখে বস্তু শনাক্তকরণ, একাধিক ছবির তুলনা ও ভিশন প্রশ্নোত্তর; MMBench-এ 91.72 স্কোর, সমশ্রেণির মডেলের মধ্যে এগিয়ে।
ডকুমেন্ট ও OCR বিশ্লেষণ: ছবি/PDF-এর লেখা, টেবিল ও চার্ট শনাক্তকরণ; OCRBench-এ 91.2 স্কোর।
গণিত ও STEM যুক্তি: গণিতের সমস্যা ও বৈজ্ঞানিক প্রশ্নের উত্তর; MMMU 80.22, MathVista 88 স্কোর।
দীর্ঘ ভিডিও বোঝাপড়া: দীর্ঘ সময়ের ভিডিও বিষয়বস্তু বোঝা ও সংশ্লিষ্ট প্রশ্নের উত্তর; LongVideoBench-এ 68.9 স্কোর।
এজ-সাইডে সাবলীল চলন: iPhone-এ 35B মডেলটি প্রায় 3GB মেমরি ব্যবহার করে এবং 13+ tokens/s গতিতে রিয়েল-টাইমে তৈরি করে।
কম খরচে কাস্টম ফাইন-টিউনিং: ওপেন-সোর্স রিপ্লে ফাইন-টিউনিংয়ের মাধ্যমে পুরোনো দক্ষতা না হারিয়ে নতুন কাজ শেখা।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের আলোচনা গ্রুপে যোগ দিন
অগ্রগামী বিশেষজ্ঞ শিডিউলিং（LES）: MoE মডেলের 65.6 GiB ওজন সম্পূর্ণভাবে মেমরিতে রাখা যায় না। তাই অধিকাংশ বিশেষজ্ঞ SSD-তে সংরক্ষিত থাকে এবং প্রয়োজনের সময় পড়া হয়। কিন্তু স্তরভিত্তিক রাউটিং আগের স্তরের ফলাফলের ওপর নির্ভর করায় প্রতিটি স্তরকে ডিস্ক থেকে পড়া শেষ হওয়া পর্যন্ত অপেক্ষা করতে হয়। LES-এ পার্শ্ববর্তী স্তরগুলোর ইনপুটের উচ্চ সাদৃশ্য কাজে লাগিয়ে বর্তমান স্তরের রাউটিং বৈশিষ্ট্য থেকে পরবর্তী স্তরে প্রয়োজনীয় বিশেষজ্ঞদের আগাম পূর্বাভাস দেওয়া হয় এবং ব্যাকগ্রাউন্ডে প্রিফেচ করা হয়। একই সঙ্গে ইতিমধ্যে লোড হওয়া ও প্রকৃত রাউটিংয়ে নির্বাচিত বিশেষজ্ঞদের অগ্রাধিকার দিয়ে গণনা করা হয়। ফলে গণনা ও পড়া একসঙ্গে চলে; পরীক্ষায় গতি 5 গুণ বেড়েছে এবং আউটপুটে কোনো ক্ষতি হয়নি।
ওজন সংরক্ষণ ও পড়ার অপ্টিমাইজেশন: স্তরভিত্তিক মিশ্র-নির্ভুলতা কোয়ান্টাইজেশনের মাধ্যমে ওজনের সংরক্ষণ আকার ও স্থানান্তর পরিমাণ কমানো হয়। পাশাপাশি ফাইলে বিশেষজ্ঞ ওজনের বিন্যাস পুনর্গঠন করে আগে তিনটি স্থানে ছড়িয়ে থাকা প্যারামিটারগুলোকে নম্বর অনুযায়ী ধারাবাহিকভাবে রাখা হয়। ফলে SSD একবার ধারাবাহিকভাবে পড়লেই সম্পূর্ণ বিশেষজ্ঞ সংগ্রহ করা যায় এবং লোডিংয়ের খরচ উল্লেখযোগ্যভাবে কমে।
ভিশন token সংকোচন: LLaVA-UHD v4-এর ভিত্তিতে ভিশন এনকোডারের ভেতরেই আগেভাগে token সংকুচিত করা হয়, ফলে শুরু থেকেই পরবর্তী গণনা কমে। 4 গুণ/16 গুণ—দুটি সংকোচন অনুপাত সমর্থিত; 16 গুণ মোডে মূল সূচকগুলো প্রায় অপরিবর্তিত থাকে, যা ছবির সূক্ষ্মতা ও রিয়েল-টাইম ইন্টার‌্যাকশন দুটিই বজায় রাখে।
DSpark স্পেকুলেটিভ ডিকোডিং: হালকা ড্রাফট মডিউল একবারে একাধিক সম্ভাব্য token তৈরি করে, এরপর মূল মডেল সমান্তরালে সেগুলো যাচাই করে ব্যাচে ফল তৈরি করে। একাধিক token MoE-এর বিশেষজ্ঞ পড়া ও শিডিউলিংয়ের মতো নির্দিষ্ট খরচ ভাগ করে নেয়। পরীক্ষায় গড় উৎপাদন গতি 1.17 গুণ বেড়েছে এবং গুণমানে কোনো প্রভাব পড়েনি।

মডেল সংগ্রহ: GitHub ও Hugging Face থেকে মডেলের ওজন ও কোড ডাউনলোড করুন।
দ্রুত স্থানীয় অভিজ্ঞতা: Hugging Face Spaces-এর অফিসিয়াল Web Demo（MiniCPM-V-4.7-Demo）অ্যাক্সেস করে ইনস্টল ছাড়াই অনলাইনে ব্যবহার করে দেখুন।
App ইনস্টল: GitHub-এর MiniCPM-V-Apps রিপোজিটরিতে গিয়ে iOS/Android ক্লায়েন্ট ডাউনলোড করুন এবং ফোন বা ট্যাবলেটে সরাসরি ইনস্টল করে ব্যবহার করুন।
ইনফারেন্স ফ্রেমওয়ার্ক বেছে নিয়ে ডেপ্লয় করুন: হার্ডওয়্যার প্ল্যাটফর্ম অনুযায়ী llama.cpp, Ollama, MLX অথবা vLLM/SGLang-এর যেকোনো একটি বেছে নিয়ে মডেল লোড করুন এবং স্থানীয় ইনফারেন্স পরিষেবা ডেপ্লয় করুন।
LES ত্বরণ চালু করুন（ঐচ্ছিক）: এজ-সাইডে 35B-A3B চালানোর সময় ওপেন-সোর্স ডকুমেন্টেশন অনুযায়ী অগ্রগামী বিশেষজ্ঞ শিডিউলিং চালু করে 3GB মেমরিতে সাবলীল চলন নিশ্চিত করুন।
ভিশন সংকোচন মোড বেছে নিন: প্রয়োজন অনুযায়ী 4 গুণ বা 16 গুণ সংকোচন মোডে পরিবর্তন করুন।

GitHub রিপোজিটরি：https://github.com/OpenBMB/MiniCPM-V
HuggingFace মডেল লাইব্রেরি：https://huggingface.co/collections/openbmb/minicpm-v-47

এজ-সাইড MoE-তে বিশ্বে প্রথম: বিশ্বের প্রথম ওপেন-সোর্স MoE মাল্টিমোডাল বৃহৎ মডেল, যা এজ-সাইডে গুণগত ক্ষতি ছাড়াই সাবলীলভাবে চালানো যায়।
অসাধারণ মেমরি দক্ষতা: 65.6 GiB ওজনের 35B মডেলটি মাত্র প্রায় 3GB মেমরিতে চলে, যা 16GB ডিভাইস মেমরির 1/4।
ইনফারেন্স গতিতে এগিয়ে: iPhone 17 Pro Max-এ পরীক্ষিত গতি 13+ tokens/s, iPad Pro M4-এ 17+ tokens/s; LES প্রযুক্তিতে গতি 5 গুণ বৃদ্ধি পায়।
সমশ্রেণির মডেলকে সামগ্রিকভাবে ছাড়িয়ে যায়: 34টি প্রামাণ্য বেঞ্চমার্কে Qwen3.6-35B-A3B-এর চেয়ে এগিয়ে, এমনকি বড় আকারের Qwen 27B ও Gemma-4 31B-কেও ছাড়িয়ে যায়।
ক্ষমতা ও দক্ষতার পারেটো-সেরা সমন্বয়: কম ইনফারেন্স সময়ে বেশি সামগ্রিক স্কোর অর্জন করে, এজ-সাইড মাল্টিমোডালের “ক্ষমতা—দক্ষতা” সীমাকে নতুনভাবে সংজ্ঞায়িত করে।
দুটি সংস্করণে সবার জন্য সুবিধা: 35B ফ্ল্যাগশিপ সংস্করণ ক্ষমতার সর্বোচ্চ সীমা বাড়ায়, আর 1B ছোট শক্তিশালী সংস্করণ এন্ট্রি-লেভেল ডিভাইসেও উচ্চমানের মাল্টিমোডাল সক্ষমতা নিয়ে আসে।

মোবাইল অফিস ও ডকুমেন্ট প্রক্রিয়াকরণ: ফোন/ট্যাবলেটে সরাসরি ছবি তুলে বা PDF আমদানি করে রিয়েল-টাইমে লেখা শনাক্তকরণ, টেবিল নিষ্কাশন, চার্ট বোঝাপড়া ও ডকুমেন্ট প্রশ্নোত্তর সম্পন্ন করুন। ক্লাউডে আপলোডের প্রয়োজন নেই, ফলে গোপনীয়তা রক্ষা করে মোবাইল অফিসের দক্ষতা বাড়ে।
অফলাইন শিক্ষা সহায়তা: শিক্ষার্থীরা নেটওয়ার্ক ছাড়াই ছবি তুলে প্রশ্নের সমাধান, গাণিতিক যুক্তি ও বৈজ্ঞানিক প্রশ্নোত্তর করতে পারে। এজ-সাইডে 35B মডেল চলার ফলে দুর্বল নেটওয়ার্কযুক্ত এলাকাতেও উচ্চমানের AI গৃহশিক্ষক পৌঁছে যায়।
গাড়ি ও রোবট ভিশন: Day-0 চিপ অভিযোজনের ওপর নির্ভর করে মডেলটি গাড়ির ইনফোটেইনমেন্ট সিস্টেম ও রোবট টার্মিনালে ডেপ্লয় করা যায়, যার মাধ্যমে রিয়েল-টাইম পরিবেশ শনাক্তকরণ, বাধা বোঝাপড়া ও মানব-মেশিন ভিশন ইন্টার‌্যাকশন সম্ভব।
ভিডিও বিষয়বস্তু বোঝাপড়া ও পর্যালোচনা: দীর্ঘ ভিডিও বোঝার ক্ষমতা এজ-সাইডে ধারণ করা দীর্ঘ ভিডিওর সারাংশ, মূল ফ্রেমভিত্তিক প্রশ্নোত্তর ও কমপ্লায়েন্স পর্যালোচনা সমর্থন করে; নিরাপত্তা পরিদর্শন ও কনটেন্ট তৈরির মতো ক্ষেত্রে প্রযোজ্য।