Ling-3.0-tiny –蚂蚁百灵推出的原生混合推理模型 চালু আছে

Ling-3.0-tiny হলো蚂蚁百灵推出的原生混合推理模型，总参数 7.9B এবং প্রতি token-এ মাত্র 1.3B সক্রিয় হয়; এটি গাণিতিক যুক্তি, নির্দেশনা অনুসরণ এবং সম্পদ-সংবেদনশীল ডেপ্লয়মেন্টের জন্য অপ্টিমাইজ করা হয়েছে। মডেলটি নেটিভভাবে টুল কলিং সমর্থন করে এবং মোবাইল ডিভাইস ও ব্রাউজারের UI অটোমেশন নিয়ন্ত্রণের কাজ সম্পাদন করতে পারে। এটি সম্পূর্ণ স্থানীয় ইনফারেন্স সমর্থন করে। বর্তমানে OpenRouter ও Vercel-এ উপলভ্য, এবং মডেলের ওজন শিগগিরই ওপেন সোর্স করা হবে।

মিশ্র ইনফারেন্স আর্কিটেকচার: মোট 7.9B প্যারামিটারের মধ্যে প্রতি token-এ মাত্র 1.3B সক্রিয় হয়, ফলে গাণিতিক যুক্তি ও নির্দেশনা অনুসরণের কাজে দক্ষ কম্পিউটিং সম্ভব হয়।
নেটিভ টুল কলিং: বিল্ট-ইন টুল ব্যবহারের সক্ষমতা রয়েছে, যা সরাসরি ব্রাউজার UI নিয়ন্ত্রণ ও মোবাইল ডিভাইস অটোমেশন পরিচালনা করতে পারে।
সম্পূর্ণ স্থানীয় ইনফারেন্স: ক্লাউড-নির্ভরতা ছাড়াই运行 করতে পারে। obsidian-cli সংযুক্ত করলে স্থানীয় টেক্সট লাইব্রেরি থেকে তথ্য অনুসন্ধান, সংগঠন ও কনটেন্ট তৈরি করা যায়।
হালকা টেক্সট জেনারেশন: স্থানীয় ওয়েবপেজ অনুবাদ ও দৈনন্দিন কাজ পরিচালনার মতো ঘন ঘন ব্যবহৃত কাজে কম-লেটেন্সির টেক্সট জেনারেশন পরিষেবা প্রদান করে।

稀疏混合专家架构（MoE）: মডেলটির মোট প্যারামিটার 7.9B হলেও গেটেড রাউটিংয়ের মাধ্যমে প্রতি token-এ প্রায় 1.3B প্যারামিটার সক্রিয় হয়। ফলে বড় মডেলের প্রকাশক্ষমতা বজায় রেখেও ইনফারেন্সের কম্পিউটিং চাহিদা ঘন ছোট মডেলের স্তরে নামিয়ে আনা যায়।
নেটিভ মিশ্র ইনফারেন্স পথ: এতে একাধিক ভিন্ন ইনফারেন্স চ্যানেল রয়েছে। কাজের জটিলতা অনুযায়ী মডেল হালকা ও দ্রুত প্রতিক্রিয়া অথবা গভীর চেইন-অফ-থট পথ বেছে নিতে পারে, যা গাণিতিক যুক্তির নির্ভুলতা ও দৈনন্দিন নির্দেশনা অনুসরণের গতি মধ্যে ভারসাম্য বজায় রাখে।
গেটেড রাউটিং ও লোড ব্যালান্সিং: একটি শেখনযোগ্য রাউটার প্রতিটি token-এর জন্য সর্বোত্তম বিশেষজ্ঞ উপসেট নির্ধারণ করে। এর সঙ্গে লোড-ব্যালান্সিং লস ফাংশন ব্যবহৃত হয়, যা বিশেষজ্ঞদের অকার্যকর হয়ে পড়া রোধ করে এবং 7.9B প্যারামিটারের পরিসরকে দক্ষ ও সমভাবে ব্যবহারের নিশ্চয়তা দেয়।
নেটিভ টুল কলিং সংযোজন: প্রি-ট্রেনিং বা অ্যালাইনমেন্ট পর্যায়ে টুল ব্যবহারের প্যাটার্ন সরাসরি মডেলের রিপ্রেজেন্টেশন স্পেসে কোড করা হয়। ফলে বাহ্যিক প্লাগইন ছাড়াই মডেল টুল ইন্টারফেসের নিয়ম মেনে কল নির্দেশনা তৈরি করতে পারে এবং ব্রাউজার UI ও মোবাইল ডিভাইসের স্বয়ংক্রিয় নিয়ন্ত্রণ实现 করতে পারে।
এজ-ডিভাইস ডেপ্লয়মেন্ট অপ্টিমাইজেশন: স্থানীয় ইনফারেন্সের জন্য কোয়ান্টাইজেশন কম্প্রেশন ও KV-Cache মেমরি অপ্টিমাইজেশন করা হয়েছে। এটি ভোক্তা-স্তরের হার্ডওয়্যারে সম্পূর্ণ অফলাইনে运行 করতে পারে, ক্লাউড-নির্ভরতা দূর করে এবং ঘন ঘন API কলের নেটওয়ার্ক ও কম্পিউটিং খরচ কমায়।

প্ল্যাটফর্মে প্রবেশ: OpenRouter-এর অফিসিয়াল ওয়েবসাইট（https://openrouter.ai）অথবা Vercel AI Gateway পেজে যান।
মডেল নির্বাচন: inclusionai/ling-3.0-tiny:free মডেলটি খুঁজে তার বিস্তারিত পেজে প্রবেশ করুন।
অনুমতি সংগ্রহ: অ্যাকাউন্ট নিবন্ধন বা লগইন করে বিনামূল্যের ট্রায়াল চলাকালে সরাসরি API কী সংগ্রহ করুন এবং পরিষেবা কল করুন।
ওপেন সোর্সের অপেক্ষা: Ant Ling-এর অফিসিয়াল চ্যানেলগুলো অনুসরণ করুন। ওজন ওপেন সোর্স হওয়ার পর মডেল ফাইল ডাউনলোড করে স্থানীয় ডেপ্লয়মেন্ট করুন।
টুল সংযুক্তি: obsidian-cli অথবা ব্রাউজার অটোমেশন প্লাগইন কনফিগার করে স্থানীয় জ্ঞান অনুসন্ধান ও UI নিয়ন্ত্রণের সুবিধা সক্রিয় করুন।

অত্যন্ত হালকা: মাত্র 1.3B সক্রিয় প্যারামিটারেই运行 করতে পারে। ইনফারেন্স খরচ ও ভিডিও মেমরি ব্যবহার একই আকারের ঘন মডেলের তুলনায় অনেক কম, তাই এটি প্রান্ত-ডিভাইস ও এজ ডেপ্লয়মেন্টের জন্য উপযোগী।
গোপনীয়তাকে অগ্রাধিকার: সম্পূর্ণ স্থানীয়ভাবে运行 করতে পারে; ডেটা ডিভাইসের বাইরে যায় না, ফলে আর্থিক ও চিকিৎসা খাতের মতো উচ্চ ডেটা-নিরাপত্তা প্রয়োজনীয়তার ক্ষেত্রেও উপযোগী।
নেটিভ টুল ব্যবহার: অতিরিক্ত ফাইন-টিউনিং বা প্লাগইন ছাড়াই বাহ্যিক টুল কল করতে পারে, ফলে অটোমেশন ওয়ার্কফ্লো তৈরির জটিলতা কমে।

মোবাইল ডিভাইসের বুদ্ধিমান সহকারী: ফোনে অফলাইনে অনুবাদ, প্রশ্নোত্তর ও সময়সূচি ব্যবস্থাপনা সম্পন্ন করতে পারে এবং ইন্টারনেট সংযোগ ছাড়াই সাড়া দিতে পারে।
ব্রাউজার অটোমেশন: নেটিভ টুল কলিংয়ের মাধ্যমে ওয়েব ফর্ম পূরণ, তথ্য সংগ্রহ ও UI ইন্টারঅ্যাকশনের কাজ স্বয়ংক্রিয়ভাবে সম্পাদন করে।
স্থানীয় জ্ঞান ব্যবস্থাপনা: obsidian-cli সংযুক্ত করে সম্পূর্ণ ব্যক্তিগত জ্ঞানভান্ডার তৈরি করা যায়, যেখানে স্থানীয় নথি অনুসন্ধান ও বুদ্ধিমান সারাংশ তৈরি সম্ভব।
এন্টারপ্রাইজ এজ ডেপ্লয়মেন্ট: 工控机 বা ইন্ট্রানেট পরিবেশে স্থাপন করে সীমিত সম্পদের ডিভাইসে কমপ্লায়েন্ট AI পরিষেবা প্রদান করা যায়।
ঘন ঘন ব্যবহারের হালকা পরিষেবা: ব্যাকগ্রাউন্ডে স্থায়ীভাবে চলা ইন্টারফেস হিসেবে ওয়েবপেজ অনুবাদ, কনটেন্ট তৈরি ইত্যাদি ঘন ঘন অনুরোধ পরিচালনা করে এবং কম্পিউটিং খরচ উল্লেখযোগ্যভাবে কমায়।