Laya চালু আছে

Laya একটি ওপেন-সোর্স নন-অটোরিগ্রেসিভ AI সিদ্ধান্ত মডেল। মডেলটি টেক্সট তৈরি করে না; ModernBERT/mmBERT দ্বিমুখী এনকোডারের ভিত্তিতে একটি টেক্সট ও টাইপযুক্ত প্রশ্নে মাত্র একবার ফরোয়ার্ড পাস চালিয়ে প্রায় 33ms-এ কাঠামোবদ্ধ ফলাফল ও ক্যালিব্রেটেড সম্ভাবনা দেয়। মডেলটিতে 100টিরও বেশি ভাষার জন্য বিল্ট-ইন ভাষা রাউটিং রয়েছে। ক্লোজড-সোর্স মডেল Jev-এর তুলনায় Laya নির্ভুলতা (76.6% বনাম 72.7%), বহুভাষিক সমর্থন (100টিরও বেশি ভাষা) এবং খরচের (স্থানীয় স্থাপন বিনামূল্যে) দিক থেকে বেশি সুবিধাজনক।

একবারের ফরোয়ার্ড সিদ্ধান্ত: একটি স্টেট ও টাইপযুক্ত প্রশ্নসমষ্টি ইনপুট দিলে একবারের ফরোয়ার্ড পাসে সরাসরি কাঠামোবদ্ধ ফলাফল ফেরত দেয়; কোনো টেক্সট তৈরি করে না, সময় লাগে প্রায় 33ms।
তিন ধরনের সিদ্ধান্ত প্রিমিটিভ: choice প্রার্থী তালিকা থেকে একটি নির্বাচন করে এবং প্রতিটির সম্ভাবনা দেয়; score ক্রমবদ্ধ স্কেলে স্কোর ও বণ্টন দেয়; noul হ্যাঁ/না প্রশ্নের উত্তর দিয়ে 0–1 পরিসরে সত্য হওয়ার সম্ভাবনা ফেরত দেয়।
স্বয়ংক্রিয় ভাষা রাউটিং: Router <0.5ms-এর মধ্যে ইনপুটের লিপি ও ভাষা শনাক্ত করে এবং স্বয়ংক্রিয়ভাবে ইংরেজি বা বহুভাষিক checkpoint-এ পাঠায়, যাতে ভুল মডেল বেছে নিয়ে “আত্মবিশ্বাসের সঙ্গে ভুল উত্তর” না দেওয়া হয়।
আত্মবিশ্বাস-ভিত্তিক গেটিং: RLCD প্রশিক্ষণের ফলে সম্ভাবনাগুলোর পরিসংখ্যানগত অর্থ রয়েছে; থ্রেশহোল্ড অনুযায়ী উচ্চ-আত্মবিশ্বাসের সিদ্ধান্ত স্বয়ংক্রিয়ভাবে অনুমোদন এবং নিম্ন-আত্মবিশ্বাসের সিদ্ধান্ত মানব পর্যালোচনায় পাঠানো যায়।
বিল্ট-ইন ওয়ার্কফ্লো প্রিসেট: মডেল রাউটিং, প্রম্পট ইনজেকশন প্রতিরোধ, কনটেন্ট সেফটি পর্যালোচনা ও টিকিট ট্রায়াজের মতো প্রস্তুত প্রশ্ন টেমপ্লেট দেয়, যা সরাসরি ব্যবহারযোগ্য।
স্থানীয় ফাইন-টিউনিং: সংযুক্ত Kaggle notebook-এর মাধ্যমে নিজস্ব ডেটা দিয়ে ডেটা তৈরি, RLCD প্রশিক্ষণ, তাপমাত্রা ফিটিং ও মূল্যায়নের সম্পূর্ণ ফাইন-টিউনিং প্রক্রিয়া সমর্থন করে।

WeChat-এ ফলো করে “开源” লিখে উত্তর দিন এবং AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
দ্বিমুখী নন-অটোরিগ্রেসিভ আর্কিটেকচার: ModernBERT-large (421M) বা mmBERT-base (322M) দ্বিমুখী এনকোডারের ভিত্তিতে ইনপুট টোকেন একই সঙ্গে আগের ও পরের প্রসঙ্গ দেখতে পারে। ইনফারেন্সের সময় অক্ষর ধরে টেক্সট তৈরি না করে প্রতিটি প্রার্থী বিকল্পের জন্য আলাদা [MASK] অবস্থান বরাদ্দ করা হয়; একবারের ফরোয়ার্ড পাসে সব বিকল্পের logits বের করে Softmax-এর মাধ্যমে সম্ভাবনা বণ্টনে রূপান্তর করা হয়। 33ms-স্তরের লেটেন্সির উৎস এটাই।
RLCD রিইনফোর্সমেন্ট লার্নিং প্রশিক্ষণ: লগারিদমিক স্কোর, গোলীয় স্কোর ও অর্ডারড-প্রবাবিলিটি স্কোরের মতো কঠোর সত্য-স্কোরিং নিয়মকে পুরস্কার হিসেবে ব্যবহার করা হয়। মডেল কেবল প্রকৃত posterior probability দিলে উচ্চ স্কোর পায়; অনিশ্চিত হলে আত্মবিশ্বাস স্বাভাবিকভাবেই কমে যায়, ফলে প্রচলিত বড় মডেলের “অন্ধ আত্মবিশ্বাসের” সমস্যা এড়ানো যায়।
ভাষা রাউটিং ব্যবস্থা: Router ফরোয়ার্ডের আগে বিশুদ্ধ Python ব্যবহার করে Unicode character set ও ভাষা শনাক্ত করে এবং সেই অনুযায়ী checkpoint নির্বাচন করে। কারণ ইংরেজি checkpoint অ-লাতিন লিপিতে 0.95 আত্মবিশ্বাসে 0 নির্ভুলতার উত্তর দিতে পারে; আত্মবিশ্বাস নিজে আগাম সতর্ক করতে পারে না। তাই ইনফারেন্সের আগেই রাউটিং সিদ্ধান্ত সম্পন্ন করতে হয়।
সম্ভাবনা ক্যালিব্রেশন: প্রকাশিত checkpoint-এ অতিরিক্ত আত্মবিশ্বাস থাকতে পারে। নিজস্ব ডেটায় (প্রশ্নের ধরন, বিকল্পের সংখ্যা) অনুযায়ী তাপমাত্রা ফিট করতে হয়; ফিটিংয়ের পর গড় ECE 0.466 থেকে 0.081-এ নামতে পারে। তখনই সম্ভাবনা সরাসরি স্বয়ংক্রিয় অনুমোদনের সিদ্ধান্তে ব্যবহারযোগ্য হয়।

ইনস্টলেশন: pip install laya; এটি একটি PyPI প্যাকেজ। দুই দিনের মধ্যে 0.1.0 থেকে 0.3.4-এ উন্নীত হয়েছে, তাই API এখনও পরিবর্তনশীল।
মডেল লোড: Router(preload=True) তিনটি checkpoint আগে থেকেই লোড করে, ফলে ঠান্ডা শুরুর সময় ভাষা বদলালে প্রতিবার মডেল পুনর্গঠন করতে হয় না।
স্টেট প্রস্তুত: বিশ্লেষণযোগ্য টেক্সটকে একটি dict-এ সাজান, যেমন {"from": ..., "subject": ..., "body": ...}; যেকোনো ভাষা বা JSON কাঠামো সমর্থিত।
প্রশ্ন নির্ধারণ: JSON ব্যবহার করে টাইপযুক্ত প্রশ্নসমষ্টি লিখুন এবং type (choice / score / noul), instructions ও criteria (বিকল্প বা স্কেল) নির্ধারণ করুন।
পূর্বাভাস চালানো: router.predict(state, questions) কল করলে একবারের ফরোয়ার্ড পাসে সব উত্তর ফেরত আসে; ইংরেজি laya-তে যায়, আর Hindi ইত্যাদি স্বয়ংক্রিয়ভাবে multilingual-এ যায়।
ফলাফল পড়া: res["answers"] থেকে choice লেবেল, score মান বা noul সম্ভাবনা নিন; res["routing"] ব্যাখ্যা করবে কেন ওই checkpoint বেছে নেওয়া হয়েছে।
আত্মবিশ্বাস-ভিত্তিক গেটিং: confidence-এর জন্য থ্রেশহোল্ড নির্ধারণ করুন, যেমন 0.85। উচ্চ-আত্মবিশ্বাসের ফলাফল স্বয়ংক্রিয়ভাবে প্রক্রিয়া করুন এবং নিম্ন-আত্মবিশ্বাসের ফলাফল মানব পর্যালোচনায় পাঠান। তবে এর আগে নিজস্ব ডেটায় তাপমাত্রা ফিটিং করা আবশ্যক।

দ্রুত ইনফারেন্স: একবারের ফরোয়ার্ড পাসে প্রায় 33ms (T4), ব্যাচে মাত্র 7.2ms/প্রশ্ন; ক্লোজড-সোর্স TypeSafe Jev-এর চেয়ে প্রায় 7.8 গুণ দ্রুত।
হ্যালুসিনেশনের ঝুঁকি শূন্য: টেক্সট তৈরি না করে কেবল কাঠামোবদ্ধ সিদ্ধান্ত দেয়; পার্সিংয়ের অতিরিক্ত কাজ নেই এবং বিষয়বস্তু বানিয়ে বলার সমস্যাও নেই।
ক্যালিব্রেটযোগ্য সম্ভাবনা: RLCD-এর কঠোর সত্য-স্কোরিং নিয়মে প্রশিক্ষিত হওয়ায় আত্মবিশ্বাসের পরিসংখ্যানগত অর্থ রয়েছে; এটি সরাসরি স্বয়ংক্রিয় অনুমোদন বা মানব পর্যালোচনা প্রবাহ চালাতে পারে।
ক্যালিব্রেশনে এগিয়ে: তাপমাত্রা ফিটিংয়ের পর ECE মাত্র 0.081, যা Jev-এর 0.246-এর চেয়ে ভালো; typed-decisions নির্ভুলতা 0.766-ও Jev-এর 0.727-এর চেয়ে বেশি।
বহুভাষিক রাউটিং: বিল্ট-ইন Router এক মিলিসেকেন্ডেরও কম সময়ে 100টিরও বেশি ভাষা শনাক্ত করে এবং স্বয়ংক্রিয়ভাবে checkpoint নির্বাচন করে, ফলে অ-লাতিন লিপিতে ইংরেজি মডেলের “আত্মবিশ্বাসের সঙ্গে ভুল উত্তর” এড়ানো যায়।
সম্পূর্ণ ওপেন-সোর্স ও বিনামূল্যে: Apache-2.0 লাইসেন্স, উন্মুক্ত ওজন এবং স্ব-হোস্টিং সমর্থন রয়েছে। Jev-এর $0.042/মিলিয়ন token API খরচের তুলনায় দীর্ঘমেয়াদি ব্যবহারের খরচ শূন্য।
টাইপযুক্ত আউটপুট: choice / score / noul এই তিনটি প্রিমিটিভ শ্রেণিবিন্যাস, স্কোরিং ও হ্যাঁ/না বিচারসহ অধিকাংশ কাঠামোবদ্ধ সিদ্ধান্তের দৃশ্যপট কভার করে।

GitHub রিপোজিটরি: https://github.com/NandhaKishorM/laya
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/convaiinnovations/laya

কাস্টমার সার্ভিস টিকিট স্বয়ংক্রিয় ট্রায়াজ: বিভাগ নির্ধারণ (billing/technical/sales), জরুরি মাত্রা, ব্যবহারকারীর হতাশা ও churn risk শনাক্ত করা; উচ্চ-আত্মবিশ্বাসের টিকিট স্বয়ংক্রিয়ভাবে বরাদ্দ এবং নিম্ন-আত্মবিশ্বাসের টিকিট মানব পর্যালোচনায় পাঠানো।
কনটেন্ট সেফটি ও মডারেশন: বিষাক্ততা, হয়রানি ও হুমকিমূলক বিষয়বস্তু শনাক্ত করা; noul প্রিমিটিভ লঙ্ঘনের সম্ভাবনা দেয়, যা কমিউনিটি ও UGC প্ল্যাটফর্মে রিয়েল-টাইম মডারেশনের জন্য উপযোগী।
প্রম্পট ইনজেকশন প্রতিরোধ (Guardrails): Agent সিস্টেমের প্রবেশপথে jailbreak, injection ও key leakage-এর মতো আক্রমণ শনাক্ত করা; 33ms-স্তরের লেটেন্সিতে প্রতিটি অনুরোধের প্রবাহে এটি যুক্ত করা যায়।
বুদ্ধিমান মডেল রাউটিং: হাইব্রিড বড়-মডেল আর্কিটেকচারে অনুরোধটি ছোট মডেল নাকি frontier model-এ যাবে তা নির্ধারণ করা; অত্যন্ত কম খরচে রাউটিং সিদ্ধান্ত নিয়ে ইনফারেন্স ব্যয় কমানো।