APUS-OpenJev-v1 চালু আছে

APUS-OpenJev-v1 হলো APUS AI Lab-এর ওপেন-সোর্স করা ডিভাইস-সাইড System 1 সিদ্ধান্ত গ্রহণের বৃহৎ মডেল সিরিজ। এটি TypeSafe AI-এর ক্লোজড-সোর্স Jev-এর অনুরূপ এবং 4B, 9B ও 35B-A3B ওজন সরবরাহ করে। ব্রাউজার অটোমেশন, ফর্ম পূরণ, ওয়ার্কফ্লো রাউটিংসহ বিভিন্ন কাজে দ্রুত পরবর্তী পদক্ষেপ নির্বাচন করতে পারে। মডেলটি প্রথমবারের মতো effort="low/high" ডায়নামিক কম্পিউটেশনাল গভীরতা চালু করেছে: low মোডে মাত্র 16টি স্তর চালানো হয় এবং প্রার্থী-সচেতন প্রজেকশনের সঙ্গে এটি দ্রুত ও কম খরচের; high মোডে সম্পূর্ণ গভীরতা ব্যবহার করা হয়, ফলে নির্ভুলতা বেশি।

প্রার্থী অ্যাকশন সিদ্ধান্ত: কাজ, পৃষ্ঠার প্রেক্ষাপট এবং প্রার্থী অপারেশনের বিবরণের ভিত্তিতে পরবর্তী ব্যবসায়িক অ্যাকশন আউটপুট করে।
ব্রাউজার অটোমেশন: বোতাম, ইনপুট ফিল্ড, নেভিগেশন উপাদানসহ DOM তথ্য শনাক্ত করে এবং Agent-কে ওয়েব অপারেশন সম্পন্ন করতে সহায়তা করে।
ব্যবসায়িক নিয়ম রাউটিং: কাস্টমার সার্ভিস টিকিট বিতরণ, প্রক্রিয়া অনুমোদন, ফর্ম জমাসহ বিভিন্ন ব্যবসায়িক সিদ্ধান্তের ক্ষেত্রে উপযোগী।
ডায়নামিক কম্পিউটেশন নিয়ন্ত্রণ: effort="low/high" ব্যবহার করে উচ্চ থ্রুপুট ও উচ্চ মানের মধ্যে পরিবর্তন করা যায়।
ফর্ম টেক্সট তৈরি: একাধিক-পছন্দভিত্তিক সিদ্ধান্তের পাশাপাশি সার্চ কিওয়ার্ড, ইনপুট টেক্সটসহ উন্মুক্ত বিষয়বস্তু তৈরি করতে পারে।
স্থানীয় মিলিসেকেন্ড-স্তরের স্থাপন: একক GPU ও vLLM সার্ভিস স্থাপন সমর্থন করে, ক্লাউড API-এর বিলম্ব ও কল খরচ কমায়।
বিভিন্ন মডেল সাইজের বিকল্প: 4B, 9B ও 35B-A3B সংস্করণ সরবরাহ করে, যা যথাক্রমে হালকা ডিভাইস-সাইড, সাধারণ উৎপাদন এবং উচ্চ-পারফরম্যান্সের প্রয়োজনের জন্য উপযোগী।

WeChat-এ অনুসরণ করে “开源” লিখে উত্তর দিন, AI ওপেন-সোর্স প্রকল্পের আলোচনা গ্রুপে যোগ দিন
ভাষা-নেটিভ সিদ্ধান্ত ইন্টারফেস: মডেলটি কাজের লক্ষ্য, প্রেক্ষাপট এবং প্রার্থী অপারেশনের বিবরণ প্রাকৃতিক ভাষায় ইনপুট হিসেবে গ্রহণ করে এবং প্রার্থী অ্যাকশনের সঙ্গে A, B, C-এর মতো সংক্ষিপ্ত Token যুক্ত করে। ইনফারেন্সের সময় মডেলকে শুধু বৈধ প্রার্থী Tokenগুলোর সম্ভাবনা গণনা করতে হয়, এরপর হোস্ট প্রোগ্রাম সেগুলোকে নির্দিষ্ট ব্যবসায়িক অ্যাকশনে ম্যাপ করে।
effort="low/high" ডায়নামিক কম্পিউটেশনাল গভীরতা: একই মডেল ওজনের মধ্যে দুটি সিদ্ধান্ত আউটলেট রয়েছে: effort="low" মোডে কেবল প্রথম 16টি Transformer স্তর চালানো হয় এবং প্রার্থী-সচেতন আউটপুট প্রজেকশনের মাধ্যমে কম কম্পিউটিং শক্তিতে উচ্চ-ফ্রিকোয়েন্সির সাধারণ অ্যাকশন সম্পন্ন করা হয়; effort="high" মোডে সম্পূর্ণ 32 স্তরের ইনফারেন্স চালানো হয়, যা পেমেন্ট ও অনুমতি নিশ্চিতকরণের মতো উচ্চ-ঝুঁকির অপারেশনের জন্য উপযোগী। এর ফলে Agent সিস্টেম অ্যাকশনের গুরুত্ব ও আত্মবিশ্বাস অনুযায়ী ডায়নামিকভাবে কম্পিউটিং রিসোর্স বরাদ্দ করতে পারে।
ক্রস-ডেপথ যৌথ পোস্ট-ট্রেনিং ও স্ব-ডিস্টিলেশন: অর্ধেক কম কম্পিউটেশন ব্যবহারের পরও যেন অগভীর স্তরের আউটলেট নির্ভরযোগ্য সিদ্ধান্ত নিতে পারে, সে জন্য অগভীর ও গভীর পথকে একই সঙ্গে প্রকৃত লেবেল দিয়ে প্রশিক্ষণ দেওয়া হয়। পাশাপাশি গভীর পথের আউটপুট সম্ভাবনা “সফট লেবেল” হিসেবে ব্যবহার করে KL divergence ডিস্টিলেশনের মাধ্যমে অগভীর পথে স্থানান্তর করা হয়। অগভীর পথের সক্ষমতার ঘাটতি যাতে গভীর মডেলকে প্রভাবিত না করে, তাই প্রশিক্ষণের সময় গভীর আউটপুটে গ্রেডিয়েন্ট ব্লক করা হয়। ফলে এটি নিজে উন্নত হতে পারে এবং অগভীর পথের শিক্ষক হিসেবেও কাজ করতে পারে।
প্রার্থী-সচেতন আউটপুট প্রজেকশন: প্রচলিত বৃহৎ মডেল প্রতিটি Token তৈরি করার সময় প্রায় ২৪.৮万 শব্দভাণ্ডার ঘুরে দেখে, অথচ কাঠামোবদ্ধ সিদ্ধান্তে সাধারণত মাত্র কয়েকটি প্রার্থী অ্যাকশন থাকে। প্রার্থী Token-এর সংশ্লিষ্ট আউটপুট ওজনের সারি সরাসরি বের করে ম্যাট্রিক্স গণনাকে সম্পূর্ণ শব্দভাণ্ডার থেকে Kটি প্রার্থীতে সীমিত করা হয়। প্রার্থীদের সম্ভাবনার যৌক্তিক সমতা বজায় রেখেই আউটপুট হেডের গণনা ও GPU মেমরি অ্যাক্সেসের খরচ উল্লেখযোগ্যভাবে কমানো হয়।

পরিবেশ প্রস্তুত করুন: CUDA সমর্থনকারী PyTorch, Transformers এবং huggingface_hub ইনস্টল করুন এবং স্থানীয় কম্পিউটার বা সার্ভারে পর্যাপ্ত GPU মেমরি নিশ্চিত করুন।
মডেল ডাউনলোড করুন: প্রয়োজনীয় মডেল ডিরেক্টরি ডাউনলোড করতে hf download apus-ailab/APUS-OpenJev-v1 --include "9B-3000/*" --local-dir ./APUS-OpenJev-v1 চালান।
মডেল ডিরেক্টরিতে প্রবেশ করুন: ডাউনলোড করা মডেলের সাবডিরেক্টরিতে গিয়ে অন্তর্ভুক্ত openjet_runtime ইনফারেন্স কম্পোনেন্ট সরাসরি ব্যবহার করুন।
মডেল লোড করুন: OpenJet.from_pretrained(".", device="cuda:0") ব্যবহার করে নির্দিষ্ট GPU-তে মডেল লোড করুন।
সিদ্ধান্তের অনুরোধ তৈরি করুন: instructions, state এবং candidates তিনটি ফিল্ডে কাজের লক্ষ্য, বর্তমান প্রেক্ষাপট এবং প্রার্থী অপারেশন ইনপুট দিন।
দ্রুত সিদ্ধান্ত চালান: কম কম্পিউটেশনাল খরচে উচ্চ-ফ্রিকোয়েন্সির সাধারণ অ্যাকশন পেতে model.decide(request_data, effort="low") কল করুন।
গভীর সিদ্ধান্ত চালান: পেমেন্ট ও জমাদানের মতো গুরুত্বপূর্ণ অ্যাকশনের জন্য সম্পূর্ণ ইনফারেন্স ফলাফল পেতে model.decide(request_data, effort="high") কল করুন।
ওয়ার্কফ্লো টেক্সট তৈরি করুন: সার্চ শব্দ বা ফর্মের বিষয়বস্তু পূরণ করার ক্ষেত্রে নির্দিষ্ট টেক্সট তৈরি করতে model.generate_text() কল করুন।
উৎপাদন পরিষেবা স্থাপন করুন: vLLM-এর মাধ্যমে OpenAI-সামঞ্জস্যপূর্ণ ইন্টারফেস চালু করতে python deployment/serve_vllm.py --port 8000 চালান।

উচ্চ সিদ্ধান্ত নির্ভুলতা: অফিসিয়াল 80 প্রশ্নের স্থির বেঞ্চমার্কে 9B সংস্করণ 85% অর্জন করেছে, যা Jev-এর বাণিজ্যিক API-এর 82.5%-এর চেয়ে বেশি।
অত্যন্ত দ্রুত প্রতিক্রিয়া: নির্দিষ্ট স্থানীয় vLLM স্থাপনা পদ্ধতিতে 9B-এর P50 বিলম্ব মাত্র 25.58ms এবং 4B-এর 18ms।
কম্পিউটিং রিসোর্স ডায়নামিকভাবে সমন্বয়যোগ্য: প্রথমবারের মতো effort="low/high" মোড চালু করা হয়েছে, যা অ্যাকশনের ঝুঁকি অনুযায়ী গতি ও নির্ভুলতার মধ্যে পরিবর্তনের সুযোগ দেয়।
উচ্চ-ফ্রিকোয়েন্সির অপারেশনে কম খরচ: effort="low" মোডে মাত্র 16টি স্তর চালানো হয় এবং প্রার্থী-সচেতন আউটপুট প্রজেকশন ব্যবহার করা হয়, যা স্ক্রল বা পরবর্তী ধাপে ক্লিকের মতো ঘন ঘন সিদ্ধান্তের জন্য উপযোগী।
গুরুত্বপূর্ণ অ্যাকশনে বেশি নির্ভরযোগ্য: effort="high" মোডে সম্পূর্ণ নেটওয়ার্ক গভীরতা চালানো হয়, যা পেমেন্ট নিশ্চিতকরণ ও অনুমতি অনুমোদনের মতো উচ্চ-ঝুঁকির ক্ষেত্রে উপযোগী।
আউটপুট ফরম্যাটের ত্রুটি এড়ানো: ভাষা-নেটিভ সিদ্ধান্ত ইন্টারফেস ব্যবহার করে আউটপুটকে পূর্বনির্ধারিত প্রার্থী সেটের মধ্যে সীমাবদ্ধ করা হয়, ফলে JSON ফরম্যাটের হ্যালুসিনেশন দূর হয়।
ব্যবসায়িক কাজে স্থানান্তরযোগ্যতা বেশি: প্রাকৃতিক ভাষায় বিবরণের মাধ্যমে একই মডেলকে ব্রাউজার অপারেশন, কাস্টমার সার্ভিস রাউটিং, নিয়ম পর্যালোচনাসহ বিভিন্ন কাজে মানিয়ে নেওয়া যায়।

HuggingFace মডেল রিপোজিটরি: https://huggingface.co/apus-ailab/APUS-OpenJev-v1

ব্রাউজার অটোমেশন: ওয়েবপেজের DOM, বোতাম ও ইনপুট ফিল্ডের তথ্যের ভিত্তিতে ক্লিক, স্ক্রল বা নেভিগেশনের মতো পরবর্তী পদক্ষেপ দ্রুত নির্ধারণ করে।
এন্টারপ্রাইজ প্রক্রিয়া রাউটিং: অনুমোদন, টিকিট প্রক্রিয়াকরণ বা ফর্ম প্রবাহে ব্যবসায়িক নিয়ম অনুযায়ী জমা, ফেরত বা হস্তান্তরের মতো প্রক্রিয়াপথ স্বয়ংক্রিয়ভাবে নির্বাচন করে।
কাস্টমার সার্ভিস টিকিট বরাদ্দ: ব্যবহারকারীর সমস্যা, পূর্ববর্তী তথ্য এবং সম্ভাব্য প্রক্রিয়াকরণ বিভাগের সঙ্গে মিলিয়ে সবচেয়ে উপযুক্ত কাস্টমার সার্ভিস দল বা অ্যাকশন তাৎক্ষণিকভাবে নির্ধারণ করে।
আর্থিক ও কমপ্লায়েন্স পর্যালোচনা: উচ্চ-ঝুঁকির অপারেশনে effort="high" ব্যবহার করে গভীর বিশ্লেষণ চালায় এবং অস্বাভাবিক লেনদেন, অনুমতির ঝুঁকি বা নিয়মবহির্ভূত ডেটা প্রবাহ শনাক্ত করে।
ডিভাইস-সাইড স্মার্ট সহকারী: স্থানীয় ডিভাইস বা ব্যক্তিগত সার্ভারে হালকা মডেল স্থাপন করে উচ্চ-ফ্রিকোয়েন্সির Agent কাজে কম বিলম্ব ও গোপনীয়তা-সুরক্ষিত সিদ্ধান্ত গ্রহণের ক্ষমতা প্রদান করে।