Unlimited OCR 2 চালু আছে

Unlimited OCR 2 হলো Baidu Wenxin-এর ওপেন-সোর্স করা এন্ড-টু-এন্ড ডকুমেন্ট পার্সিং মডেল। এটি যেকোনো সংখ্যক পৃষ্ঠার অতি দীর্ঘ ডকুমেন্ট বিশ্লেষণ করতে পারে এবং একবারে হাজার হাজার পৃষ্ঠার বই প্রক্রিয়াকরণ করেও নির্ভুলতা ও দক্ষতা বজায় রাখে। Unlimited OCR 2 স্পার্স রেফারেন্স স্লাইডিং-উইন্ডো অ্যাটেনশন মেকানিজম এবং অসীম ডিকোডিং মেকানিজম ব্যবহার করে দীর্ঘ ডকুমেন্টের গণনা ও GPU মেমরি ব্যয় কমায়। MPDocBench, MarathonDocBench সহ বিভিন্ন বেঞ্চমার্কে এটি SOTA ফলাফল অর্জন করেছে এবং OCR-কে 3.0 যুগে এগিয়ে নিয়ে যাচ্ছে।

যেকোনো সংখ্যক পৃষ্ঠা বিশ্লেষণ: প্রচলিত পৃষ্ঠাসীমা অতিক্রম করে একবারে হাজার হাজার পৃষ্ঠার দীর্ঘ ডকুমেন্ট প্রক্রিয়াকরণ সমর্থন করে।
দীর্ঘ ডকুমেন্টে উচ্চ নির্ভুলতা: ডকুমেন্টের দৈর্ঘ্য ব্যাপকভাবে বাড়লেও উচ্চ পার্সিং নির্ভুলতা ও প্রক্রিয়াকরণ দক্ষতা বজায় রাখে।
পৃষ্ঠাজুড়ে তথ্যের সংযোগ: আগের অংশ পুনরায় দেখা ও পৃষ্ঠাজুড়ে তথ্য যাচাই করা যায়, ফলে একাধিক পৃষ্ঠা জোড়ার কারণে তৈরি প্রসঙ্গের বিচ্ছিন্নতা কমে।
ওপেন-সোর্স ও ব্যবহারযোগ্য: কোড ও মডেল ওজন ওপেন-সোর্স করা হয়েছে এবং Baidu Intelligent Cloud ও Baidu AI Open Platform-এও চালু করা হয়েছে।

WeChat-এ ফলো করে “开源” লিখে উত্তর পাঠান এবং AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
SR-SWA স্পার্স রেফারেন্স স্লাইডিং-উইন্ডো অ্যাটেনশন: মানুষ বই নকল করার সময় যেমন “বর্তমান পৃষ্ঠায় মনোযোগ দেয়, প্রয়োজনে আগের অংশ দেখে”, সেই পদ্ধতি অনুসরণ করে Page Gate প্রতিটি কুয়েরির ভিজ্যুয়াল রেফারেন্স পরিসর পুরো ডকুমেন্ট থেকে সংশ্লিষ্ট পৃষ্ঠাগুলোতে সীমাবদ্ধ করে এবং পৃষ্ঠাজুড়ে অবস্থানগত সম্পর্ক মডেল করে। দীর্ঘ দূরত্বের ভিজ্যুয়াল নির্ভরতা ধরতে সর্বোচ্চ স্কোরের ভিজ্যুয়াল Token Buckets যুক্ত করা হয়েছে, ফলে পুরো ডকুমেন্টের token-এর ওপর Full Attention-এর অতিরিক্ত গণনা এড়ানো যায়।
Unlimited-Horizon Decoding অসীম ডিকোডিং মেকানিজম: অতি দীর্ঘ ডকুমেন্ট বিশ্লেষণের গণনা ও GPU মেমরি-সংক্রান্ত সীমাবদ্ধতা মোকাবিলায় ডিকোডিং প্রক্রিয়াকে оптимাইজ করে। ফলে আরও বেশি পৃষ্ঠা প্রক্রিয়াকরণের সময় মডেল প্রসঙ্গের দৈর্ঘ্য দ্বারা কঠোরভাবে সীমাবদ্ধ হয় না এবং “যেকোনো সংখ্যক পৃষ্ঠা” বিশ্লেষণের লক্ষ্য সমর্থিত হয়।
এন্ড-টু-এন্ড দীর্ঘ ডকুমেন্ট মডেলিং: প্রচলিত OCR-এর মতো শুধু প্রতিটি পৃষ্ঠা শনাক্ত করে পরে জোড়ে না, আবার আগের প্রজন্মের R-SWA-এর মতো কেবল ধারাবাহিক কয়েক ডজন পৃষ্ঠা পর্যন্তও সীমাবদ্ধ নয়। Unlimited OCR 2 পৃষ্ঠাজুড়ে নির্বাচন, রেফারেন্স পুনরায় দেখা এবং বর্তমান পৃষ্ঠা বোঝাকে একটি সমন্বিত এন্ড-টু-এন্ড কাঠামোয় নিয়ে আসে, ফলে দীর্ঘ ডকুমেন্ট পার্সিংয়ের সামঞ্জস্য ও পূর্ণতা বাড়ে।
দক্ষতা ও ব্যয় নিয়ন্ত্রণ: Full Attention-এর তুলনায় SR-SWA-এর এক ধাপের ডিকোডিং গতি 7 গুণ এবং আগের প্রজন্মের R-SWA-এর তুলনায় 5.6 গুণ বেশি। এর মূল সুবিধা হলো পূর্ণাঙ্গ গ্লোবাল অ্যাটেনশনের বদলে স্পার্স রেফারেন্স ব্যবহার করা।

প্রবেশপথ নির্বাচন: GitHub বা Hugging Face থেকে কোড ও মডেল ওজন ডাউনলোড করে স্থানীয়ভাবে স্থাপন করুন।
ডকুমেন্ট প্রস্তুত করুন: PDF/স্ক্যান কপি/দীর্ঘ ডকুমেন্ট গুছিয়ে নিন এবং পৃষ্ঠাগুলো সম্পূর্ণ, পরিষ্কার ও সঠিক দিকনির্দেশনায় আছে তা নিশ্চিত করুন।
আপলোড বা লোড করুন: অনলাইন প্রবেশপথে সরাসরি ডকুমেন্ট আপলোড করুন; স্থানীয় স্থাপনার ক্ষেত্রে পরিবেশ কনফিগার করে Unlimited OCR 2 মডেলের ওজন লোড করুন।
কাজের সেটিং নির্ধারণ: পৃষ্ঠা বা API প্যারামিটার অনুযায়ী আউটপুট ফরম্যাট, বিশ্লেষণের পরিসর, টেবিল/লেআউট শনাক্তকরণসহ বিভিন্ন বিকল্প নির্বাচন করুন।
পার্সিং চালান: কাজ জমা দিন এবং মডেলের পৃষ্ঠাজুড়ে বোঝাপড়া, বিষয়বস্তু নিষ্কাশন ও কাঠামোবদ্ধ আউটপুট তৈরি শেষ হওয়া পর্যন্ত অপেক্ষা করুন।
ফলাফল যাচাই করুন: পৃষ্ঠাজুড়ে শিরোনাম, টেবিল, সূত্র, পৃষ্ঠা নম্বর, উদ্ধৃতি ও অনুচ্ছেদের ধারাবাহিকতা বিশেষভাবে পরীক্ষা করুন।
এক্সপোর্ট ও ইন্টিগ্রেশন: টেক্সট/Markdown/JSON এক্সপোর্ট করুন অথবা API-এর মাধ্যমে ব্যাচ প্রসেসিং ও ব্যবসায়িক সিস্টেমে যুক্ত করুন।

যেকোনো সংখ্যক পৃষ্ঠা বিশ্লেষণ: প্রচলিত OCR-এর পৃষ্ঠাসীমা অতিক্রম করে হাজার হাজার পৃষ্ঠার দীর্ঘ ডকুমেন্ট প্রক্রিয়াকরণ করতে পারে।
দীর্ঘ ডকুমেন্টে আরও স্থিতিশীল নির্ভুলতা: পৃষ্ঠার সংখ্যা ব্যাপকভাবে বাড়লেও উচ্চ পার্সিং নির্ভুলতা ও দক্ষতা বজায় রাখে।
আরও শক্তিশালী পৃষ্ঠাজুড়ে বোঝাপড়া: আগের অংশ পুনরায় দেখা ও পৃষ্ঠাজুড়ে তথ্য সংযুক্ত করা যায়, ফলে জোড়ার কারণে তৈরি প্রসঙ্গের বিচ্ছিন্নতা কমে।
উচ্চতর গণনা দক্ষতা: SR-SWA পূর্ণাঙ্গ অ্যাটেনশনের বদলে স্পার্স রেফারেন্স ব্যবহার করে অতিরিক্ত গণনা উল্লেখযোগ্যভাবে কমায়।
কম GPU মেমরি ব্যয়: অসীম ডিকোডিং মেকানিজমের সঙ্গে যুক্ত হয়ে অতি দীর্ঘ ডকুমেন্ট বিশ্লেষণের GPU মেমরির চাপ কমায়।
বেঞ্চমার্কে অগ্রগামী ফলাফল: বর্ণনা অনুযায়ী, MPDocBench, MarathonDocBench সহ দীর্ঘ ডকুমেন্টের বেঞ্চমার্কে SOTA ফলাফল অর্জন করেছে।

GitHub রিপোজিটরি: https://github.com/baidu/Unlimited-OCR
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/spaces/baidu/Unlimited-OCR-2

দীর্ঘ বই/নথি বিশ্লেষণ: সম্পূর্ণ উপন্যাস, পাঠ্যবই ও প্রাচীন গ্রন্থ দ্রুত ডিজিটাইজ করে পৃষ্ঠাজুড়ে প্রসঙ্গ সংরক্ষণ করা।
গবেষণা প্রতিবেদন ও আর্থিক প্রতিবেদন বিশ্লেষণ: একবারে শত শত পৃষ্ঠার গবেষণা প্রতিবেদন বা বার্ষিক প্রতিবেদন পড়ে মতামত, সূচক ও ঝুঁকির বিষয়গুলো বের করা।
আইনি ও কমপ্লায়েন্স পর্যালোচনা: আইনসংকলন, চুক্তির নথি ও মামলার উপকরণ প্রক্রিয়াকরণ করে পৃষ্ঠাজুড়ে ধারার সম্পর্ক বিশ্লেষণ করা।
আর্কাইভ ও রসিদ ডিজিটাইজেশন: স্ক্যান করা আর্কাইভ, চিকিৎসা নথি ও ঐতিহাসিক উপকরণ ব্যাচ আকারে কাঠামোবদ্ধ টেক্সটে রূপান্তর করে সংরক্ষণ করা।
RAG/জ্ঞানভান্ডার নির্মাণ: অতি দীর্ঘ PDF-কে অনুসন্ধানযোগ্য কনটেন্টে রূপান্তর করে প্রশ্নোত্তর, সার্চ ও এজেন্ট ব্যবহারে সহায়তা করা।