OXR চালু আছে

OXR হলো শৌকৌ টেকনোলজির SoMark-এর ওপেন-সোর্স করা 1.3B ডকুমেন্ট পার্সিং মডেল। এটি PDF/ডকুমেন্টের ছবির জন্য তৈরি এবং Agent-বান্ধব Markdown/JSON আউটপুট দেয়। এটি লেখা, টেবিল, সূত্র, রাসায়নিক সমীকরণ/গঠনসূত্র, কোডসহ 13 ধরনের উপাদান শনাক্ত করে এবং লেআউটের স্থানাঙ্ক ও পড়ার ক্রম প্রদান করে। OXR-এর পোস্ট-ট্রেনিংয়ে RSI স্ব-উন্নয়ন লুপ যুক্ত করা হয়েছে। OmniDocBench, olmOCR-Bench এবং DocParsingBench—তিনটি বেঞ্চমার্কেই এটি প্রথম এবং পার্সিং গতিতেও এগিয়ে।

ডকুমেন্টকে কাঠামোবদ্ধ ডেটায় রূপান্তর: PDF ও ডকুমেন্টের ছবি Markdown/JSON-এ পার্স করে, যাতে Agent ও পরবর্তী সিস্টেম সরাসরি ব্যবহার করতে পারে।
বহু উপাদান শনাক্তকরণ: লেখা, টেবিল, সূত্র, রাসায়নিক সমীকরণ, রাসায়নিক গঠনসূত্র, কোড ব্লকসহ 13 ধরনের ডকুমেন্ট উপাদান সমর্থন করে।
লেআউট তথ্য আউটপুট: শনাক্ত ফলাফলের জন্য বাউন্ডিং-বক্স স্থানাঙ্ক প্রদান করে এবং পড়ার ক্রম অনুযায়ী বিষয়বস্তু সাজায়।
জটিল লেআউট প্রক্রিয়াকরণ: বহু-কলামের গবেষণাপত্র/সংবাদপত্র, A3 প্রশ্নপত্র, উল্লম্ব লেখা এবং চীনা-ইংরেজি হাতের লেখা সমর্থন করে।
কাস্টমাইজযোগ্য লেআউট বিশ্লেষণ: অন্তর্নির্মিত লেআউট মডেল প্রতিস্থাপন করা যায়, যাতে বিভিন্ন ব্যবসায়িক প্রয়োজন অনুযায়ী উপাদানের ধরন, অঞ্চলের সীমানা ও বিষয়বস্তু গ্রুপিং নির্ধারণ করা যায়।
বহুমুখী সংযোগ: বিনামূল্যের API, অনলাইন Demo এবং Docker/সোর্স কোডের মাধ্যমে স্থানীয় ডিপ্লয়মেন্ট প্রদান করে; SoMark CLI/SDK-এর সঙ্গে সামঞ্জস্যপূর্ণ।

WeChat-এ ফলো করে “ওপেন সোর্স” লিখে উত্তর পাঠান, AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
মডেল ও প্রশিক্ষণ: OXR হলো 1.3B প্যারামিটারের একটি মডেল, যা শূন্য থেকে প্রি-ট্রেন করা হয়েছে। পোস্ট-ট্রেনিং পর্যায়ে ডকুমেন্ট পার্সিংয়ের জন্য RSI লুপ যুক্ত করা হয়েছে। একাধিক মডেল ভুল ও দুর্বল নমুনা বিশ্লেষণ করে স্বয়ংক্রিয়ভাবে প্রশিক্ষণ কৌশল ও ডেটা তৈরি করে।
আর্কিটেকচারের বিভাজন: সিস্টেমটি একটি হালকা Layout Analysis মডেল এবং OXR প্রধান মডেল নিয়ে গঠিত। প্রথমটি বিষয়বস্তুর অঞ্চল নির্ধারণ করে, আর দ্বিতীয়টি একই শনাক্তকরণ পর্যায়ে বিষয়বস্তু শনাক্ত ও পড়ার ক্রম নির্ধারণ করে। এতে আলাদা ক্রম নির্ধারণের খরচ কমে এবং শব্দার্থিক সম্পর্ক ব্যবহার করে ক্রম নির্ধারণের মান উন্নত হয়।
প্লাগেবল নকশা: লেআউট বিশ্লেষণকে একটি স্বতন্ত্র মডিউলে ভাগ করা হয়েছে। এটি তৃতীয় পক্ষের বা নিজস্ব লেআউট মডেল দিয়ে প্রতিস্থাপন করা যায়, OXR-এর বিষয়বস্তু শনাক্তকরণ ও পড়ার ক্রমের ক্ষমতা বজায় রেখেই। এতে বিভিন্ন ক্ষেত্রের উপযোগী করার খরচ কমে।
দক্ষতা উন্নয়ন: টাস্ক-স্তরে পার্সিং প্রক্রিয়া পুনর্গঠন করে 1.3B ছোট মডেলটি নির্ভুলতা বজায় রেখেই বেশি থ্রুপুট অর্জন করেছে। RTX PRO 6000-এ একই শর্তে 100 পৃষ্ঠার পার্সিং পরীক্ষায় OXR-এর সময় প্রায় 101 সেকেন্ড, যা PaddleOCR-VL-1.6 ও MinerU2.5-Pro-এর চেয়ে দ্রুত।
ইঞ্জিনিয়ারিং সংযোগ: পার্সিং API SoMark-এর সঙ্গে সামঞ্জস্যপূর্ণ এবং somark-py/somark-js/CLI পুনরায় ব্যবহার করা যায়। স্থানীয়ভাবে all-in-one Docker পদ্ধতিই সবচেয়ে সহজ; সোর্স কোড ডিপ্লয়মেন্টে OXR মডেল সার্ভিস, Layout Analysis সার্ভিস এবং পার্সিং API আলাদাভাবে চালু করতে হয়।

রিসোর্স ডাউনলোড: GitHub রিপোজিটরি ক্লোন করুন এবং Hugging Face বা ModelScope থেকে OXR-1.0 BF16 ওজন ডাউনলোড করুন।
Docker চালু করা: docker/Dockerfile.allinone বিল্ড করুন, মডেল ডিরেক্টরি মাউন্ট করুন এবং চালু করার পর localhost:8000/demo বা /docs-এ প্রবেশ করুন।
সোর্স কোড ডিপ্লয়মেন্ট: ধারাবাহিকভাবে OXR মডেল সার্ভিস ও Layout Analysis সার্ভিস চালু করুন, এরপর ডকুমেন্ট পার্সিং API চালু করে config.yaml কনফিগার করুন।
পার্সিং শুরু: /v1/parse/sync বা অ্যাসিনক্রোনাস API কল করুন, অথবা SoMark CLI/SDK-তে base URL পরিবর্তন করে ফাইল জমা দিন।
ফলাফল সংগ্রহ: markdown/json ইত্যাদি আউটপুট ফরম্যাট নির্বাচন করুন, পার্সিং ফলাফল ডাউনলোড করুন এবং স্থানাঙ্ক ও পড়ার ক্রম পরীক্ষা করুন।
প্রোডাকশন সংযোগ: স্থানীয় সার্ভিস বা SoMark বাণিজ্যিক সার্ভিস ব্যবহার করুন এবং ব্যবসায়িক প্রয়োজন অনুযায়ী লেআউট বিশ্লেষণ মডিউল প্রতিস্থাপন/ফাইন-টিউন করুন।

তিন বেঞ্চমার্কে নির্ভুলতায় এগিয়ে: OmniDocBench, olmOCR-Bench এবং DocParsingBench—তিনটিতেই প্রথম স্থান, আর টেবিলের ক্ষেত্রে সুবিধা আরও স্পষ্ট।
দ্রুত: 1.3B প্যারামিটারের মডেলটি একই শর্তে 100 পৃষ্ঠার পার্সিং পরীক্ষায় প্রায় 101 সেকেন্ড সময় নেয়; অফিসিয়াল তুলনায় পরীক্ষিত ওপেন-সোর্স মডেলগুলোর মধ্যে প্রথম।
বিস্তৃত উপাদান সমর্থন: লেখা, টেবিল, সূত্র, রাসায়নিক সমীকরণ/গঠনসূত্র, কোড ব্লকসহ 13 ধরনের ডকুমেন্ট উপাদান সমর্থন করে।
Agent-বান্ধব আউটপুট: ফলাফলে লেআউটের স্থানাঙ্ক ও পড়ার ক্রম থাকে, যা সরাসরি Markdown/JSON-এ রূপান্তর করে ওয়ার্কফ্লোতে ব্যবহার করা যায়।
ক্রমাগত উন্নয়ন: পোস্ট-ট্রেনিংয়ে RSI লুপ ব্যবহার করে ভুল ও দুর্বল নমুনা থেকে স্বয়ংক্রিয়ভাবে কৌশল ও ডেটা তৈরি করা হয়, ফলে মানব-অ্যানোটেশনের ওপর নির্ভরতা কমে।
কম অভিযোজন খরচ: লেআউট বিশ্লেষণ স্বতন্ত্র ও প্লাগেবল। ব্যবসায়িকভাবে কাস্টম লেআউট মডেল ব্যবহার করেও শনাক্তকরণ ও ক্রম নির্ধারণের ক্ষমতা বজায় রাখা যায়।

GitHub রিপোজিটরি：https://github.com/SoMarkAI/OXR
HuggingFace মডেল রিপোজিটরি：https://huggingface.co/SoMarkAI/OXR-1.0

RAG জ্ঞানভান্ডারে সংযোজন: PDF/স্ক্যান করা নথিকে কাঠামো ও স্থানাঙ্কসহ Markdown/JSON-এ রূপান্তর করে স্লাইসিং, রিকল ও উদ্ধৃতির মান উন্নত করা।
অর্থ ও গবেষণা প্রতিবেদন পার্সিং: বহু-কলামের প্রতিবেদন, জটিল টেবিল ও চার্টের বিবরণ প্রক্রিয়াকরণ করে টেবিলের কাঠামো ও পড়ার ক্রম স্থিতিশীলভাবে আউটপুট করা।
শিক্ষা ও পরীক্ষা ডিজিটালাইজেশন: A3 প্রশ্নপত্র, উল্লম্ব/হাতের লেখা বিষয়বস্তু পার্স করে প্রশ্নব্যাংক তৈরি, খাতা মূল্যায়ন ও ভুল প্রশ্ন বিশ্লেষণে সহায়তা করা।
গবেষণা ও প্রকাশনা প্রক্রিয়া: গবেষণাপত্রের সূত্র, রাসায়নিক সমীকরণ/গঠনসূত্র শনাক্ত করে LaTeX, mhchem ও SMILES-এ রূপান্তর করা, যাতে পুনরায় ব্যবহার সহজ হয়।
এন্টারপ্রাইজ ডকুমেন্ট Agent: চুক্তি, জীবনবৃত্তান্ত, আর্কাইভ ও কোড ডকুমেন্টের জন্য কাঠামোবদ্ধ ইনপুট প্রদান করা; শিল্পভিত্তিক লেআউটের সঙ্গে মানিয়ে নিতে লেআউট বিশ্লেষণ মডিউল প্রতিস্থাপন করা যায়।