TeleOCR চালু আছে

TeleOCR হলো চায়না টেলিকমের Xingchen ল্যাবরেটরির ওপেন-সোর্স করা ডকুমেন্ট পার্সিং মডেল। প্রায় 1.2B প্যারামিটারের হালকা ভিশন-ল্যাঙ্গুয়েজ আর্কিটেকচার ব্যবহার করে এটি একটি একক ফ্রেমওয়ার্কে ডিজিটাল ডকুমেন্ট ও ক্যামেরায় তোলা ডকুমেন্ট প্রক্রিয়া করে এবং লেখা, লেআউট, টেবিল, সূত্র ও বৈজ্ঞানিক চার্টকে Markdown, JSON ইত্যাদি কাঠামোবদ্ধ ফলাফলে রূপান্তর করে। TeleOCR OmniDocBench v1.6 তালিকার শীর্ষে রয়েছে, PureDocBench-এ প্রথম স্থান এবং ICDAR-2026 বৈজ্ঞানিক চার্ট পার্সিং চ্যাম্পিয়নশিপ জিতেছে। এটি স্থানীয় GPU ডিপ্লয়মেন্ট সমর্থন করে এবং চুক্তি, গবেষণাপত্র ও আর্কাইভের মতো কাঠামোবদ্ধ তথ্য আহরণে ব্যবহারযোগ্য।

টেক্সট শনাক্তকরণ: ডকুমেন্টের টেক্সট উচ্চ নির্ভুলতায় আহরণ করে; ডিজিটাল ডকুমেন্ট শনাক্তকরণের নির্ভুলতা 97.22।
লেআউট বিশ্লেষণ: পৃষ্ঠায় লেখা, টেবিল, সূত্র ইত্যাদি উপাদানের অবস্থান ও স্তরবিন্যাস নির্ধারণ করে।
টেবিল পার্সিং: সারি ও কলামজুড়ে বিস্তৃত এবং একীভূত সেলসহ জটিল টেবিলের কাঠামো নির্ভুলভাবে পুনর্গঠন করে; TEDS 97.05।
সূত্র পার্সিং: সূত্রের অর্থ ও সিনট্যাক্স কাঠামোবদ্ধভাবে বিশ্লেষণ করে এবং প্রতীক-স্তরে নির্ভুল পুনরুদ্ধার সম্পন্ন করে; CDM 96.36।
বৈজ্ঞানিক চার্ট পার্সিং: চার্টের উপাদান শনাক্ত করে ও ডেটা আহরণ করে; গবেষণাপত্রের বার চার্টকে কাঠামোবদ্ধ টেবিলে রূপান্তর করতে পারে (ICDAR-2026 চ্যাম্পিয়ন সক্ষমতা)।
ক্যামেরায় তোলা ডকুমেন্ট প্রক্রিয়াকরণ: আলাদা ডিস্টরশন-সংশোধন মডেল ছাড়াই পার্সপেক্টিভ বিকৃতি, বাঁকানো পৃষ্ঠা, ছায়া ও অস্পষ্টতাসহ বাস্তব তোলা ডকুমেন্ট প্রক্রিয়া করে।
কাঠামোবদ্ধ আউটপুট: ফলাফল Markdown, JSON, টেবিল, সূত্র ইত্যাদি ফরম্যাটে তৈরি করা যায়, যা জ্ঞান অনুসন্ধান ও ব্যবসায়িক সিস্টেমে সংযুক্ত করা সহজ।

WeChat-এ ফলো করে “开源” লিখে উত্তর পাঠান এবং AI ওপেন-সোর্স প্রকল্পের交流群-এ যোগ দিন
ইউনিফায়েড ভিশন-ল্যাঙ্গুয়েজ আর্কিটেকচার: TeleOCR প্রায় 1.2B প্যারামিটারের হালকা ভিশন-ল্যাঙ্গুয়েজ মডেল ব্যবহার করে ডিজিটাল ডকুমেন্ট ও ক্যামেরায় তোলা ডকুমেন্টকে একই ফ্রেমওয়ার্কে এনে লেআউট ও কনটেন্ট পার্সিং সম্পন্ন করে। এটি প্রচলিত ”লেআউট শনাক্তকরণ→ইমেজ সংশোধন→শনাক্তকরণ” ধারাবাহিক পাইপলাইন প্রতিস্থাপন করে এবং ত্রুটি জমা হওয়া এড়ায়।
জ্যামিতি-সচেতন মডেলিং: অনিয়মিত পৃষ্ঠা-বিকৃতির জন্য জ্যামিতি-সচেতন মডেলিং ও বক্রতা-নির্দেশিত Douglas-Peucker স্যাম্পলিং প্রয়োগ করা হয়েছে। এটি ডকুমেন্টের সীমানা ও স্থানিক কাঠামো স্পষ্টভাবে শেখে, ফলে মডেল সরাসরি বাঁকানো, ভাঁজ করা ও পার্সপেক্টিভ-বিকৃত পৃষ্ঠা প্রক্রিয়া করতে পারে।
ডেটা ইঞ্জিনিয়ারিংয়ের ক্লোজড লুপ: ডেটা ব্যবস্থা তৈরি, পরিষ্কার, মূল্যায়ন ও অপ্টিমাইজেশনকে অন্তর্ভুক্ত করে। একাধিক নোডের সম্মিলিত ভোটে উচ্চ-আস্থার ছদ্ম-লেবেল বাছাই করা হয়; জ্যামিতি-সচেতন ডেটা সংশ্লেষণে ঘূর্ণন, বিকৃতি ও বাঁকানোর নমুনা তৈরি করা হয়; ইমেজ-টু-ইমেজ স্ব-যাচাইয়ের মাধ্যমে পার্স করা ফলাফল পুনরায় রেন্ডার করে তুলনা করা হয়, যাতে স্বয়ংক্রিয়ভাবে ত্রুটি সংশোধন করা যায়; প্রগতিশীল পরিষ্কারের মাধ্যমে উচ্চ-সামঞ্জস্যপূর্ণ নমুনা প্রশিক্ষণ সেটে এবং উচ্চ-বৈসাদৃশ্যপূর্ণ নমুনা কঠিন উদাহরণ অপ্টিমাইজেশনে পাঠানো হয়, ফলে ভোট-বাছাই থেকে মডেলের স্ব-প্রশিক্ষণ পর্যন্ত একটি ক্লোজড লুপ তৈরি হয়।
প্রগতিশীল চার-ধাপের প্রশিক্ষণ: প্রশিক্ষণ ”ভিশন-ল্যাঙ্গুয়েজ অ্যালাইনমেন্ট→জ্যামিতি-সচেতন ডকুমেন্ট পার্সিং→কনটেন্ট-স্ট্রাকচার ডিকাপলড লার্নিং→রিইনফোর্সমেন্ট লার্নিং” ধাপে এগিয়ে যায়, যার লক্ষ্য মৌলিক উপলব্ধি থেকে সূক্ষ্ম বোঝাপড়ায় পৌঁছানো। টেবিল টাস্কে সারি-কলামের কাঠামো বোঝার জন্য Structure-only এবং পরে যৌথ অ্যালাইনমেন্টের জন্য Structure+Content ব্যবহার করা হয়; সূত্রের ক্ষেত্রেও অর্থ ও সিনট্যাক্স ডিকাপলড লার্নিংয়ের মাধ্যমে সংগঠিত করা হয়।

পরিবেশ প্রস্তুতি: Python 3.10+ ইনস্টল করুন এবং CUDA সমর্থিত GPU পরিবেশ নিশ্চিত করুন।
কোড সংগ্রহ: git clone https://github.com/caipeng328/TeleOCR.git চালিয়ে ডিরেক্টরিতে প্রবেশ করুন।
পরিবেশ তৈরি: conda দিয়ে teleocr নামের ভার্চুয়াল পরিবেশ তৈরি ও সক্রিয় করুন।
নির্ভরতা ইনস্টল: প্রকল্পের নির্ভরতা ইনস্টল করতে pip install -e . চালান।
মডেল ডাউনলোড: pip install modelscope চালানোর পর modelscope কমান্ড ব্যবহার করে ওজনগুলো স্থানীয় ./models/TeleOCR ডিরেক্টরিতে ডাউনলোড করুন।
ডিরেক্টরি প্রস্তুত: ইনপুট ছবির ডিরেক্টরি IMAGE_SUB_PATH এবং ফলাফল সংরক্ষণের ডিরেক্টরি RESULT_SAVE_PATH সেট করুন।
ইনফারেন্স চালানো: ছবির পথ, ফলাফলের পথ, --use_async, --override, মডেলের পথ ও ব্যাকএন্ড প্যারামিটার দিয়ে python infer.py চালান।
ব্যাকএন্ড নির্বাচন: সাধারণ ব্যবহারে vllm-engine এবং উচ্চ-সমান্তরাল ব্যাচ প্রক্রিয়াকরণে vllm-async-engine নির্বাচন করুন।
লেআউট মোড সেট করা: ডিজিটাল ডকুমেন্টে LAYOUT_MODE="Detection" এবং বাঁকানো/বিকৃত তোলা পৃষ্ঠায় "Segmentation" ব্যবহার করুন।
প্যারামিটার টিউনিং: প্রয়োজন অনুযায়ী MAX_MODEL_LEN (কনটেক্সট দৈর্ঘ্য), GPU_MEMORY_UTILIZATION (GPU মেমরি ব্যবহার), PDF_TOOLS (PDF ব্যাকএন্ড) এবং MAX_PIXELS (প্রতি পৃষ্ঠার সর্বাধিক পিক্সেল সংখ্যা) সামঞ্জস্য করুন।
ফলাফল সংগ্রহ: আউটপুট ডিরেক্টরি থেকে পার্স করা Markdown/JSON/টেবিল ইত্যাদি কাঠামোবদ্ধ ফলাফল পড়ে ডাউনস্ট্রিম সিস্টেমে সংযুক্ত করুন।

বেঞ্চমার্কে শীর্ষস্থানীয় ফলাফল: OmniDocBench v1.6-এ মোট স্কোর 96.87 নিয়ে প্রথম, MinerU2.5-Pro, PaddleOCR-VL-1.6, OvisOCR2-সহ অন্যান্য পেশাদার মডেলকে ছাড়িয়ে গেছে।
হালকা প্যারামিটার: প্রায় 1.2B প্যারামিটার, যা স্থানীয় ডিপ্লয়মেন্টের বাধা কমায় এবং প্রাইভেট ডিপ্লয়মেন্টের জন্য উপযোগী।
ইউনিফায়েড ফ্রেমওয়ার্ক: ডিজিটাল ডকুমেন্ট ও ক্যামেরায় তোলা ডকুমেন্ট একই মডেলে পার্স হয়; বিভিন্ন উৎসের ডকুমেন্টের জন্য একাধিক সিস্টেম ডিপ্লয় করতে হয় না।
প্রি-প্রসেসিং ডিস্টরশন সংশোধন ছাড়াই: জ্যামিতি-সচেতন মডেলিং সরাসরি বাঁকানো, ভাঁজ করা ও পার্সপেক্টিভ-বিকৃত পৃষ্ঠা প্রক্রিয়া করতে পারে, ফলে আলাদা সংশোধন মডিউলের ত্রুটি জমা কমে।
কাঠামোবদ্ধ আউটপুট: সরাসরি Markdown, JSON, টেবিল, সূত্র ইত্যাদি গণনাযোগ্য ফলাফল দেয়, যা জ্ঞান অনুসন্ধান ও ব্যবসায়িক অটোমেশনে সংযুক্ত করা সহজ।
জটিল টেবিলে শক্তিশালী: সারি ও কলামজুড়ে বিস্তৃত এবং একীভূত সেলসহ জটিল টেবিলের সারি-কলামের সম্পর্ক অক্ষুণ্ণ থাকে এবং অবস্থান বদলে যায় না; TEDS 97.05।
বৈজ্ঞানিক চার্ট পার্সিংয়ে চ্যাম্পিয়ন: চার্টের উপাদান শনাক্ত ও ডেটা আহরণ করতে পারে এবং ICDAR-2026 বৈজ্ঞানিক চার্ট পার্সিং চ্যালেঞ্জে চ্যাম্পিয়ন হয়েছে।
দক্ষ ডেটা ক্লোজড লুপ: একাধিক নোডের সম্মিলিত ভোট ও স্ব-যাচাই ব্যবস্থা কোটি-স্তরের প্রশিক্ষণ ডেটা পুল তৈরি করে, যার অধিকাংশ জেনারেট করা ডেটায় মানব লেবেলিং প্রয়োজন হয় না।

GitHub রিপোজিটরি: https://github.com/caipeng328/TeleOCR
HuggingFace মডেল রিপোজিটরি: https://www.modelscope.cn/models/XingChen-AGI/TeleOCR
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2608.12898

চুক্তি ও আর্কাইভ ডিজিটাইজেশন: চুক্তি ও আর্কাইভের সারি-কলামজুড়ে বিস্তৃত টেবিল এবং লেআউট কাঠামো পার্স করে অনুসন্ধানযোগ্য কাঠামোবদ্ধ ডেটায় রূপান্তর করা।
গবেষণাপত্র পার্সিং: গবেষণাপত্রের সূত্র, টেবিল ও বার চার্টের ডেটা আহরণ করে সাহিত্য বিশ্লেষণ ও জ্ঞানভান্ডার তৈরিতে সহায়তা করা।
আর্থিক নথি প্রক্রিয়াকরণ: চালান, ফর্ম ইত্যাদি ক্যামেরায় তোলা নথি শনাক্ত করা; পার্সপেক্টিভ বিকৃতি ও অস্পষ্টতা সহ্য করে ব্যবসায়িক সিস্টেমে স্বয়ংক্রিয়ভাবে তথ্য প্রবেশ করানো।
শিক্ষামূলক প্রশ্নপত্র প্রবেশ: পরীক্ষার কাগজের মুদ্রিত সূত্র ও টেবিলভিত্তিক প্রশ্নকে সম্পাদনাযোগ্য ফরম্যাটে রূপান্তর করে প্রশ্নব্যাংক তৈরি ও বুদ্ধিমান মূল্যায়নে সহায়তা করা।
প্রতিষ্ঠানের রিপোর্ট অটোমেশন: স্ক্যান করা রিপোর্ট ও ব্যবসায়িক ফর্ম ব্যাচ আকারে কাঠামোবদ্ধ টেবিলে রূপান্তর করে ডেটা বিশ্লেষণ ও RPA প্রক্রিয়ায় সংযুক্ত করা।