GEOInflow স্থাপন করে AI ক্রলার, রেফারেল ও কনটেন্ট কভারেজ বিশ্লেষণ করুন

GEOInflow কী করে

GEOInflow হলো Generative Engine Optimization বা GEO-এর জন্য একটি স্ব-হোস্টেড অ্যানালিটিক্স প্ল্যাটফর্ম। এটি একটি অভিন্ন ওয়েবসাইট প্রসঙ্গের মধ্যে ব্রাউজার কার্যকলাপ, AI সার্চ রেফারাল, সার্ভার বা CDN ক্রল লগ এবং কনটেন্ট ইনভেন্টরি একত্র করে।

প্ল্যাটফর্মটি ব্যবহারিক প্রশ্নের উত্তর দিতে সহায়তা করে: কোন AI ক্রলার আপনার সাইটে আসে? তারা কোন পাথের অনুরোধ করে? অনুরোধগুলো কি সফল হচ্ছে? কোন গুরুত্বপূর্ণ পৃষ্ঠায় পর্যবেক্ষিত ক্রল কার্যকলাপ নেই? সমর্থিত AI সার্চ রেফারালের মাধ্যমে কত ভিজিটর ট্রাফিক এবং কত কনভার্সন আসে?

GEOInflow কোম্পানির ওয়েবসাইট, মিডিয়া প্রকাশক, কনটেন্ট সাইট, ডেভেলপার ডকুমেন্টেশন এবং একাধিক ওয়েবসাইট পরিচালনাকারী দলের জন্য উপযুক্ত। অ্যাপ্লিকেশনের সোর্স কোড MIT লাইসেন্সের অধীনে প্রকাশিত। README-তে পণ্যের সংস্করণ v1.2 এবং বিল্ড সংস্করণ 1.2.0 উল্লেখ করা হয়েছে।

ক্রল লগ পর্যবেক্ষিত অ্যাক্সেসের প্রমাণ দেয়। তবে এগুলো একাই ইনডেক্সিং, মডেল প্রশিক্ষণ, উত্তরে উদ্ধৃতি, সুপারিশের র‍্যাঙ্কিং বা গ্রাহক অর্জন প্রমাণ করে না।

প্রধান সক্ষমতা

AI ক্রলারের পরিচয় ও উদ্দেশ্য

অন্তর্নির্মিত ক্যাটালগে OpenAI, Anthropic, Perplexity, Google, Microsoft, ByteDance, Baidu, Kimi এবং Tencent Hunyuan-সহ বিভিন্ন প্রদানকারী রয়েছে। এতে প্রচলিত সার্চ ক্রলার এবং অন্যান্য বটের পর্যবেক্ষণও সংরক্ষিত থাকে।

প্ল্যাটফর্ম, পণ্য, অনুরোধের পরিচয়, উদ্দেশ্য এবং পণ্যের ধরন আলাদাভাবে উপস্থাপিত হয়। ফলে সিস্টেমটি প্রশিক্ষণ, AI সার্চ, ব্যবহারকারী-নির্দেশিত অ্যাক্সেস, AI ওয়ার্কবেঞ্চ এবং ব্যক্তিগত এজেন্টের মতো ধারণাগুলোকে পরস্পর-বর্জনশীল হিসেবে বিবেচনা না করেই আলাদা করতে পারে।

পরিচয়-সংক্রান্ত প্রমাণও আলাদাভাবে সংরক্ষিত হয়। ঘোষিত User-Agent-এর সঙ্গে অফিসিয়াল IP রেঞ্জ এবং উপলভ্য DNS বা বিশ্বস্ত এজ-সংক্রান্ত প্রমাণের তুলনা করা যায়। শুধু User-Agent-এর দাবি নিশ্চিতকরণ হিসেবে বিবেচিত হয় না, এবং পর্যাপ্ত প্রমাণহীন ঐতিহাসিক রেকর্ডগুলো অজানা হিসেবে চিহ্নিত থাকে।

ক্রল কার্যকলাপ ও কনটেন্ট কভারেজ

আপনি অনুরোধ করা পৃষ্ঠার র‍্যাঙ্কিং, পুনরাবৃত্ত অনুরোধ, পর্যবেক্ষিত পৃষ্ঠা, ডিরেক্টরি বণ্টন, শীর্ষ ক্রলার, সাম্প্রতিক কার্যকলাপ এবং কনটেন্টের সতেজতা পর্যালোচনা করতে পারেন। সাইটম্যাপ, CSV বা JSON ইনভেন্টরি আমদানি করলে পর্যবেক্ষিত ক্রল লগের সঙ্গে তুলনার জন্য পরিচিত পৃষ্ঠাগুলোর একটি সেট পাওয়া যায়।

এই তুলনা পর্যবেক্ষিত অ্যাক্সেস থাকা পৃষ্ঠার পাশাপাশি সম্ভাব্য AI ব্লাইন্ড স্পটও প্রকাশ করে। সমষ্টিকরণ ও পেজিনেশনের আগে পরিচয়, উদ্দেশ্য এবং পণ্যের ধরন অনুযায়ী ফিল্টার প্রয়োগ করা হয়, তাই কার্ড, টেবিল, তুলনা এবং এক্সপোর্টে একই শর্ত বজায় থাকে।

অনুরোধের ডায়াগনস্টিক ও অ্যাক্সেস নীতি

GEOInflow HTTP রেসপন্স, GET ও HEAD-এর মতো মেথড, ক্যাশের আচরণ, লেটেন্সি, রেসপন্সের আকার, সংগ্রহের ধারাবাহিকতা এবং ঝুঁকির ফলাফলকে পৃথক প্রমাণ হিসেবে উপস্থাপন করে। দলগুলো হ্যান্ডলিং স্টেট ও নোট যোগ করতে, তদন্ত স্থগিত রাখতে এবং পরে তা আবার চালু করতে পারে।

প্ল্যাটফর্মটি robots এবং Nginx অ্যাক্সেস কনফিগারেশন এক্সপোর্ট করতে পারে। সমর্থিত Cloudflare নিয়ন্ত্রণের জন্য আলাদা Zone ক্রেডেনশিয়াল, একটি প্রিভিউ, স্পষ্ট নিশ্চিতকরণ, ব্যাকগ্রাউন্ড এক্সিকিউশন এবং ফলস্বরূপ রিমোট স্টেট যাচাই প্রয়োজন। উপলভ্য নিয়ন্ত্রণ নির্ভর করে ডিপ্লয় করা পরিবেশ, প্রদানকারীর প্ল্যান এবং অনুমোদিত পারমিশনের ওপর।

ওয়েবসাইট ও কনভার্সন অ্যানালিটিক্স

• পেজভিউ, ভিজিটর, ভিজিট, রেফারাল, ভৌগোলিক তথ্য, ডিভাইস, ব্রাউজার এবং কনটেন্টের পারফরম্যান্স
• কাস্টম ইভেন্ট, লক্ষ্য, ফানেল, ভিজিটর পাথ, অ্যাট্রিবিউশন এবং রাজস্ব বিশ্লেষণ
• সার্চ ইঞ্জিন, রেফারাল কীওয়ার্ড, UTM বিশ্লেষণ, পারফরম্যান্স, হিটম্যাপ, রিটেনশন এবং অডিয়েন্স
• ওয়েবসাইট, দল, ওয়ার্কস্পেস, ড্যাশবোর্ড, পারমিশন এবং পাবলিক-শেয়ারিং টুল
• নির্বাচিত পরিসরের জন্য CSV, JSON এবং ZIP এক্সপোর্ট
• ওয়েবসাইটের তথ্যভিত্তিক ঐচ্ছিক AI সহায়তা, যা ডিফল্টভাবে বন্ধ থাকে

ব্রাউজার ট্র্যাকিং সমর্থিত AI সার্চ রেফারাল শনাক্ত করে এবং সেগুলোকে ল্যান্ডিং পৃষ্ঠা, ইভেন্ট, লক্ষ্য ও কনভার্সনের সঙ্গে যুক্ত করে। ক্রলার অনুরোধ, রেফারাল সেশন এবং কনভার্সন পৃথক পরিমাপ হিসেবে থাকে, এবং বিভিন্ন উৎসের তুলনার নিজস্ব সীমাবদ্ধতা বজায় থাকে।

ডেটা প্রবাহ বুঝুন

GEOInflow প্রধানত তিন ধরনের ইনপুট গ্রহণ করে:

1. ব্রাউজার ট্র্যাকিং: পেজভিউ, ইভেন্ট এবং সক্রিয় করা যেকোনো অতিরিক্ত ব্রাউজার ডেটা সংগ্রহ করে।
2. সার্ভার বা CDN লগ: ব্রাউজার স্ক্রিপ্ট চালায় না এমন ক্রলার অনুরোধ সংগ্রহ করে।
3. কনটেন্ট ইনভেন্টরি: কভারেজ মূল্যায়নের জন্য যে পৃষ্ঠাগুলো পরীক্ষা করা উচিত, তা নির্ধারণে সাইটম্যাপ, CSV বা JSON রেকর্ড আমদানি করে।

অ্যাপ্লিকেশন এবং ইনজেশন API PostgreSQL-এ ডেটা লেখে। লগ ও অ্যানালিটিক্স ওয়ার্কাররা রেকর্ড প্রক্রিয়া করে, আর Redis ক্যাশ করা রিপোর্টিংয়ে সহায়তা করে। এরপর রিপোর্ট ও প্রকাশিত ফলাফল GEO, ভিজিটর এবং কনটেন্ট অ্যানালিটিক্সের পাশাপাশি পারমিশন-নিয়ন্ত্রিত শেয়ারিং ও এক্সপোর্ট পরিচালনা করে।

প্রতিটি উৎস স্বাধীনভাবে সংযুক্ত করা যায়। কোনো উৎস অনুপস্থিত থাকলে সংশ্লিষ্ট বিশ্লেষণে সেই সীমাবদ্ধতা দেখানো উচিত; অনুপস্থিত ইনপুটকে নীরবে নেতিবাচক ফলাফল হিসেবে বিবেচনা করা উচিত নয়।

দ্রুত ডিপ্লয়মেন্টের পূর্বশর্ত

শুরু করার আগে Docker Compose V2-সহ Docker Engine অথবা Docker Desktop ইনস্টল ও চালু করুন। বিল্ডের সময় প্রয়োজনীয় ইমেজ ও নির্ভরতা ডাউনলোডের উৎসে মেশিনটি পৌঁছাতে পারে কি না নিশ্চিত করুন।

GEOInflow-এর সোর্স কোড সংগ্রহ করুন, একটি টার্মিনাল খুলুন এবং রিপোজিটরির রুটে যান। প্রোডাকশন ইনস্টলেশনের জন্য অতিরিক্তভাবে একটি ডোমেইন, HTTPS এবং একটি বিশ্বস্ত রিভার্স প্রক্সি প্রয়োজন।

Docker দিয়ে GEOInflow ডিপ্লয় করুন

ডিপ্লয়মেন্ট স্ক্রিপ্ট চালান

প্রজেক্টের রুট থেকে চালান:

sh scripts/liekan-deploy.sh

স্ক্রিপ্টটি একটি ব্যক্তিগত .env ফাইল ও র‍্যান্ডম সিক্রেট তৈরি করে, অ্যাপ্লিকেশন ইমেজ বিল্ড করে, মাইগ্রেশন প্রয়োগ করে এবং নিচের কম্পোনেন্টগুলো চালু করে:

• GEOInflow অ্যাপ্লিকেশন
• লগ ওয়ার্কার
• অ্যানালিটিক্স ওয়ার্কার
• PostgreSQL
• Redis

অ্যাপ্লিকেশন খুলুন

ডিফল্ট স্থানীয় ঠিকানা:

http://127.0.0.1:3002

নতুন ইনস্টলেশনের জন্য প্রাথমিক ক্রেডেনশিয়াল দিয়ে সাইন ইন করুন:

• ব্যবহারকারীর নাম: admin
• পাসওয়ার্ড: liekan

সাইন ইন করার পর অবিলম্বে প্রাথমিক পাসওয়ার্ড পরিবর্তন করুন। পরবর্তী আপগ্রেডগুলো কাস্টমাইজ করা অ্যাকাউন্ট ও পাসওয়ার্ড সংরক্ষণ করবে।

অন্তর্ভুক্ত উদাহরণ লোড করুন

লাইভ ওয়েবসাইট সংযুক্ত করার আগে ইন্টারফেসটি পরীক্ষা করতে অন্তর্ভুক্ত প্রক্রিয়াকৃত ডেটাসেটটি সিড করুন:

docker compose -f docker-compose.liekan.yml exec app node scripts/liekan-seed-demo.mjs

উদাহরণ ওয়েবসাইটটির নাম 猎看官网（示例数据）। প্রথমবার ইমপোর্টের সময় ডেটাসেটটি সহজে পর্যালোচনার জন্য টাইমস্ট্যাম্পগুলো পরিবর্তন করা হয়। পুনরায় চালালে বিদ্যমান ডেটা ও মুছে ফেলার অবস্থা সংরক্ষিত থাকে।

আপনার প্রথম ওয়েবসাইট সংযুক্ত করুন

অ্যাডমিনিস্ট্রেটর অ্যাকাউন্ট সুরক্ষিত করার পর GEOInflow-এ একটি ওয়েবসাইট তৈরি করুন এবং আপনার ডিপ্লয়মেন্টের জন্য উপযুক্ত ডেটা উৎসগুলো সংযুক্ত করুন। নির্দিষ্ট ইনজেশন কর্মপ্রবাহের জন্য প্রকল্পের দ্রুত-শুরুর নির্দেশিকা দেখুন।

ধাপ ১: ব্রাউজার ট্র্যাকিং যোগ করুন

পেজভিউ, ইভেন্ট এবং সক্রিয় বর্ধিত পরিমাপ সংগ্রহ করতে ব্রাউজার ট্র্যাকিং স্ক্রিপ্ট ইনস্টল করুন। ডিফল্টভাবে ট্র্যাকিং কুকিবিহীন। রেকর্ডিং, ইভেন্টের বৈশিষ্ট্য এবং ব্যবসায়িক ইন্টিগ্রেশন অপারেটর নির্ধারিত ডেটা-পরিধির ওপর নির্ভর করে।

বিশ্বস্ত IP ইনগ্রেস ছাড়াই ব্রাউজার পেজভিউ সংগ্রহ চালু থাকতে পারে। তবে ইউনিক ভিজিটরের মতো পরিচয়-সংবেদনশীল মেট্রিকের জন্য নির্ভরযোগ্য ইনগ্রেস প্রমাণ প্রয়োজন, তাই প্রোডাকশনে রিভার্স প্রক্সি সতর্কতার সঙ্গে কনফিগার করুন।

ধাপ ২: সার্ভার বা CDN লগ সংযুক্ত করুন

শুধু সার্ভার থেকে ডকুমেন্টের অনুরোধ করা বটগুলো ব্রাউজার স্ক্রিপ্ট শনাক্ত করতে পারে না। ক্রলার অ্যাক্সেস, অনুরোধের পথ, রেসপন্স কোড, মেথড, লেটেন্সি, ক্যাশিং এবং ত্রুটি পরিমাপ করতে সার্ভার বা CDN লগ যোগ করুন।

স্বয়ংক্রিয় সার্ভার সংগ্রহের জন্য পাবলিক HTTPS, একটি ইনজেশন সিক্রেট এবং স্বাক্ষরিত ইনস্টলেশন অ্যাসেট প্রয়োজন। Cloudflare ইন্টিগ্রেশন ব্যবহার করলে OAuth, উপযুক্ত অনুমতি এবং অনুরোধ করা সক্ষমতাগুলোর জন্য প্রদানকারীর সমর্থনও প্রয়োজন।

ধাপ ৩: কনটেন্ট ইনভেন্টরি ইমপোর্ট করুন

ক্রলাররা যে পেজগুলো আবিষ্কার করবে বলে আপনি প্রত্যাশা করেন, সেগুলোসহ একটি সাইটম্যাপ, CSV ফাইল বা JSON ইনভেন্টরি ইমপোর্ট করুন। GEOInflow এই পরিচিত ইনভেন্টরির সঙ্গে পর্যবেক্ষিত লগ রেকর্ড তুলনা করে ক্রল কভারেজ গণনা এবং পর্যবেক্ষিত কার্যকলাপবিহীন পেজ শনাক্ত করতে পারে।

কোনো অনাবৃত পেজকে বর্জনের প্রমাণ হিসেবে নয়, বরং তদন্তের সূত্র হিসেবে বিবেচনা করুন। প্রবেশপথ, অভ্যন্তরীণ লিংক, robots নির্দেশনা, HTTP রেসপন্স এবং লগ সংগ্রহ প্রাসঙ্গিক সময়কাল কভার করেছে কি না পরীক্ষা করুন।

মৌলিক বিশ্লেষণ কর্মপ্রবাহ

কোন AI প্ল্যাটফর্মগুলো সাইটে আসে তা খুঁজুন

1. ওয়েবসাইট ও তারিখের পরিসর নির্বাচন করুন।
2. ক্রলার অ্যানালিটিক্স এলাকাটি খুলুন।
3. ক্রলারের পরিচয়, প্রদানকারী, উদ্দেশ্য, অনুরোধের পরিমাণ, যাচাইকরণ অবস্থা এবং প্রবণতা পর্যালোচনা করুন।
4. ডেটাসেট সংকুচিত করতে পরিচয়, উদ্দেশ্য এবং পণ্য-ধরনের ফিল্টার ব্যবহার করুন।
5. শুধু User-Agent-এর ওপর নির্ভর না করে প্রতিটি পরিচয়ের সমর্থনকারী প্রমাণ পরীক্ষা করুন।

উপলব্ধ ক্যাটালগ ও প্রমাণ যেখানে এই শ্রেণিবিন্যাস সমর্থন করে, সেখানে এই কর্মপ্রবাহ প্রশিক্ষণ ক্রলার, AI সার্চ অনুরোধ এবং ব্যবহারকারী-ট্রিগার করা অ্যাক্সেসের পার্থক্য নির্ণয়ে সহায়তা করে।

বেশি ক্রল করা এবং সম্ভাব্য অবৈধ পথ শনাক্ত করুন

1. অনুরোধ করা পেজের র‌্যাঙ্কিং ও পুনরাবৃত্ত অনুরোধ পর্যালোচনা করুন।
2. ডিরেক্টরি ও ক্রলার অনুযায়ী কার্যকলাপ তুলনা করুন।
3. সাম্প্রতিক কার্যকলাপ ও কনটেন্টের تازাতা পরীক্ষা করুন।
4. ত্রুটিপূর্ণ, অপ্রচলিত বা অপ্রত্যাশিতভাবে ঘন ঘন ব্যবহৃত URL খুঁজুন।
5. তাদের HTTP স্ট্যাটাস, ক্যাশ আচরণ, লেটেন্সি এবং রেসপন্সের আকার পরীক্ষা করুন।

পুনরাবৃত্ত অনুরোধ গুরুত্বপূর্ণ কনটেন্ট, অদক্ষ ক্রলার আচরণ, রিডাইরেক্ট, অনুপস্থিত পেজ বা কাঠামোগত সমস্যা প্রকাশ করতে পারে। প্রতিটি প্যাটার্ন রেসপন্সের প্রমাণের সঙ্গে মিলিয়ে ব্যাখ্যা করুন।

কনটেন্ট কভারেজ পরিমাপ করুন

1. বর্তমান কনটেন্ট ইনভেন্টরি ইমপোর্ট করুন।
2. একই ওয়েবসাইট, তারিখের পরিসর এবং ক্রলার ফিল্টার নির্বাচন করুন।
3. ইনভেন্টরির পেজগুলোর সঙ্গে লগে পর্যবেক্ষিত পথ তুলনা করুন।
4. যেসব পেজে কোনো পর্যবেক্ষিত অ্যাক্সেস নেই সেগুলো পর্যালোচনা করুন।
5. ডিসকভারেবিলিটি, নীতি, রেসপন্স এবং উৎসের ধারাবাহিকতা তদন্ত করুন।

কার্ড, টেবিল, তুলনা এবং এক্সপোর্টে নির্বাচিত ফিল্টার শর্তগুলো অভিন্ন থাকে। অনুমানভিত্তিক পথ পর্যবেক্ষণ ও আনুমানিক ফলাফলে তাদের লেবেল বজায় থাকে, যা ব্যবহারকারীদের গণনাকৃত সিদ্ধান্ত ও সরাসরি প্রমাণের পার্থক্য বুঝতে সহায়তা করে।

AI রেফারাল ফলাফল বিশ্লেষণ করুন

1. ওয়েবসাইটের জন্য ব্রাউজার ট্র্যাকিং সক্রিয় করুন।
2. স্বীকৃত AI রেফারাল সেশন ও ল্যান্ডিং পেজ পর্যালোচনা করুন।
3. প্রাসঙ্গিক ইভেন্ট, লক্ষ্য বা কনভার্সন নির্ধারণ করুন।
4. রেফারাল ট্রাফিকের সঙ্গে পরবর্তী ফলাফল তুলনা করুন।
5. ফলাফল রিপোর্ট করার সময় ক্রলার অনুরোধ ও রেফারাল সেশন আলাদা রাখুন।

কোনো ক্রলার অনুরোধ থেকে প্রমাণ হয় না যে একটি পেজ AI উত্তরে প্রদর্শিত হয়েছে। একইভাবে, কোনো AI রেফারাল সেশন থেকেও প্রমাণ হয় না যে কোনো মডেল কীভাবে পেজটি নির্বাচন বা উদ্ধৃত করেছে। ড্যাশবোর্ড ও এক্সপোর্ট করা রিপোর্টে এই পার্থক্যগুলো বজায় রাখুন।

তারিখের পরিসর, টাইমজোন এবং রিফ্রেশ আচরণ

প্রধান তারিখের পরিসর হলো Today, 7 days এবং 30 days। ডিফল্ট অ্যানালিটিক্স টাইমজোন হলো Asia/Shanghai। প্রথম সম্পূর্ণ সাইন-ইনের সময় অ্যাপ্লিকেশন দেশ ও শহরের টাইমজোন নিশ্চিত করে। পরবর্তী অনুরোধগুলো আজকের দিন নির্ধারণে অ্যাকাউন্টে সংরক্ষিত টাইমজোন ব্যবহার করে।

রিয়েলটাইম ভিজিটররা সর্বশেষ 30 মিনিট কভার করে। রিটেনশন বিশ্লেষণে ক্যালেন্ডার মাস ব্যবহার করা হয়। প্রধান Today ড্যাশবোর্ড প্রতি 30 সেকেন্ডে প্রকাশিত ফলাফল পড়ে এবং প্রকৃত ডেটা কাটঅফ প্রদর্শন করে। পেজটি আড়ালে থাকলে বা অফলাইনে থাকলে রিফ্রেশ থেমে যায়, আর রিয়েলটাইম ও ভারী বিশ্লেষণ নিজস্ব আপডেট সময়সূচি ব্যবহার করে।

উন্নত পরিচালনা টিপস

অ্যানালিটিক্স ত্বরান্বিতকরণ পরীক্ষা করুন

পুনরাবৃত্ত গণনা কমাতে GEOInflow প্রি-অ্যাগ্রিগেশন, নির্ভুল ভিজিট তথ্য, টেকসই ফলাফল এবং একাধিক পারসিস্টেন্স স্তর ব্যবহার করে। সাধারণ পরিসরগুলো আগে থেকেই উষ্ণ করা যায়, আর ব্যাকগ্রাউন্ড আপডেট চলার সময়ও প্রকাশিত ফলাফল উপলব্ধ থাকে।

ডিপ্লয়মেন্টের পর কাজ ও কভারেজ পরিদর্শন করতে Analytics Acceleration পৃষ্ঠা ব্যবহার করুন। প্রাথমিক গণনা, ক্যাশ হিট এবং ব্যাকগ্রাউন্ড আপডেটের খরচ আলাদা। প্রকৃত কর্মক্ষমতা ডেটার পরিমাণ, ইনভেন্টরি তৈরি, PostgreSQL-এর কর্মক্ষমতা এবং ক্যাশের অবস্থার ওপর নির্ভর করে।

ওয়ার্কারদের সুস্থ রাখুন

ইনজেশন প্রক্রিয়া এবং ফলাফল প্রকাশের জন্য লগ ও অ্যানালিটিক্স ওয়ার্কার অপরিহার্য। রিপোর্ট আপডেট হওয়া বন্ধ হলে, খালি ড্যাশবোর্ডকে কার্যকলাপের অনুপস্থিতি হিসেবে ব্যাখ্যা করার আগে ওয়ার্কারের অবস্থা, কিউ, সোর্সের ধারাবাহিকতা, ডেটাবেসের স্বাস্থ্য এবং Redis পরীক্ষা করুন।

ক্যাপাসিটি সুরক্ষা ব্যবস্থা পুরোনো উইন্ডো সরিয়ে দিতে পারে, এবং নিষ্ক্রিয় ব্যর্থ কাজ স্বয়ংক্রিয় পুনঃচেষ্টা থামিয়ে দিতে পারে। স্থায়ী ব্যাকগ্রাউন্ড কাজ ব্রাউজার সেশন খোলা রাখার প্রয়োজন ছাড়াই প্রাথমিক গণনা সম্পন্ন করতে দেয়।

সোর্স ও প্রমাণের সীমারেখা বজায় রাখুন

• User-Agent-এর দাবিকে যাচাইকৃত ক্রলার পরিচয় হিসেবে বিবেচনা করবেন না।
• সংগ্রহের কভারেজ সম্পূর্ণ না হলে, লগে কার্যকলাপ না থাকাকে কোনো ক্রলার কখনো কোনো পৃষ্ঠা অ্যাক্সেস করেনি—এর প্রমাণ হিসেবে বিবেচনা করবেন না।
• ক্রলার অ্যাক্সেসকে ইনডেক্সিং, প্রশিক্ষণ, উদ্ধৃতি, র‍্যাঙ্কিং বা অধিগ্রহণের সমতুল্য মনে করবেন না।
• অনুপস্থিত ইন্টিগ্রেশন, খালি ডেটাসেট, অজানা মান, অনুমান এবং অসমর্থিত সক্ষমতাকে পৃথক অবস্থা হিসেবে রাখুন।
• তারিখের পরিসর, সোর্স কভারেজ, ফিল্টার এবং নিয়মের সংস্করণ সামঞ্জস্যপূর্ণ হলেই কেবল ফলাফল তুলনা করুন।

সতর্কতার সঙ্গে অ্যাক্সেস নিয়ন্ত্রণ ব্যবহার করুন

প্রয়োগের আগে তৈরি করা robots, Nginx বা সমর্থিত Cloudflare পরিবর্তনের প্রিভিউ দেখুন। Cloudflare অপারেশনের জন্য স্পষ্ট অনুমোদন প্রয়োজন এবং এর পরে রিমোট অবস্থার রিড-ব্যাক করা উচিত। বাস্তবে ডিপ্লয় করা পরিবেশে প্রদানকারীর প্ল্যান ও অনুমতিগুলো যাচাই করুন।

প্রোডাকশন অবকাঠামোর পরিকল্পনা করুন

প্রোডাকশন অ্যাক্সেসের জন্য একটি ডোমেইন, HTTPS এবং বিশ্বস্ত রিভার্স প্রক্সি ব্যবহার করুন। PostgreSQL-এর ব্যাকআপ রাখুন এবং ব্যক্তিগত .env, ইনজেশন সিক্রেট, অ্যাকাউন্টের পরিচয়পত্র, প্রাইভেট কী এবং ব্যক্তিগতভাবে সরবরাহ করা যেকোনো ভৌগোলিক ডেটাবেস সুরক্ষিত রাখুন। প্রক্সি, ব্যাকআপ, সার্ভিস, কনফিগারেশন এবং আপগ্রেডের বিবরণের জন্য ডিপ্লয়মেন্ট গাইড দেখুন।

প্রয়োজন হলেই AI ফিচার সক্রিয় করুন

মূল ওয়েবসাইট অ্যানালিটিক্স ও ক্রলার শনাক্তকরণের জন্য কোনো মডেল API কী প্রয়োজন হয় না। AI বিশ্লেষণ ডিফল্টভাবে নিষ্ক্রিয় থাকে। এটি সক্রিয় করলে ব্যবহারকারীরা মডেল সংযোগ ও ওয়েবসাইটের উপকরণ নির্বাচন করেন, তাই নির্বাচিত মডেল প্রদানকারীর কাছে কোন ডেটা পাঠানো হচ্ছে তা পর্যালোচনা করুন।

GEO Weight সতর্কতার সঙ্গে ব্যাখ্যা করুন

GEO Weight একটি Beta সক্ষমতা, যা সাম্প্রতিক 30টি সম্পূর্ণ ক্যালেন্ডার দিনের যোগ্য AI কনটেন্ট অ্যাক্সেসের ওপর ভিত্তি করে তৈরি। এটিকে সার্বজনীন র‍্যাঙ্কিং স্কোর হিসেবে বিবেচনা না করে নথিভুক্ত সূত্র, প্রমাণ, প্রযোজ্য পরিসর এবং সীমাবদ্ধতা ব্যবহার করুন।

ডেভেলপমেন্ট সেটআপ

অবদানকারীদের Node.js 22.23.4, pnpm 12.3.4, PostgreSQL, একটি স্বতন্ত্র ডেভেলপমেন্ট ডেটাবেস এবং ব্যক্তিগত পরিবেশ কনফিগারেশন প্রয়োজন। নিচের ক্রমটি 3302 পোর্টে ওয়েব অ্যাপ্লিকেশন প্রস্তুত ও চালু করে:

pnpm install --frozen-lockfile
pnpm build:db
pnpm db:migrate
pnpm liekan:migrate
pnpm liekan:queue-bootstrap
pnpm build:openapi
pnpm build:packages
pnpm build:tracker
pnpm build:recorder
pnpm liekan:build-worker
pnpm dev --port 3302

CONTRIBUTING.md-তে বর্ণিত পদ্ধতি অনুযায়ী পৃথক টার্মিনালে লগ ও অ্যানালিটিক্স ওয়ার্কার চালু করুন। ডেভেলপমেন্ট ওয়ার্কার এবং ওয়েব অ্যাপ্লিকেশনকে একই ব্যক্তিগত পরিবেশ কনফিগারেশন ব্যবহার করতে হবে।

প্রোডাক্ট পৃষ্ঠাগুলো src/components/liekan-এ, ডেটা কনট্র্যাক্টগুলো src/lib/liekan/contracts-এ এবং আপস্ট্রিম কুয়েরি ও অনুমতি অ্যাডাপ্টারগুলো src/lib/liekan/upstream-এ রয়েছে। ইনক্রিমেন্টাল প্রজেক্ট মাইগ্রেশনের মাধ্যমে স্কিমা পরিবর্তন যোগ করুন এবং ইতিমধ্যে প্রয়োগ করা মাইগ্রেশন পরিবর্তন করবেন না।

উপসংহার

GEOInflow ক্রলার প্রমাণ, কনটেন্ট ইনভেন্টরি, ভিজিটর অ্যানালিটিক্স, AI রেফারেল এবং কনভার্সন একত্র করার একটি স্ব-হোস্টেড উপায় প্রদান করে। Docker ডিপ্লয়মেন্ট দিয়ে শুরু করুন, অ্যাডমিনিস্ট্রেটর অ্যাকাউন্ট সুরক্ষিত করুন, ব্রাউজার ও লগ সোর্স সংযুক্ত করুন এবং একটি নির্ভরযোগ্য ইনভেন্টরি ইমপোর্ট করুন। সবচেয়ে কার্যকর সিদ্ধান্ত আসে সামঞ্জস্যপূর্ণ ফিল্টার, সুস্থ ওয়ার্কার, সম্পূর্ণ সোর্স কভারেজ এবং পর্যবেক্ষিত অ্যাক্সেসকে অতিরিক্ত প্রমাণের প্রয়োজন এমন দাবিগুলো থেকে স্পষ্টভাবে পৃথক রাখার মাধ্যমে।