ওপেন-সোর্স text-Humanizer পাইপলাইন দিয়ে AI-উৎপাদিত লেখাকে মানবিক করুন

text-Humanizer কী?

text-Humanizer হলো MIT লাইসেন্সপ্রাপ্ত একটি বিনামূল্যের Python প্রকল্প, যা AI-নির্মিত লেখাকে আরও স্বাভাবিক বাক্যগঠন, বৈচিত্র্যময় ভাষাগত ধরণ এবং অধিক শৈলীগত বৈচিত্র্যপূর্ণ লেখায় রূপান্তর করে। এটি উৎস লেখার অর্থ অক্ষুণ্ণ রাখার জন্য তৈরি বহুভাষিক পুনর্লিখন ও অনুবাদ পাইপলাইন ব্যবহার করে।

প্রকল্পটি en, ja, zh, ko, de, fr এবং es ভাষা-কোড সমর্থন করে। এর README-তে আরও বলা হয়েছে যে পুনর্লিখিত কনটেন্ট অনেক AI ডিটেক্টর এড়িয়ে যেতে পারে। তবে শনাক্তকরণের ফলাফল নিশ্চিত নয়, তাই লেখকত্ব ভুলভাবে উপস্থাপন করা বা প্রকাশ-সংক্রান্ত শর্ত এড়ানোর পরিবর্তে টুলটি দায়িত্বশীলভাবে ব্যবহার করা উচিত।

প্রধান বৈশিষ্ট্য

• অর্থ সংরক্ষণ: মূল অর্থ অক্ষুণ্ণ রাখার চেষ্টা করে কনটেন্ট পুনর্লিখন করে।
• স্বাভাবিক বাক্যরীতি: ভিন্ন বাক্যগঠন, অভিব্যক্তি এবং তথ্যপ্রবাহ যুক্ত করে।
• বহুভাষিক প্রক্রিয়াকরণ: সমর্থিত একাধিক ভাষায় কনটেন্ট গ্রহণ ও তৈরি করে।
• শৈলীর নমনীয়তা: বিভিন্ন স্বর ও লেখার শৈলীর সঙ্গে পুনর্লিখন মানিয়ে নেওয়ার জন্য তৈরি।
• ঐচ্ছিক DeepL ধাপ: DeepL API key কনফিগার করা থাকলে আরেকটি অনুবাদ ইঞ্জিন যুক্ত করে।
• ওপেন-সোর্স ব্যবহার: MIT লাইসেন্সের অধীনে বিতরণ করা হয়।

পুনর্লিখন পাইপলাইন যেভাবে কাজ করে

একটি মাত্র প্যারাফ্রেজিং ধাপ প্রয়োগের পরিবর্তে, text-Humanizer কনটেন্টকে একাধিক ভাষা-মডেল ও অনুবাদ ধাপের মধ্য দিয়ে পরিচালনা করে।

1. DeepSeek পুনর্লিখন: DeepSeek পরিবর্তিত শব্দচয়ন, বাক্যগঠন ও তথ্যপ্রবাহসহ অর্থগতভাবে সমতুল্য একটি সংস্করণ তৈরি করে। কাঠামোগত বৈচিত্র্য আনার জন্য পাইপলাইনটি চীনা ভাষাকেও মধ্যবর্তী রূপ হিসেবে ব্যবহার করে।
2. তুর্কি ভাষায় অনুবাদ: Google Translate মধ্যবর্তী আউটপুটকে তুর্কি ভাষায় রূপান্তর করে, ফলে আন্তঃভাষিক বাক্যগঠনের বৈচিত্র্য যোগ হয়।
3. ঐচ্ছিক জাপানি অনুবাদ: DeepL API key থাকলে DeepL তুর্কি লেখাটিকে জাপানি ভাষায় অনুবাদ করে। এতে দ্বিতীয় একটি অনুবাদ ইঞ্জিন ও অতিরিক্ত ভাষাগত বৈচিত্র্য যুক্ত হয়।
4. চূড়ান্ত পুনর্গঠন: DeepSeek ফলাফলকে কনফিগার করা মূল ভাষায় অনুবাদ ও পুনর্গঠন করে, অনুবাদের কারণে তৈরি অসংগতি সরিয়ে পাঠযোগ্য বাক্যপ্রবাহ ফিরিয়ে আনে।

একাধিক রূপান্তর জড়িত থাকায় চূড়ান্ত লেখাটি সতর্কতার সঙ্গে পর্যালোচনা করুন। নাম, কারিগরি শব্দ, সংখ্যা, উদ্ধৃতি এবং সূক্ষ্ম পার্থক্য ম্যানুয়ালি যাচাই করার প্রয়োজন হতে পারে।

পূর্বশর্ত

প্রকল্পটি ইনস্টল করার আগে নিম্নলিখিত বিষয়গুলো প্রস্তুত করুন:

• Python 3.6 বা পরবর্তী সংস্করণ।
• রিপোজিটরি ক্লোন করার জন্য Git।
• একটি DeepSeek API key।
• অতিরিক্ত অনুবাদ ধাপ চালু করতে চাইলে একটি ঐচ্ছিক DeepL API key।

ইনস্টলেশন

1. রিপোজিটরি ক্লোন করুন

git clone https://github.com/SpaceDudem/text-humanizer.git
cd text-humanizer

2. Python নির্ভরতাগুলো ইনস্টল করুন

pip install -r requirements.txt

আপনার পরিবেশে Python 3-এর জন্য আলাদা কমান্ড ব্যবহৃত হলে সংশ্লিষ্ট প্যাকেজ ইনস্টলার ব্যবহার করুন, যেমন pip3।

3. কনফিগারেশন ফাইল তৈরি করুন

Windows-এ উদাহরণ কনফিগারেশন কপি করতে ব্যবহার করুন:

copy .\config\config.example.toml .\config.toml

Linux বা macOS-এ ব্যবহার করুন:

cp ./config/config.example.toml ./config.toml

এতে অ্যাপ্লিকেশন ব্যবহৃত root-level config.toml ফাইল তৈরি হবে।

text-Humanizer কনফিগার করুন

config.toml খুলে আপনার API প্রদানকারী ও লক্ষ্য ভাষার জন্য প্রয়োজনীয় অপশনগুলো নির্ধারণ করুন।

• target_language: ইনপুট ও আউটপুটে ব্যবহৃত ভাষা। প্রকল্পে তালিকাভুক্ত উপলভ্য কোডগুলো হলো en, ja, zh, ko, de, fr এবং es।
• deepseek_api_key: আপনার প্রয়োজনীয় DeepSeek API key।
• deepl_api_key: তুর্কি থেকে জাপানি অনুবাদ ধাপের জন্য ঐচ্ছিক DeepL API key।
• base_url: API base URL ওভাররাইড। প্রদানকারীর ডিফল্ট ব্যবহার করতে খালি রাখুন।
• model: পছন্দের model slug। প্রদানকারীর ডিফল্ট ব্যবহার করতে খালি রাখুন।
• temperature: LLM আউটপুটের বৈচিত্র্য নিয়ন্ত্রণ করে। প্রকল্পটি 1.3 ব্যবহারের পরামর্শ দেয়।

ধারণাগত কনফিগারেশনটি এমন হতে পারে:

target_language = "en"
deepseek_api_key = "YOUR_DEEPSEEK_API_KEY"
deepl_api_key = ""
base_url = ""
model = ""
temperature = 1.3

config.example.toml-এ ইতিমধ্যে থাকা সুনির্দিষ্ট ফরম্যাট ব্যবহার করুন। প্লেসহোল্ডার key-এর পরিবর্তে আপনার প্রকৃত credential বসান এবং config.toml কমিট করবেন না

humanizer চালান

রিপোজিটরি ডিরেক্টরি থেকে অ্যাপ্লিকেশনটি চালু করুন:

python main.py

প্রয়োজনে এর পরিবর্তে python3 main.py ব্যবহার করুন। চলমান অ্যাপ্লিকেশন যে ইন্টারফেস সরবরাহ করে, তার মাধ্যমে লেখা দিন এবং কনফিগার করা পাইপলাইনকে পুনর্লিখন ও অনুবাদের ধাপগুলো সম্পন্ন করতে দিন।

সাধারণ ব্যবহারের উদাহরণ

ইংরেজি ওয়ার্কফ্লোর জন্য target_language-এর মান en নির্ধারণ করুন, একটি বৈধ DeepSeek key দিন এবং main.py চালান। এরপর আপনি এমন একটি কাঠিন্যপূর্ণ বাক্য প্রক্রিয়া করতে পারেন:

The implementation of this system provides users with the ability to rewrite content in a more natural manner.

পাইপলাইনটি পরিবর্তিত শব্দচয়ন ও বাক্যপ্রবাহসহ অর্থগতভাবে অনুরূপ একটি সংস্করণ ফেরত দেবে। নির্দিষ্ট ফলাফল পূর্বনির্ধারিত নয় এবং নির্বাচিত মডেল, temperature, অনুবাদ ধাপ ও API আচরণের ওপর নির্ভর করে।

উন্নত কনফিগারেশন টিপস

ঐচ্ছিক DeepL ধাপ সক্রিয় করুন

Turkish-to-Japanese অনুবাদ ধাপটি অন্তর্ভুক্ত করতে deepl_api_key-এর জন্য একটি বৈধ মান যোগ করুন। DeepL ছাড়া পাইপলাইন ব্যবহার করতে চাইলে এটি খালি রাখুন। প্রতিনিধিত্বমূলক টেক্সটে উভয় মোড তুলনা করুন, কারণ অতিরিক্ত অনুবাদ ধাপ ভাষাগত বৈচিত্র্য বাড়াতে পারে এবং একই সঙ্গে যাচাই করার মতো আরও বিবরণ তৈরি করতে পারে।

আউটপুটের বৈচিত্র্য সামঞ্জস্য করুন

README-তে temperature-এর জন্য 1.3 ব্যবহারের পরামর্শ দেওয়া হয়েছে। এই সেটিংটি আরও বৈচিত্র্যময় শব্দচয়ন উৎসাহিত করার উদ্দেশ্যে তৈরি। temperature নিয়ে পরীক্ষা করার সময় একবারে একটি পরিবর্তন পরীক্ষা করুন এবং ফলাফলে নাম, তথ্য ও ডোমেইন-নির্দিষ্ট পরিভাষা এখনও সংরক্ষিত আছে কি না তুলনা করুন।

একটি মডেল বা কাস্টম এন্ডপয়েন্ট নির্বাচন করুন

নির্দিষ্ট কোনো provider-supported model slug প্রয়োজন হলে model সেট করুন। ডিফল্ট API এন্ডপয়েন্ট পরিবর্তন করতে হলে তবেই base_url সেট করুন। অন্যথায়, উভয় মান খালি রাখুন, যাতে provider-এর ডিফল্ট ব্যবহার করা হয়।

দীর্ঘ বা বিশেষায়িত কনটেন্ট সেকশনে পরীক্ষা করুন

প্রযুক্তিগত, আইনি, একাডেমিক বা ডেটা-নির্ভর উপাদানের ক্ষেত্রে ছোট ছোট সেকশন আলাদাভাবে পর্যালোচনা করুন। অর্থ সংরক্ষণই লক্ষ্য হলেও বহুধাপের পুনর্লিখন নির্ভুল পরিভাষা বা পারস্পরিক সম্পর্ককে প্রভাবিত করতে পারে। প্রকাশের আগে প্রতিটি চূড়ান্ত সেকশন তার উৎসের সঙ্গে তুলনা করুন।

কনফিগারেশন সংক্রান্ত সমস্যা সমাধান করুন

• নিশ্চিত করুন যে কমান্ডগুলো ক্লোন করা text-humanizer ডিরেক্টরি থেকেই চালানো হচ্ছে।
• প্রত্যাশিত root অবস্থানে config.toml আছে কি না পরীক্ষা করুন।
• deepseek_api_key-এ একটি বৈধ key আছে কি না যাচাই করুন।
• target_language-এ সমর্থিত ভাষা কোডগুলোর একটি ব্যবহার করা হয়েছে কি না নিশ্চিত করুন।
• ঐচ্ছিক ধাপটি ব্যর্থ হলে deepl_api_key পরীক্ষা করুন অথবা সাময়িকভাবে এটি খালি রাখুন।
• কাস্টম API সেটিংস ব্যবহার করলে base_url এবং model মান যাচাই করুন।

উপসংহার

text-Humanizer DeepSeek পুনর্লিখনের সঙ্গে আন্তঃভাষিক অনুবাদ মিলিয়ে মূল অর্থ সংরক্ষণের চেষ্টা করার পাশাপাশি আরও বৈচিত্র্যময় ও স্বাভাবিক শোনায় এমন টেক্সট তৈরি করে। নির্ভরতা ইনস্টল এবং API key কনফিগার করার পর python main.py দিয়ে workflow চালু করতে পারেন। এর আউটপুটকে খসড়া হিসেবে বিবেচনা করুন, গুরুত্বপূর্ণ বিবরণ যাচাই করুন এবং প্রযোজ্য authorship ও disclosure নিয়ম মেনে প্রকল্পটি ব্যবহার করুন।