Index-Translate آپریشن میں

Index-Translate، B站 کی Index LLM ٹیم کا اوپن سورس کثیر لسانی ترجمہ ماڈل خاندان ہے، جو Qwen3.5 پر مبنی اور Apache-2.0 لائسنس کے تحت جاری کیا گیا ہے۔ ٹیکسٹ ماڈل 150 زبانوں کا احاطہ کرتا ہے اور 2B/9B/35B-A3B کے تین سائز فراہم کرتا ہے، نیز اصطلاحات، فارمیٹ اور محفوظ مواد جیسی ترجمہ ہدایات کی حمایت کرتا ہے۔ Index-Translate خاندان میں Index-Echo صوتی ترجمہ، Index-Homura قابلِ کنٹرول ہجائی ترجمہ، اور Index-NativeLong طویل دستاویزات کا ترجمہ بھی شامل ہے۔

Index-Translate ٹیکسٹ ترجمہ: 150 زبانوں میں متن اور ساختی مواد کا ترجمہ، جس میں اصطلاحات کی یکسانیت، فارمیٹ برقرار رکھنا اور مخصوص شعبوں کا ترجمہ جیسی ہدایات بیک وقت انجام دی جا سکتی ہیں۔
Index-Echo صوتی ترجمہ: آواز سے آواز (S2ST ڈبنگ) اور آواز سے متن (S2TT سب ٹائٹلز) کی حمایت کرتا ہے، جبکہ ڈبنگ تیار کرتے وقت ماخذ آڈیو کی آواز کے لہجے کی خصوصیات کو مدنظر رکھتا ہے۔
Index-Homura قابلِ کنٹرول ہجائی ترجمہ: ہدف کے ہجوں کی تعداد بطور ان پٹ لیتا ہے، ترجمے کے الفاظ اور طوالت کو خودکار طور پر ایڈجسٹ کرتا ہے، اور ویڈیو ڈبنگ کے لیے موزوں دورانیے کا متن تیار کرتا ہے۔
Index-NativeLong طویل دستاویزات کا ترجمہ: مکمل متن ایک بار میں ان پٹ لے کر مسلسل ترجمہ تیار کرتا ہے، اور طویل سیاق و سباق کے ذریعے ناموں، اصطلاحات اور تصورات کی سطحوں میں مستقل مزاجی برقرار رکھتا ہے۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
بنیاد اور متحدہ معماری: پورا خاندان Qwen3.5 پر بنایا گیا ہے۔ کثیر لسانی متون اور ترجمہ ہدایات کے ڈیٹا پر فائن ٹیوننگ کے ذریعے ٹیکسٹ ماڈل نے ایک ہی معماری میں ترجمہ اور پابندیوں کی پیروی دونوں کی صلاحیتیں سیکھی ہیں؛ استدلال کے لیے vLLM تعینات کیا جاتا ہے، جبکہ ٹیکسٹ ماڈل کا ڈیفالٹ greedy decoding مستحکم اور قابلِ تکرار آؤٹ پٹ یقینی بناتا ہے۔
Index-Echo صوتی ترجمہ: “شناخت→ترجمہ→ترکیب” کی cascade پائپ لائن استعمال کرتا ہے۔ S2ST میں ترجمے کے بعد CosyVoice صوتی ترکیب شامل ہے، اور ماخذ آڈیو سے بولنے والے کی embedding نکال کر ترکیبی ماڈیول میں شامل کی جاتی ہے تاکہ آواز کا لہجہ نقل کیا جا سکے؛ آڈیو کو 60 سیکنڈ کی کھڑکیوں میں تقسیم کیا جاتا ہے اور مکالمے کے تسلسل کے لیے پہلی 5 کھڑکیوں کا تاریخی سیاق برقرار رکھا جاتا ہے۔
Index-Homura ہجائی کنٹرول: ہدف کے ہجوں کی تعداد کو واضح شرط کے طور پر prompt میں شامل کرتا ہے۔ sampling decoding کے ساتھ ماڈل ترجمے کے دوران الفاظ کے انتخاب اور طوالت کی منصوبہ بندی بیک وقت کرتا ہے، اور ہجائی بجٹ پورا کرنے کے لیے جملے کی ساخت ازسرنو ترتیب دیتا ہے؛ SandGlass پر 81.92% آؤٹ پٹ میں ہجوں کا انحراف 10% سے زیادہ نہیں ہوتا۔
Index-NativeLong طویل دستاویزات کا ترجمہ: مکمل دستاویز کو ایک بار میں پڑھ کر مسلسل ترجمہ تیار کرتا ہے۔ انتہائی طویل سیاقی ونڈو کی مدد سے یہ ماڈل تخلیق کے دوران سابقہ ناموں اور اصطلاحات کے استعمال کو “یاد” رکھتا ہے، اس لیے بیرونی لغت کے بغیر بھی یکسانیت برقرار رہتی ہے؛ یہ روایتی حصوں میں تقسیم شدہ ترجمے سے مختلف ہے، جو قریبی سیاق اور خودکار لغت پر منحصر ہوتا ہے۔
جائزے کا طریقہ: FLORES اور WMT26 جیسے عمومی معیارات کے علاوہ، ٹیم نے instTrans، MEME، SandGlass اور طویل دستاویزات کی مختلف طوالت کے جائزے پر مشتمل چار ٹاسک سیٹ بنائے ہیں، جن میں ترجمے کے معیار اور ہدایات کی پیروی کو الگ الگ اسکور کیا جاتا ہے تاکہ حقیقی استعمال کے حالات کی بہتر عکاسی ہو۔

ریپوزٹری کلون کریں: git clone https://github.com/bilibili/Index-Translate.git چلائیں اور پروجیکٹ ڈائریکٹری میں جائیں۔
انحصارات انسٹال کریں: pip install -U vllm اور pip install -r inference/llm/requirements.txt چلائیں، اور Qwen3.5 کی حمایت والا vLLM ماحول تیار کریں۔
سروس شروع کریں: vllm serve IndexTeam/Index-Translate-2B --host 127.0.0.1 --port 8000 --max-model-len 4096 چلائیں، جس سے مقامی 8000 پورٹ پر ماڈل سروس شروع ہو جائے گی۔
ترجمہ کریں: نیا ٹرمینل کھول کر python inference/llm/translate.py "你好，世界" --target en --model IndexTeam/Index-Translate-2B چلائیں، اور ترجمہ حاصل کریں۔
اپنی سروس سے منسلک کریں: کلائنٹ ڈیفالٹ طور پر http://127.0.0.1:8000/v1 کو درخواست بھیجتا ہے۔ اپنی سروس سے جڑنے کے لیے --base-url/--api-key یا OPENAI_BASE_URL/OPENAI_API_KEY ماحولاتی متغیرات استعمال کیے جا سکتے ہیں۔
قابلِ کنٹرول ہجائی ترجمہ: inference/llm/syllable_translate.py چلائیں اور --syllables کے ذریعے ہدف کے ہجوں کی تعداد دیں۔
طویل دستاویزات کا ترجمہ: doc_translate.py چلائیں اور --direction کے ذریعے zh-en / zh-ja جیسے مقررہ سمت کے سانچے منتخب کریں۔
صوتی ترجمہ: ریپوزٹری کی S2TT سب ٹائٹل گائیڈ یا S2ST ڈبنگ گائیڈ کے مطابق s2tt.py یا dub.py استعمال کر کے آڈیو اور ویڈیو پر کارروائی کریں۔
آن لائن Demo: متن، آواز، ہجوں اور طویل دستاویزات کے چاروں ترجمہ طریقے آزمانے کے لیے براہِ راست https://index-translate.bilibili.com/ پر جائیں۔
براؤزر پلگ اِن: ماڈل مقامی طور پر تعینات کرنے کے بعد Chrome/Edge/Firefox پلگ اِن کے ذریعے ویب صفحات کا ترجمہ کیا جا سکتا ہے۔

وسیع لسانی احاطہ: ٹیکسٹ ماڈل 150 زبانوں کے باہمی ترجمے کی حمایت کرتا ہے، اور کم وسائل والی زبانوں میں نمایاں کارکردگی دکھاتا ہے۔ 35B-A3B کا FLORES_minor_pair پر off-target ریٹ صرف 2.4% ہے۔
مضبوط ہدایات کی پیروی: ترجمے کے دوران اصطلاحات کی یکسانیت، فارمیٹ برقرار رکھنے اور مخصوص شعبوں کے ترجمے جیسی ضروریات بیک وقت پوری کرتا ہے۔ instTrans_minor میں 9B کا ہدایات کی پیروی کا اسکور 0.7725 ہے، جو تمام موازنے والے ماڈلز میں سب سے زیادہ ہے۔
کمیونٹی کے مقبول memes کو سمجھتا ہے: MEME جائزہ صوتی مماثلت، اختصارات اور طنزیہ اظہار جیسی کمیونٹی زبان کے لیے بہتر بنایا گیا ہے، اور “结芬” اور “狒瘾” جیسے memes کا درست اور رواں ترجمہ کر سکتا ہے۔
آواز کے لہجے کو برقرار رکھنے والا صوتی ترجمہ: Index-Echo ہدف زبان میں ڈبنگ تیار کرتے وقت ماخذ آڈیو کے بولنے والے کی خصوصیات کو مدنظر رکھتا ہے، جس سے اصل آواز کے انداز والی کثیر لسانی ڈبنگ ممکن ہوتی ہے۔
ڈبنگ کے لیے ہجائی مطابقت: Index-Homura ہدف کے ہجوں کی تعداد لیتا اور بجٹ کے مطابق جملے کو ازسرنو ترتیب دیتا ہے۔ 81.92% آؤٹ پٹ میں ہجائی انحراف 10% سے زیادہ نہیں ہوتا، اس لیے یہ براہِ راست ویڈیو ڈبنگ کے لیے موزوں ہے۔
طویل دستاویزات میں مستقل مزاجی: Index-NativeLong مکمل متن کا مقامی ترجمہ کرتا ہے، بیرونی لغت کے بغیر طویل متن میں ناموں اور اصطلاحات کی یکسانیت برقرار رکھتا ہے اور تصورات کی سطحوں میں درست فرق کرتا ہے۔

GitHub ریپوزٹری: https://github.com/bilibili/Index-Translate
HuggingFace ماڈل کلیکشن: https://huggingface.co/collections/IndexTeam/index-translate
تکنیکی مقالہ: https://github.com/bilibili/Index-Translate/blob/main/docs/Index_Translate_Series_Technical_Report.pdf

ویڈیو کی مقامی ڈبنگ: Index-Echo کے ذریعے ویڈیو کو ہدف زبان میں ڈب کریں اور اصل بولنے والے کا آواز کا لہجہ برقرار رکھیں۔ Index-Homura کے ہجائی کنٹرول کے ساتھ مکالمے کو منظر کے دورانیے سے ہم آہنگ کیا جا سکتا ہے، جو فلموں، ڈراموں، کورسز اور Vlog کو بیرونِ ملک پیش کرنے کے لیے موزوں ہے۔
کثیر لسانی سب ٹائٹل کی تیاری: S2TT کی آواز سے متن صلاحیت کے ذریعے تقاریر، لائیو نشریات اور مختصر ویڈیوز کے لیے چینی، جاپانی، انگریزی، ہسپانوی اور دیگر زبانوں میں خودکار سب ٹائٹل تیار کریں، تاکہ کثیر لسانی مواد کی تقسیم ممکن ہو۔
کمیونٹی مواد کی عالمی ترسیل: تبصروں، پوسٹس اور دیگر مواد کا ترجمہ کرتے وقت مقبول memes کا اصل مفہوم (جیسے “狒瘾”→“FFXIV itch”)، hashtags اور emojis کی ساخت برقرار رکھیں، تاکہ گیمز اور anime ثقافت سے متعلق مواد بیرونِ ملک سیاق سے محروم نہ ہو۔
طویل دستاویزات اور آن لائن ناولوں کا ترجمہ: Index-NativeLong کے ذریعے مکمل ناول، glacier史 اور دیگر طویل متون کا ترجمہ کریں۔ دستی طور پر لغت برقرار رکھے بغیر ناموں، اصطلاحات اور تصورات کی سطحوں میں مستقل مزاجی برقرار رہتی ہے، جو آن لائن ناولوں اور اشاعتی مواد کو بیرونِ ملک پیش کرنے کے لیے موزوں ہے۔
ای کامرس اور مصنوعات کے مواد کی مقامی تشکیل: ہدایات کے مطابق مصنوعات کی CSV میں صرف مخصوص کالمز کا ترجمہ کریں، سرخیاں اور نمبر برقرار رکھیں، یا اعلانات کے JSON کو ساختی انداز میں ترجمہ کریں، تاکہ ترجمہ شدہ مواد براہِ راست بعد کے کاروباری نظاموں میں شامل ہو سکے اور مقامی تشکیل کی لاگت کم ہو۔