IndexTTS-2.5 চালু আছে

IndexTTS-2.5 হলো Bilibili-এর ওপেন-সোর্স করা শিল্পমানের জিরো-শট ভয়েস ক্লোনিং মডেল। এতে মাত্র 0.8B প্যারামিটার রয়েছে এবং চীনা, ইংরেজি, জাপানি, স্প্যানিশ ও আরবি ভাষায় আন্তভাষিক স্থানান্তর সমর্থন করে। মডেলটি ইনফারেন্স আর্কিটেকচার পুনর্গঠন করেছে, ফলে ইনফারেন্সের গতি 2.28 গুণ বেড়েছে। এটি 0.5x থেকে 2.0x পর্যন্ত কথার গতি নিয়ন্ত্রণ এবং উচ্চারণ ও আবেগের সূক্ষ্ম নিয়ন্ত্রণ সমর্থন করে। সম্পূর্ণ কোড, মডেল ওজন ও গবেষণাপত্র প্রকাশ করা হয়েছে এবং Bilibili Model License-এর অধীনে বিতরণ করা হয়েছে।

জিরো-শট ভয়েস ক্লোনিং: মাত্র 3 থেকে 10 সেকেন্ডের একটি রেফারেন্স অডিও ব্যবহার করে যেকোনো বক্তার কণ্ঠস্বরের বৈশিষ্ট্য নির্ভুলভাবে পুনর্নির্মাণ করা যায়; লক্ষ্য বক্তার জন্য অতিরিক্ত প্রশিক্ষণের প্রয়োজন নেই।
পাঁচ ভাষায় আন্তভাষিক সমর্থন: চীনা, ইংরেজি, জাপানি, স্প্যানিশ ও আরবি সমর্থিত।
সূক্ষ্ম আবেগ নিয়ন্ত্রণ: আবেগ নিয়ন্ত্রণের বিভিন্ন পদ্ধতি রয়েছে: আলাদা আবেগ-রেফারেন্স অডিও দিয়ে আবেগ স্থানান্তর, আট-মাত্রিক আবেগ ভেক্টরের মাধ্যমে আবেগের তীব্রতা নির্ধারণ, টেক্সট-নির্ভর স্বয়ংক্রিয় আবেগ অনুমান চালু করা এবং emo_alpha প্যারামিটার দিয়ে আবেগের মাত্রা নিয়ন্ত্রণ।
কণ্ঠস্বর ও আবেগের পৃথকীকরণ: কণ্ঠস্বরের প্রম্পট অডিও এবং আবেগের প্রম্পট অডিও সম্পূর্ণ স্বাধীনভাবে নির্ধারণ করা যায়। ব্যবহারকারী আলাদাভাবে নিয়ন্ত্রণ করতে পারেন ”কে কথা বলছে” এবং ”কীভাবে বলছে”।
ধারাবাহিক গতিনিয়ন্ত্রণ: duration_factor প্যারামিটারের মাধ্যমে 0.5 গুণ থেকে 2.0 গুণের মধ্যে যেকোনো অনুপাতে সংশ্লেষিত কথার গতি পরিবর্তন করা যায়, যা বিভিন্ন পরিস্থিতির ছন্দের চাহিদা পূরণ করে।
নির্ভুল উচ্চারণ নিয়ন্ত্রণ: চীনা পিনইন, ইংরেজি CMU ফোনিম এবং জাপানি কানার তিন ধরনের সূক্ষ্মতার স্তরে উচ্চারণ নিয়ন্ত্রণ সমর্থিত, যা বহুউচ্চারিত চীনা অক্ষর, ভিন্ন উচ্চারণের শব্দ এবং প্রসঙ্গনির্ভর উচ্চারণের সমস্যা কার্যকরভাবে সমাধান করে।

WeChat-এ ফলো করে “开源” লিখে রিপ্লাই দিন, AI ওপেন-সোর্স প্রকল্পের交流 গ্রুপে যোগ দিন
তিন-পর্যায়ের জেনারেশন পাইপলাইন: মডেলটি ”টেক্সট → সেম্যান্টিক Token → মেল স্পেকট্রাম → ওয়েভফর্ম” তিন-পর্যায়ের আর্কিটেকচার ব্যবহার করে। Transformer-ভিত্তিক টেক্সট-টু-সেম্যান্টিক (T2S) ভাষা মডেল সেম্যান্টিক Token তৈরি করে; এরপর অটোরিগ্রেসিভ নয় এমন সেম্যান্টিক-টু-মেল স্পেকট্রাম (S2M) ফ্লো-ম্যাচিং মডিউল মেল স্পেকট্রোগ্রাম তৈরি করে; সবশেষে নিউরাল ভোকোডার এটিকে চূড়ান্ত অডিওতে রূপান্তর করে।
সেম্যান্টিক কোডেক কম্প্রেশন: সেম্যান্টিক Token-এর ফ্রেম রেট 50Hz থেকে 25Hz-এ কমিয়ে সিকোয়েন্সের দৈর্ঘ্য সরাসরি অর্ধেক করা হয়। এতে প্রশিক্ষণ ও ইনফারেন্সের সময় T2S মডিউলের গণনাগত চাপ ও মেমরি ব্যবহার উল্লেখযোগ্যভাবে কমে, যা ইনফারেন্স দ্রুত করার অন্যতম প্রধান কারণ।
Zipformer আর্কিটেকচার আপগ্রেড: S2M মডিউলের ব্যাকবোন নেটওয়ার্ক U-DiT-এর পরিবর্তে আরও কার্যকর Zipformer আর্কিটেকচারে রূপান্তর করা হয়েছে। কম প্যারামিটার ব্যবহার করেও Zipformer দীর্ঘমেয়াদি নির্ভরতা মডেলিংয়ে বেশি সক্ষমতা প্রদান করে। ফলে মেল স্পেকট্রাম আরও দ্রুত ও স্থিতিশীলভাবে তৈরি হয় এবং সংশ্লেষিত অডিওর মান বজায় থাকে।
আন্তভাষিক মডেলিং কৌশল: বহুভাষিক পরিবেশে অক্ষরের ওভারল্যাপের কারণে তৈরি বিভ্রান্তি সমাধানে দলটি তিনটি কৌশল প্রস্তাব করেছে: সীমানা-সচেতন অ্যালাইনমেন্ট (টেক্সটের আগে ও পরে ভাষা-চিহ্ন সন্নিবেশ, যেমন ), Token-স্তরের সংযোজন (প্রতিটি ইনপুট Token-এর সঙ্গে ভাষা-নির্দিষ্ট এমবেডিং যুক্ত করা) এবং নির্দেশনা-নির্ভর জেনারেশন (টেক্সটের আগে স্বাভাবিক ভাষার নির্দেশনা-প্রিফিক্স যোগ করা, যেমন ”ইংরেজিতে পড়ুন”)।
GRPO রিইনফোর্সমেন্ট লার্নিং অপ্টিমাইজেশন: T2S মডিউলের পোস্ট-ট্রেনিং পর্যায়ে GRPO (Group Relative Policy Optimization) যুক্ত করা হয়েছে। ASR মডেলের শব্দ-ভুলের হার (WER) স্থির রেখে পুরস্কার সংকেত হিসেবে ব্যবহার করা হয় এবং প্রতি ধাপে চারটি প্রার্থী নমুনা তৈরি করা হয়। উচ্চ পুরস্কারপ্রাপ্ত নমুনার আপেক্ষিক সম্ভাবনা অপ্টিমাইজ করার মাধ্যমে উচ্চারণের নির্ভুলতা ও কথার স্বাভাবিকতা ক্রমাগত উন্নত করা হয়।

পরিবেশ প্রস্তুতি: প্রথমে Git ও uv প্যাকেজ ম্যানেজার ইনস্টল করে git clone https://github.com/index-tts/index-tts.git কমান্ডের মাধ্যমে অফিসিয়াল কোড রিপোজিটরি স্থানীয় কম্পিউটারে ডাউনলোড করুন।
নির্ভরতা ইনস্টল: প্রকল্প ডিরেক্টরিতে প্রবেশ করে uv sync --all-extras কমান্ড চালালে স্বয়ংক্রিয়ভাবে ভার্চুয়াল পরিবেশ তৈরি হবে এবং প্রয়োজনীয় সব Python নির্ভরতা ইনস্টল হবে।
মডেল ডাউনলোড: huggingface-cli অথবা modelscope টুল ব্যবহার করে অফিসিয়াল রিপোজিটরি IndexTeam/IndexTTS-2.5 থেকে মডেলের ওজন স্থানীয় checkpoints ডিরেক্টরিতে ডাউনলোড করুন।
ওয়েব ইন্টারফেস চালু: uv run webui.py কমান্ড চালিয়ে Gradio ইন্টার‌্যাক্টিভ ইন্টারফেস চালু করুন এবং ব্রাউজারে http://127.0.0.1:7860 খুলে ভিজ্যুয়াল ভয়েস সংশ্লেষণ পরিচালনা করুন।
মডেল লোড: Python স্ক্রিপ্টে indextts.infer_v2_5 থেকে IndexTTS2 ক্লাস ইমপোর্ট করে কনফিগারেশন ফাইলের পথ ও মডেল ডিরেক্টরি প্রদান করলে মডেল ইনস্ট্যান্স তৈরি হবে।
প্রাথমিক ভয়েস ক্লোনিং: ইনস্ট্যান্সের infer মেথডে রেফারেন্স অডিওর পথ, লক্ষ্য টেক্সট ও ভাষার কোড প্রদান করলে ক্লোন করা কণ্ঠস্বরসহ অডিও ফাইল তৈরি ও সংরক্ষণ করা যায়।
আবেগ নিয়ন্ত্রণ: infer মেথডে অতিরিক্তভাবে emo_audio_prompt প্যারামিটার দিয়ে আবেগের রেফারেন্স অডিও নির্ধারণ করুন, অথবা emo_vector ব্যবহার করে আট-মাত্রিক আবেগ ভেক্টর প্রদান করে সংশ্লেষিত কণ্ঠের আবেগ নিয়ন্ত্রণ করুন।
কথার গতি নিয়ন্ত্রণ: ইনফারেন্সের সময় duration_factor প্যারামিটারের মান 0.5 থেকে 2.0-এর মধ্যে সেট করলে সংশ্লেষিত কথার গতি আনুপাতিকভাবে বাড়ানো বা কমানো যায়।
উচ্চারণ নিয়ন্ত্রণ: ইনপুট টেক্সটে <行|XING2>, অথবা <上手|じょうず> ইত্যাদি টীকা যুক্ত করে বহুউচ্চারিত অক্ষর বা ভিন্ন উচ্চারণের শব্দের উচ্চারণ নির্ভুলভাবে নিয়ন্ত্রণ করুন।

কম প্যারামিটারে উচ্চ দক্ষতা: মডেলটিতে মাত্র 0.8B প্যারামিটার রয়েছে। সেম্যান্টিক কোডেক কম্প্রেশন ও Zipformer আর্কিটেকচার আপগ্রেডের মাধ্যমে ইনফারেন্স 2.28 গুণ দ্রুত হয়েছে এবং BF16 নির্ভুলতায় রিয়েল-টাইম ফ্যাক্টর (RTF) 0.20 পর্যন্ত কমে, ফলে হালকাপনা ও উচ্চ কর্মক্ষমতা একসঙ্গে পাওয়া যায়।
পাঁচ ভাষায় আন্তভাষিক স্থানান্তর: চীনা, ইংরেজি, জাপানি, স্প্যানিশ ও আরবি সমর্থিত। ব্যবহারকারী যেকোনো একটি ভাষার রেফারেন্স অডিও দিয়ে অন্য ভাষার কণ্ঠ ক্লোন করতে পারেন এবং লক্ষ্য ভাষার আবেগ-প্রশিক্ষণ ডেটা ছাড়াই আবেগের আন্তভাষিক স্থানান্তর সম্ভব।
বহুমাত্রিক সূক্ষ্ম নিয়ন্ত্রণ: মডেলটি 0.5x থেকে 2.0x পর্যন্ত ধারাবাহিক গতিনিয়ন্ত্রণ, আট-মাত্রিক আবেগ ভেক্টর নিয়ন্ত্রণ, টেক্সট-নির্ভর আবেগ অনুমান এবং পিনইন, CMU ফোনিম ও জাপানি কানার তিন স্তরের উচ্চারণ নিয়ন্ত্রণ সমর্থন করে। ফলে কনটেন্ট তৈরিতে ভয়েস সংশ্লেষণ সূক্ষ্মভাবে সামঞ্জস্য করা যায়।
কণ্ঠস্বর ও আবেগের সম্পূর্ণ পৃথকীকরণ: ব্যবহারকারী স্বাধীনভাবে কণ্ঠস্বরের প্রম্পট অডিও ও আবেগের প্রম্পট অডিও নির্ধারণ করতে পারেন। এমনকি দুটি অডিও ভিন্ন ভাষারও হতে পারে। এতে লক্ষ্য বক্তার কণ্ঠস্বর বজায় রেখেই প্রয়োজনীয় আবেগের ধরন নমনীয়ভাবে যুক্ত করা যায়।
আরবি ভাষায় ওপেন-সোর্স সমর্থন: প্রচলিত ওপেন-সোর্স TTS মডেলগুলোর মধ্যে IndexTTS-2.5 অল্প কয়েকটি মডেলের একটি, যা আরবি ভয়েস ক্লোনিং ও আন্তভাষিক স্থানান্তর সম্পূর্ণভাবে সমর্থন করে এবং ওপেন-সোর্স ভয়েস সংশ্লেষণ ক্ষেত্রে এই ভাষার ঘাটতি পূরণ করে।

GitHub রিপোজিটরি: https://github.com/index-tts/index-tts
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2601.03888

AI ডাবিং ও অডিও কনটেন্ট তৈরি: কনটেন্ট নির্মাতারা কেবল উপস্থাপক বা চরিত্রের একটি রেফারেন্স অডিও প্রদান করে দ্রুত বহুভাষিক ও বহুমাত্রিক আবেগের অডিওবুক, রেডিও নাটক ও পডকাস্ট তৈরি করতে পারেন, পুনরায় রেকর্ডিংয়ের প্রয়োজন হয় না।
আন্তভাষিক ভিডিও লোকালাইজেশন: চলচ্চিত্র ও শর্ট-ভিডিও দলগুলো চীনা রেফারেন্স অডিও ব্যবহার করে সরাসরি ইংরেজি, জাপানি, স্প্যানিশ বা আরবি ডাবিং তৈরি করতে পারে। এতে মূল অভিনেতার কণ্ঠস্বর বজায় থাকে এবং বিদেশে প্রকাশের খরচ উল্লেখযোগ্যভাবে কমে।
গেম ও ভার্চুয়াল চরিত্রের কণ্ঠ: গেম নির্মাতারা NPC বা ভার্চুয়াল আইডলের জন্য নির্দিষ্ট কণ্ঠ ক্লোন করতে পারেন এবং আবেগ ভেক্টরের মাধ্যমে আনন্দ, রাগ, দুঃখ ও আনন্দের মতো আবেগ রিয়েল টাইমে পরিবর্তন করে গতিশীল剧情 কণ্ঠ ও লাইভ-স্ট্রিম ইন্টার‌্যাকশন তৈরি করতে পারেন।
রিয়েল-টাইম ভয়েস ইন্টার‌্যাকশন ও ডিজিটাল মানব: 0.20-এর অতি-নিম্ন রিয়েল-টাইম ফ্যাক্টরের কারণে IndexTTS-2.5 স্মার্ট কাস্টমার সার্ভিস, ডিজিটাল মানবের লাইভ স্ট্রিম ও রিয়েল-টাইম অনুবাদে স্থাপন করা যায় এবং কম-বিলম্বের ব্যক্তিগতকৃত ভয়েস উত্তর সমর্থন করে।
শিক্ষা ও ভাষা শেখা: শিক্ষা প্রতিষ্ঠানগুলো উচ্চারণ নিয়ন্ত্রণ ফিচার ব্যবহার করে মানসম্মত পিনইন, CMU ফোনিম বা জাপানি কানার প্রদর্শনী অডিও তৈরি করতে পারে এবং শিক্ষকের কণ্ঠ ক্লোন করে বহুভাষিক সমন্বিত কোর্স প্রস্তুত করতে পারে।