Step Audio 3 চালু আছে

StepAudio 3 হলো জিয়েপ সিংচেনের প্রকাশিত স্পিচ ফাউন্ডেশন মডেল সিরিজ, যাতে Realtime, ASR, TTS, Gen এবং Music—এই পাঁচটি মডেল রয়েছে। এর মধ্যে Realtime-এর স্পিচ রিজনিং নির্ভুলতা 99.7% এবং ASR-এর শব্দ ত্রুটির হার 1.7%, উভয়ই Artificial Analysis-এর র‍্যাঙ্কিংয়ে বিশ্বে প্রথম। StepAudio 3 শুনতে ও কথা বলতে পারে, পাশাপাশি আবেগ ও স্বরের ভঙ্গি বুঝতে, জটিল রিজনিং সম্পন্ন করতে, মানুষের কণ্ঠ ও সাউন্ড ইফেক্ট একসঙ্গে তৈরি করতে এবং সংগীত সৃষ্টির পুরো প্রক্রিয়ায় অংশ নিতে পারে। এটি রিয়েল-টাইম কথোপকথন, সাবটাইটেল ট্রান্সক্রিপশন, চলচ্চিত্র ও টেলিভিশন ডাবিং, সংগীত প্রযোজনা ইত্যাদি বিভিন্ন ক্ষেত্রে ব্যবহার করা যায়।

Realtime রিয়েল-টাইম কথোপকথন: নেটিভ ফুল-ডুপ্লেক্স ইন্টারঅ্যাকশন সমর্থন করে; কথোপকথনের গতি বুঝে, চিন্তা করে, সিদ্ধান্ত নিয়ে কাজ সম্পন্ন করতে পারে।
ASR স্পিচ রিকগনিশন: চীনা, ইংরেজি, উপভাষা এবং চীনা-ইংরেজি মিশ্র কথার উচ্চ-নির্ভুল ট্রান্সক্রিপশন করে; পেশাগত পরিভাষা ও জটিল প্রেক্ষাপট বোঝে।
TTS স্পিচ সিন্থেসিস: মানুষের মতো কণ্ঠ তৈরি করে এবং স্বরভঙ্গি, আবেগ, বিরতি, হাসি, দ্বিধা ইত্যাদি পারালিঙ্গুইস্টিক সূক্ষ্মতা পুনরায় ফুটিয়ে তোলে।
Gen অডিও জেনারেশন: একবারে মানুষের কণ্ঠ, সাউন্ড ইফেক্ট, পরিবেশের শব্দ ও ব্যাকগ্রাউন্ড মিউজিক তৈরি করে এবং প্রতিটি উপাদানের সময়ক্রম সূক্ষ্মভাবে নিয়ন্ত্রণ করে।
Music সংগীত সৃষ্টি: শূন্য থেকে সংগীত তৈরি, খালি কণ্ঠে গাওয়ার জন্য সঙ্গত, গান কভার এবং ABC নোটেশন পদ্ধতিতে বহু-ধাপের ইন্টারঅ্যাক্টিভ সৃষ্টিকে সমর্থন করে।

Realtime: নেটিভ ফুল-ডুপ্লেক্স আর্কিটেকচার ব্যবহার করে, যেখানে শোনা ও বলা সমান্তরালে চলে; মডেলটি চলমান কথোপকথনের সময় অডিও বোঝা, রিজনিং এবং স্পিচ জেনারেশন একসঙ্গে সম্পন্ন করে। রিজনিং ও জেনারেশন সমান্তরালে চালানো এবং Tool Call অ্যাসিঙ্ক্রোনাসভাবে সম্পাদন করা যায়।
ASR: উচ্চ-নির্ভুল স্পিচ রিকগনিশনকে বড় ভাষা মডেলের সঙ্গে যুক্ত করে। বড় মডেলের প্রেক্ষাপট বোঝার ক্ষমতা, জ্ঞানভাণ্ডার ও রিজনিং ক্ষমতা ব্যবহার করে সমোচ্চারিত শব্দ, ব্যক্তির নাম, স্থাননাম এবং পেশাগত পরিভাষা সংশোধন করে; “শব্দ থেকে ট্রান্সক্রিপশন” থেকে “প্রেক্ষাপট বোঝার” পর্যায়ে উন্নীত করে।
TTS: স্ট্রিমিং জেনারেশন আর্কিটেকচারের ভিত্তিতে তৈরি ও প্লেব্যাক একসঙ্গে চালায়, যা রিয়েল-টাইম ইন্টারঅ্যাকশনের কম লেটেন্সির চাহিদা পূরণ করে; একই সঙ্গে কণ্ঠস্বর, স্বরভঙ্গি, ছন্দ এবং শ্বাস-বিরতি মডেল করে, আর অর্থগত প্রেক্ষাপট অনুযায়ী স্বয়ংক্রিয়ভাবে আবেগ ও স্বর সামঞ্জস্য করে।
Gen: প্রচলিত বিচ্ছিন্ন ডাবিং, সাউন্ড ইফেক্ট ও সংগীতায়োজনের ধাপগুলোর পরিবর্তে একটি সমন্বিত মডেল ব্যবহার করে। প্রাকৃতিক ভাষার বর্ণনা ও রেফারেন্স অডিওর ভিত্তিতে একসঙ্গে বহুস্তরীয় শব্দ তৈরি করে এবং সংলাপ, সাউন্ড ইফেক্ট ও পরিবেশের শব্দের সময় বিন্যাসের মাধ্যমে সাউন্ড ডিজাইনে অংশ নেয়।
Music: শূন্য থেকে তৈরি এবং শর্তনির্ভর সৃষ্টিকে একসঙ্গে সমর্থন করে। খালি কণ্ঠে গাওয়া, গানের কথা ও সুরের সংগীত উপাদান বোঝার মাধ্যমে ABC নোটেশন পদ্ধতিতে কাঠামোবদ্ধ নিয়ন্ত্রণ দেয়; গানের অংশ, সুরের বিকাশ ও শক্তির পরিবর্তন মডেল করে কাঠামোগতভাবে সম্পূর্ণ রচনা তৈরি করে।

অফিশিয়াল ওয়েবসাইট দেখুন: StepAudio 3-এর হোমপেজ https://static.stepfun.com/blog/stepaudio3/ ভিজিট করে প্রতিটি মডেলের সক্ষমতা জানুন।
মডেল নির্বাচন করুন: প্রয়োজন অনুযায়ী Realtime, ASR, TTS, Gen অথবা Music নির্বাচন করুন।
অভিজ্ঞতা কেন্দ্রে প্রবেশ করুন: জিয়েপ স্পিচ অভিজ্ঞতা কেন্দ্র https://www.stepfun.com/studio/audio ভিজিট করে অনলাইনে প্রতিটি মডেলের ফলাফল পরীক্ষা করুন।
ওপেন প্ল্যাটফর্মে নিবন্ধন করুন: জিয়েপ সিংচেন ওপেন প্ল্যাটফর্ম https://platform.stepfun.com/-এ অ্যাকাউন্ট নিবন্ধন করে API Key সংগ্রহ করুন।
API ডকুমেন্টেশন দেখুন: ওপেন প্ল্যাটফর্মে সংশ্লিষ্ট মডেলের ইন্টিগ্রেশন গাইডে অনুরোধের প্যারামিটার ও কলের উদাহরণ দেখুন।
ইন্টিগ্রেট ও কল করুন: ডকুমেন্টেশন অনুসরণ করে API নিজের অ্যাপ্লিকেশনে যুক্ত করুন এবং টেক্সট, অডিও বা প্রাকৃতিক ভাষার বর্ণনা পাঠিয়ে ফলাফল তৈরি করুন।
ডিবাগ ও অপ্টিমাইজ করুন: ফলাফলের ভিত্তিতে কণ্ঠস্বর, আবেগ, কথা বলার গতি, কাঠামো ইত্যাদি প্যারামিটার সামঞ্জস্য করুন, যতক্ষণ না প্রয়োজন পূরণ হয়।

র‍্যাঙ্কিংয়ে শক্তিশালী ফল: Realtime-এর স্পিচ রিজনিং নির্ভুলতা (99.7%) এবং ASR-এর শব্দ ত্রুটির হার (1.7%) উভয়ই Artificial Analysis-এর বিশ্ব র‍্যাঙ্কিংয়ে প্রথম হয়েছে, যা তৃতীয় পক্ষের স্বীকৃতি।
আরও মানবসদৃশ ইন্টারঅ্যাকশন: স্বরের ভঙ্গি, আবেগ ও কথোপকথনের গতি বুঝতে পারে; কখন কথা বলতে হবে, কখন অপেক্ষা করতে হবে এবং বাধা পেলে কীভাবে সাড়া দিতে হবে তা জানে।
কথা বলার পাশাপাশি কাজও করে: রিজনিং, টুল কল এবং দীর্ঘ কাজগুলো ব্যাকগ্রাউন্ডে অ্যাসিঙ্ক্রোনাসভাবে চলতে পারে। এতে বর্তমান কথোপকথন আটকে যায় না এবং ভয়েস অ্যাসিস্ট্যান্ট শুধু কথোপকথনের টুল না থেকে কার্যকর সহকারীতে পরিণত হয়।
একটি মডেলেই সম্পূর্ণ অডিও ওয়ার্কফ্লো: ডাবিং, সাউন্ড ইফেক্ট, পরিবেশের শব্দ ও সংগীতায়োজনের জন্য আগে একাধিক টুল লাগত; এখন একবারেই সম্পূর্ণ শব্দস্তর তৈরি হয় এবং বিভিন্ন শব্দ কখন ও কোন ক্রমে শোনা যাবে তা নির্ভুলভাবে নির্ধারণ করা যায়।
সৃষ্টির নিয়ন্ত্রণ ব্যবহারকারীর হাতে: খালি কণ্ঠে গান, গানের কথা, সুর, ABC নোটেশনসহ বিভিন্ন ইনপুট পদ্ধতি সমর্থন করে; AI আপনার কাজকে এগিয়ে নিতে ও সম্পূর্ণ করতে সহায়তা করে।

পণ্য সম্পর্কে জানুন: StepAudio 3-এর অফিসিয়াল হোমপেজ https://static.stepfun.com/blog/stepaudio3/ ভিজিট করে Realtime, ASR, TTS, Gen এবং Music—এই পাঁচটি মডেলের সক্ষমতা সম্পর্কে জানুন।
অনলাইনে পরীক্ষা করুন: জিয়েপ স্পিচ অভিজ্ঞতা কেন্দ্রে প্রবেশ করে টেক্সট লিখুন বা অডিও আপলোড করুন এবং বিনামূল্যে প্রতিটি মডেলের ফলাফল উপভোগ করুন।
প্ল্যাটফর্মে নিবন্ধন করুন: জিয়েপ সিংচেন ওপেন প্ল্যাটফর্মে অ্যাকাউন্ট নিবন্ধন করে অ্যাপ্লিকেশন তৈরি করুন এবং API Key সংগ্রহ করুন।
ডকুমেন্টেশন দেখুন: সংশ্লিষ্ট মডেলের ইন্টিগ্রেশন গাইড খুলে API ঠিকানা, অনুরোধের প্যারামিটার ও বিলিং পদ্ধতি জানুন।
কল শুরু করুন: API অনুরোধের মাধ্যমে টেক্সট, অডিও ফাইল বা প্রাকৃতিক ভাষার বর্ণনা পাঠিয়ে স্পিচ সিন্থেসিস, রিকগনিশন বা জেনারেশনের ফলাফল সংগ্রহ করুন।
প্যারামিটার অপ্টিমাইজ করুন: ফলাফলের ভিত্তিতে কণ্ঠস্বর, আবেগ, কথা বলার গতি, ভাষা ও শব্দ বিন্যাসের মতো প্যারামিটার সামঞ্জস্য করুন।
ইন্টিগ্রেশন ও প্রকাশ: API নিজের পণ্য বা ওয়ার্কফ্লোতে যুক্ত করে ডিপ্লয়মেন্ট সম্পন্ন করুন এবং ফলাফল নিয়মিত পর্যবেক্ষণ করুন।

প্রকল্পের অফিসিয়াল ওয়েবসাইট: https://static.stepfun.com/blog/stepaudio3/

স্মার্ট কাস্টমার সার্ভিস ও ভয়েস অ্যাসিস্ট্যান্ট: ফুল-ডুপ্লেক্স রিয়েল-টাইম কথোপকথন, ব্যবহারকারীর আবেগ বোঝা এবং অ্যাসিঙ্ক্রোনাসভাবে কাজ সম্পন্ন করার সুবিধায় গ্রাহকসেবা আরও স্বাভাবিক ও দক্ষ হয়।
মিটিং মিনিটস ও সাবটাইটেল তৈরি: ASR দীর্ঘ অডিও ও একাধিক ব্যক্তির কথোপকথন নির্ভুলভাবে ট্রান্সক্রাইব করে, পেশাগত পরিভাষা স্বয়ংক্রিয়ভাবে শনাক্ত করে এবং সরাসরি মিটিং মিনিটস বা ভিডিও সাবটাইটেল তৈরি করে।
গাড়ির ভয়েস ইন্টারঅ্যাকশন: শব্দপূর্ণ পরিবেশ, উপভাষার উচ্চারণ এবং চীনা-ইংরেজি মিশ্র কথা সমর্থন করে; কম লেটেন্সির প্রতিক্রিয়ায় গাড়ি চালানোর সময় ভয়েস কন্ট্রোলের অভিজ্ঞতা উন্নত করে।
চলচ্চিত্র ও অডিও কনটেন্ট প্রযোজনা: রেডিও নাটক, অডিওবুক ও অ্যানিমেশন ডাবিংয়ে একবারে মানুষের কণ্ঠ, সাউন্ড ইফেক্ট, পরিবেশের শব্দ এবং সংগীত তৈরি করে; একাধিক টুলের সমন্বয় ও পরবর্তী মিক্সিংয়ের প্রয়োজন কমায়।
সংগীত সৃষ্টি ও কভার প্রযোজনা: শুধু খালি কণ্ঠে গান দিলেই স্বয়ংক্রিয়ভাবে সঙ্গত ও অ্যারেঞ্জমেন্ট তৈরি করে, অথবা গানের কথা ও সুরের ভিত্তিতে সম্পূর্ণ গান এগিয়ে নিতে পারে; সংগীতশিল্পীদের দ্রুত Demo ও চূড়ান্ত কাজ সম্পন্ন করতে সহায়তা করে।