ElevenLabs، Whisper اور ffmpeg کے ذریعے قدرتی دو لسانی قربت بھری آوازیں بنائیں

پروجیکٹ کا جائزہ

یہ ورک فلو قدرتی اور مربوط چینی-انگریزی دو لسانی قریبی آوازیں تیار کرنے کے لیے استعمال ہوتا ہے۔ بنیادی اصول یہ نہیں کہ ٹیکسٹ ٹو اسپیچ ماڈل ہر آواز کی نقل کرے، بلکہ تیار شدہ مواد کو مختلف ذمہ داریوں والے آڈیو ٹریکس میں تقسیم کیا جائے: ElevenLabs مکالمے اور سانس کی ادائیگی سنبھالتا ہے، حقیقی ریکارڈنگ بوسے کی آواز اور ماحول کی آواز فراہم کرتی ہے، ffmpeg تراشنے، رفتار بدلنے، مکس کرنے اور جوڑنے کے لیے استعمال ہوتا ہے، جبکہ Whisper معیار جانچنے کے آلے کا کردار ادا کرتا ہے۔

سب سے اہم نتیجہ: آواز کا ماڈل صرف “الفاظ” اور گفتگو کی لے میں شامل سانسوں کی ذمہ داری لے۔ بوسے کی آواز، گیلی آواز جیسے غیر لسانی صوتی اثرات الگ تیار کیے جائیں، پھر انسانی آواز کے ساتھ مکس کیے جائیں۔

README میں دیا گیا ورک فلو Mac mini پر مکمل کیا گیا، لیکن استعمال شدہ طریقہ کسی مخصوص Mac ماڈل پر منحصر نہیں۔ جب تک سسٹم ElevenLabs API کو کال کر سکے، ffmpeg چلا سکے اور Whisper سے نقل تیار کر سکے، بنیادی مراحل دہرائے جا سکتے ہیں۔

بنیادی ٹولز اور ذمہ داریاں

• ElevenLabs: Voice Design کے ذریعے آواز کا انداز بناتا ہے اور ٹیکسٹ ٹو اسپیچ ماڈل سے مکالمے تیار کرتا ہے۔
• ffmpeg: نمونہ کاری کی شرح یکساں کرتا ہے، رفتار کم کرتا ہے، مواد تراشتا ہے، فیڈ اِن اور فیڈ آؤٹ، مکسنگ اور جوڑنے کا کام کرتا ہے۔
• Whisper: یہ جانچتا ہے کہ غیر لسانی مواد کو ماڈل نے قابل شناخت الفاظ کی صورت میں تو نہیں پڑھ دیا۔
• قانونی اجازت والی حقیقی ریکارڈنگ: الگ ماحول کی آواز فراہم کرتی ہے۔ اصل ورک فلو میں صرف عوامی ملکیت کے CC0 مواد استعمال کیے گئے اور ذرائع درج کیے گئے۔

شروع کرنے سے پہلے تنصیب اور تیاری

1. ElevenLabs تیار کریں

ElevenLabs پر رجسٹر ہوں اور Voice Design اور ٹیکسٹ ٹو اسپیچ انٹرفیس استعمال کرنے کے لیے درکار اسناد حاصل کریں۔ عملی طور پر درکار انٹرفیس POST /v1/text-to-voice/design اور POST /v1/text-to-voice ہیں۔

پہلے voice_description اور نمونے کا متن جمع کرائیں تاکہ متعدد امیدوار پیش نظارے حاصل ہوں؛ امیدوار منتخب کرنے کے بعد اس کے generated_voice_id سے مستقل آواز محفوظ کریں۔ کامیابی کے بعد voice_id درج کر لیں، بعد کی تمام مکسنگ میں یہی ID استعمال ہوگی۔

2. ffmpeg انسٹال کریں

یقینی بنائیں کہ ٹرمینل میں ffmpeg براہ راست چل سکتا ہے۔ macOS پر اسے عام پیکیج مینیجر کے ذریعے انسٹال کیا جا سکتا ہے۔ تنصیب کے بعد یہ کمانڈ چلا کر جانچ کریں:

ffmpeg -version

3. Whisper تیار کریں

اس ورک فلو میں Whisper آڈیو بنانے کے لیے نہیں بلکہ “آواز جانچنے والے پروب” کے طور پر استعمال ہوتا ہے۔ یہ بوسے یا غیر لسانی امیدوار ٹکڑوں کی جانچ کرتا ہے: اگر یہ مستقل طور پر الفاظ نقل کر سکے تو عموماً اس کا مطلب ہوتا ہے کہ ماڈل نے حقیقی غیر لسانی آواز پیدا کرنے کے بجائے صوتی الفاظ پڑھے ہیں۔

4. مواد کی ڈائریکٹری بنائیں

فائلوں کو پہلے ہی ذمہ داری کے لحاظ سے الگ رکھنے کی سفارش کی جاتی ہے۔ کم از کم انسانی آواز کے آؤٹ پٹ، بوسے کے امیدوار، جانچ سے گزرے بوسے کے مواد، اصل ماحول کی آواز، تراشے گئے ماحول کے صوتی ونڈوز اور حتمی مکس فائلیں شامل ہوں۔ اس سے غیر جانچے گئے امیدوار مواد کے براہ راست حتمی نتیجے میں استعمال ہونے سے بچا جا سکتا ہے۔

پہلا مرحلہ: چینی-انگریزی دو لسانی آواز ڈیزائن کرنا

صرف وائس لائبریری میں انتخاب کرنے کے بجائے تحریری وضاحت استعمال کریں

README کی جانچ کے مطابق، دستیاب چینی آوازوں میں انگریزی بولتے وقت لہجہ آ سکتا ہے، جبکہ Voice Design میں دو لسانی پس منظر کو واضح طور پر بیان کرنے سے چینی اور انگریزی دونوں میں زیادہ قدرتی نتیجہ حاصل کرنا آسان ہوتا ہے۔ وضاحت میں چار اقسام کی معلومات واضح ہونی چاہئیں: مادری زبان کی اہلیت، عمر کی حد، کردار کا تعلق یا مزاج، اور مطلوبہ جذبات۔

اصل ورک فلو میں استعمال کی گئی وضاحت یہ ہے، جسے کردار کی ضرورت کے مطابق بدلا جا سکتا ہے:

Native bilingual speaker of Mandarin Chinese (standard putonghua) and American English,
both at native level, with no cross-language accent in either. Male, 35–40. Studio quality.
Persona: mature, dominant, doting. Emotion: composed, doting, low-burning.
Rich, chesty, slightly gravelly low voice; unhurried, even pacing with weight on key words
and a breathy softness at the ends of sentences.

نمونے کے متن میں اشتہاری عبارت استعمال نہ کریں۔ ایسے جملے منتخب کریں جو کردار عام طور پر حقیقت میں بولے گا، اور ایک ہی وضاحت سے متعدد امیدوار تیار کریں۔ سننے کے وقت پہلے یہ جانچیں کہ آیا آواز ہدف کردار کی طرح قدرتی لگتی ہے، صرف یہ نہ دیکھیں کہ آواز بھاری یا خوشگوار ہے یا نہیں۔

مناسب ماڈل منتخب کریں

• عام گفتگو: README میں v3 کی سفارش کی گئی ہے، جو متن کے مواد سے روزمرہ جذبات ظاہر کرنے کے لیے موزوں ہے۔
• براہ راست گفتگو یا قریبی مناظر: v4 کی سفارش کی جاتی ہے۔ یہ ایک ہی آواز میں چینی، انگریزی اور چینی-انگریزی مرکب کو سنبھالنے کے لیے زیادہ موزوں ہے، اور ہلکے صوتی رہنما ٹیگز کو بھی آسانی سے پہچانتا ہے۔
• خالص انگریزی کا طویل متن: اگر v4 استعمال نہ ہو تو eleven_turbo_v2_5 منتخب کیا جا سکتا ہے، اور language_code=en واضح طور پر مقرر کریں تاکہ انگریزی میں چینی لہجہ کم ہو۔

آواز کے پیرامیٹرز ایڈجسٹ کریں

README میں درج عملی ابتدائی نقاط یہ ہیں:

• stability=0.35: تبدیلی اور ڈرامائیت زیادہ نمایاں ہوتی ہے۔
• stability=0.5: روزمرہ گفتگو کے زیادہ قریب ہے اور “مصنوعی اداکاری” کا احساس کم کر سکتا ہے۔
• similarity_boost=0.8: ہدف آواز کی یکسانیت برقرار رکھنے کے لیے استعمال ہوتا ہے۔
• style=0.3: اصل ریکارڈ کے مطابق v3 اس پیرامیٹر کو نہیں پہچانتا، اس لیے v3 کو کنٹرول کرنے کے لیے اس پر انحصار نہ کریں۔

ڈیبگنگ کے دوران ایک وقت میں صرف ایک متغیر تبدیل کریں۔ پہلے سے پسند کی گئی ایک بنیادی آڈیو محفوظ رکھیں، پھر صرف استحکام یا ٹیگز میں سے ایک چیز تبدیل کریں، تاکہ تبدیلی کا اصل سبب درست طور پر معلوم ہو سکے۔

دوسرا مرحلہ: سانس کو گفتگو کی لے میں شامل کرنا

صرف آواز کے انداز بدلنے پر ٹیگز شامل کریں

ہر جملے میں ٹیگ شامل نہ کریں۔ ہر چھ سے دس جملوں کے گروپ میں دو یا تین ہلکے ٹیگز عموماً کافی ہوتے ہیں؛ بعد کے جملے پچھلے صوتی انداز کو جاری رکھ سکتے ہیں۔ اصل ورک فلو میں عام الفاظ low، close، quiet، soft اور unhurried تھے۔

[low and close to her ear, unhurried]
……过来。别躲。

……靠近一点。对。

[quiet laugh under the breath]
……急什么。

intense، heavy، growl، strained اور rough جیسے شدید الفاظ مکمل طور پر ناقابل استعمال نہیں، لیکن اصل جانچ میں ان سے آواز کے مبالغہ آمیز ہونے کا امکان زیادہ تھا۔ زیادہ قابل اعتماد حکمت عملی آواز کو پست، قریب اور سست رکھنے کی ہے، نہ کہ ماڈل سے زور لگا کر اداکاری کروانا۔

سانس کو وقفوں سے تشکیل دیں

بار بار heavy breathing لکھنے کے بجائے جملے کے آغاز، اختتام یا درمیان میں مناسب “……” شامل کرنے سے زیادہ قدرتی وقفے حاصل ہوتے ہیں۔ ہر گروپ میں صرف دو یا تین واضح سانسیں رکھیں اور انداز بدلتے رہیں، مثلاً ہلکا سانس خارج کرنا، جملے کے درمیان رکنا، مختصر طور پر سانس روکنا، مسکراہٹ کے ساتھ سانس خارج کرنا یا آدھی آواز پر رک جانا۔

ایک ہی سانس مسلسل دہرانے سے تکرار نمایاں ہو جاتی ہے۔ تخلیق کے بعد پورا حصہ سنیں، صرف الگ الگ جملے نہ جانچیں۔

ممکن ہو تو پورا حصہ ایک ساتھ تیار کریں

جب پورا پیراگراف ایک بار میں تیار کیا جائے تو سانس، جذبات اور زیر و بم کا تسلسل بہتر رہتا ہے۔ آٹھ جملوں کو الگ الگ تیار کر کے جوڑنے سے ہر ٹکڑا نئے آغاز جیسا لگ سکتا ہے۔ اگر براہ راست گفتگو کے لیے پورا حصہ تیار نہ کیا جا سکے تو دو جملوں یا تقریباً چالیس چینی حروف کا ایک بلاک بنائیں، اور ہر جملے کو الگ بلاک بنانے سے بچیں۔

سیاق منتقل کریں

v4 میں previous_text اور next_text کی حمایت موجود ہے۔ بلاک بہ بلاک تخلیق کرتے وقت پچھلا اور اگلا متن ماڈل کو دینے سے مشینی قرأت کا احساس کم کیا جا سکتا ہے۔ README میں خاص طور پر بتایا گیا ہے کہ v3 ان دونوں فیلڈز کی حمایت نہیں کرتا؛ v3 کو یہ فیلڈز دینے سے خرابی آ سکتی ہے، اس لیے ہر ماڈل کے لیے درخواست الگ بنائیں۔

غلط زبان روٹنگ سے بچیں

اگر پروگرام چینی حروف کے تناسب سے ماڈل یا زبان منتخب کرتا ہے تو پہلے مربع بریکٹ کے اندر موجود انگریزی ٹیگز الگ کریں۔ بصورت دیگر، ایک مختصر چینی جملہ بہت زیادہ انگریزی ٹیگز کی وجہ سے غلطی سے انگریزی سمجھا جا سکتا ہے۔ v4 استعمال کرتے وقت ایک ہی ماڈل برقرار رکھا جا سکتا ہے، جس سے چینی اور انگریزی کے درمیان تبدیلی کم ہوتی ہے۔

تیسرا مرحلہ: رفتار کو کنٹرول کرنا

اصل جانچ میں v4 کا speed پیرامیٹر متوقع نتیجہ نہیں دے سکا۔ v4 کو سست کرنے کے لیے پہلے متن میں قدرتی وقفے شامل کریں، پھر ffmpeg کے ذریعے زیر و بم برقرار رکھتے ہوئے رفتار کم کریں:

ffmpeg -i input.mp3 -filter:a "atempo=0.9" output.mp3

خالص انگریزی میں turbo ماڈل استعمال کرتے وقت README میں درج قابل استعمال ابتدائی نقطہ speed=0.84 ہے، اور جملوں کے درمیان وقفہ شامل کیا جا سکتا ہے:

<break time="0.4s"/>

ایک ہی حصے میں بہت زیادہ وقفے کے ٹیگز نہ بھر دیں۔ اصل جانچ میں زیادہ سے زیادہ تقریباً چھ ٹیگز کی سفارش کی گئی؛ اس سے زیادہ آؤٹ پٹ کو غیر مستحکم کر سکتا ہے۔

چوتھا مرحلہ: دوبارہ استعمال کے قابل بوسے کے مواد کا ذخیرہ بنانا

صوتی الفاظ براہ راست کیوں نہ لکھیں

جب ٹیکسٹ ٹو اسپیچ ماڈل سے بوسے کے صوتی الفاظ پڑھوائے جائیں تو عام نتیجہ قدرتی غیر لسانی آواز کے بجائے قابل شناخت ہجے یا حروف جیسا ہوتا ہے۔ صرف ایکشن ٹیگ لکھنے سے بھی نتیجہ عام ہمہمے میں بدل سکتا ہے۔ اسی لیے اصل پروجیکٹ نے “پہلے بڑی تعداد میں تخلیق، پھر تراشنے اور چھان بین” پر مبنی مواد کے ذخیرے کا طریقہ اپنایا۔

تیاری کے مراحل

1. ایک ہی آواز اور بوسے کے عمل پر مشتمل ایک ہی متن استعمال کرتے ہوئے مکمل طور پر پانچ یا چھ بار تخلیق کریں۔ اصل ورک فلو میں v4 اور stability=0.35 استعمال کیا گیا۔
2. خاموشی کی جانچ یا آڈیو ایڈیٹنگ ٹول کے ذریعے ہر آؤٹ پٹ میں موجود امیدوار غیر لسانی ٹکڑے تراش کر الگ کریں۔
3. Whisper سے ہر ٹکڑے کی نقل تیار کریں۔ جو ٹکڑے واضح حروف یا الفاظ میں نقل ہو جائیں، انہیں فوراً خارج کریں۔
4. فرق والی توانائی اور اصل توانائی کے تناسب کی جانچ کریں۔ اصل جانچ میں زیادہ قابل اعتماد ٹکڑے عموماً 0.2 سے زیادہ تھے؛ پڑھے گئے الفاظ والے ٹکڑے تقریباً 0.12 سے 0.16 تک تھے؛ عام ہمہمے عموماً 0.1 سے کم تھے۔ یہ اعداد مخصوص مواد سے حاصل ہوئے ہیں اور صرف ابتدائی حوالہ ہیں۔
5. انسانی سماعت سے منظور شدہ مواد سنیں اور ہلکے بوسے، نسبتاً گہرے بوسے اور مقام کی تبدیلی جیسی کیٹیگریز میں ترتیب دیں۔
6. استعمال کے وقت حالیہ غیر استعمال شدہ ٹکڑا بے ترتیب منتخب کریں، اور زیر و بم اور رفتار میں تقریباً 3% سے زیادہ کی معمولی تبدیلی نہ کریں۔ اصل ورک فلو میں صرف رفتار کم کرنے کی اجازت تھی، بڑھانے کی نہیں۔

خودکار چھان بین انسانی سماعت کا متبادل نہیں۔ README میں ایک ایسا ٹکڑا بھی سامنے آیا جس میں مسلسل سرسراہٹ تھی؛ Whisper نے اسے Sssss جیسا متن نقل کیا، لیکن جانچ کی کوتاہی کے باعث وہ حتمی نتیجے میں شامل ہو گیا۔ درست ورک فلو میں نقل شدہ متن، موجی شکل کے پیمانے اور حقیقی سماعت، تینوں کی جانچ ہونی چاہیے۔

پانچواں مرحلہ: حقیقی ماحول کی آواز سے دو ٹریک مکسنگ مکمل کرنا

مواد کا انتخاب

اصل ورک فلو میں تین طریقوں کا موازنہ کیا گیا: آواز کے ماڈل سے نقل کروانا، AI صوتی اثرات تیار کرنا، اور حقیقی ریکارڈنگ استعمال کرنا۔ آخرکار ایسی حقیقی ریکارڈنگ منتخب کی گئی جس میں انسانی آواز نہ ہو اور جس کا CC0 لائسنس واضح ہو۔ کسی بھی بیرونی ریکارڈنگ سے پہلے لائسنس کی تصدیق کریں اور ماخذ کا ریکارڈ محفوظ کریں۔

مستقل حجم سے براہ راست ضرب نہ دیں

ماحولیاتی ریکارڈنگ کی اوسط بلندی اور چوٹی میں بڑا فرق ہو سکتا ہے، اور اس میں طویل خاموش حصے بھی ہو سکتے ہیں۔ مستقل حجم کا ضریب براہ راست لگانے سے آواز بالکل سنائی نہ دینے یا انسانی آواز کو ڈھانپ لینے کا امکان رہتا ہے۔ زیادہ مستحکم طریقہ یہ ہے:

1. اصل مواد سے انسانی آواز کے قریب طوالت رکھنے والے دو ونڈوز بے ترتیب طور پر کاٹیں۔
2. دونوں ونڈوز کی چوٹی ناپیں اور اس ونڈو کا انتخاب کریں جس میں مؤثر آواز زیادہ ہو۔
3. ایسا گین حساب کریں کہ ماحول کی آواز کی چوٹی موجودہ انسانی آواز کی چوٹی سے تقریباً 12 dB کم ہو۔
4. ماحول کی آواز میں 0.5 سیکنڈ کا فیڈ اِن شامل کریں۔
5. انسانی آواز ختم ہونے کے بعد تقریباً 1 سیکنڈ کا آخری حصہ رکھیں اور تقریباً 1.4 سیکنڈ کا فیڈ آؤٹ استعمال کریں۔
6. اگر بوسے کے مواد میں پہلے ہی مطلوبہ صوتی کیفیت موجود ہو تو ماحول کی آواز دوبارہ شامل نہ کریں۔

ffmpeg مکسنگ کی مثال

فرض کریں انسانی آواز v.mp3 ہے، پہلے سے تراشا ہوا ماحول کا ونڈو w.wav ہے، GAIN چوٹیوں کو ہم آہنگ کرنے کے بعد حساب کیا گیا گین ہے، اور END فیڈ آؤٹ شروع ہونے کی پوزیشن ہے:

ffmpeg -i v.mp3 -i w.wav -filter_complex \
 "[1:a]volume=GAIN,afade=t=in:st=0:d=0.5,afade=t=out:st=END-1.4:d=1.4[w];\
  [0:a]apad=pad_dur=1.0[v];[v][w]amix=inputs=2:duration=first:normalize=0[a]" \
 -map "[a]" -c:a libmp3lame -q:a 2 out.mp3

normalize=0 بہت اہم ہے۔ README کی جانچ کے مطابق، اگر اسے چھوڑ دیا جائے تو amix انسانی آواز کو نمایاں طور پر کم کر سکتا ہے۔

مکسنگ کے ٹیگز کو قرأت کے ٹیگز سے الگ رکھیں

لکھنے کے مرحلے میں [low, close, wet] جیسے ٹیگز استعمال کیے جا سکتے ہیں، جہاں wet بعد از تیاری مکسنگ کا نشان ہو۔ پروگرام کو صوتی ماڈل سے درخواست بھیجنے سے پہلے یہ لفظ حذف کرنا ضروری ہے، تاکہ ماڈل صوتی اثر کی اداکاری کرنے کی کوشش نہ کرے؛ انسانی آواز واپس آنے کے بعد ٹیگ کے مطابق متعلقہ حقیقی مواد شامل کریں۔ جب اگلے ٹیگ میں یہ نشان موجود نہ ہو تو ماحول کی آواز کو فیڈ آؤٹ ہو جانا چاہیے۔

چھٹا مرحلہ: مکمل صوتی ٹریک تیار کرنا

اسکرپٹ کو تین اقسام کے بلاکس میں تقسیم کریں: عام مکالمے کے بلاکس ٹیکسٹ ٹو اسپیچ کو بھیجیں؛ خالص غیر لسانی بلاکس مواد کے ذخیرے سے منتخب کریں؛ ماحول کی آواز کے نشان والے بلاکس کے لیے پہلے انسانی آواز تیار کریں، پھر دو ٹریک مکسنگ کریں۔

مختلف ذرائع کی آڈیو کے نمونہ لینے کی شرحیں مختلف ہو سکتی ہیں، اس لیے جوڑنے سے پہلے انہیں یکساں کرنا چاہیے، مثلاً پہلے 44100 Hz میں تبدیل کریں:

ffmpeg -i input.wav -ar 44100 output.wav

نمونہ لینے کی شرح یکساں کرنے کے بعد، ffmpeg کا concat فلٹر استعمال کرکے اسکرپٹ کی ترتیب کے مطابق انہیں ایک ٹریک میں جوڑیں۔ جوڑنے کے بعد شروع سے آخر تک سنیں اور خاص طور پر حصوں کے درمیان آواز کے رنگ، پسِ منظر کے شور، بلندی اور سانس میں اچانک تبدیلیوں کو جانچیں۔

مرحلہ 7: براہِ راست کال کے لیے استعمال

ریئل ٹائم موڈ میں اصل مقصد انتظار کا وقت کم کرنا اور سیاق و سباق برقرار رکھنا ہے۔ الگ الگ سطروں میں موجود ٹیگز کے مطابق حصے بنائے جا سکتے ہیں، تاکہ نئے ٹیگ کے بغیر آنے والے جملے موجودہ آواز کے انداز کو برقرار رکھیں۔ دو جملے یا تقریباً چالیس چینی حروف جمع ہونے کے بعد تخلیق کی درخواست بھیجیں۔

1. موجودہ حصے کو چلاتے وقت پسِ منظر میں اگلا حصہ پہلے سے تیار کریں۔
2. v4 کو موجودہ حصے سے پچھلا اور اگلا جملہ منتقل کریں۔
3. خالص غیر لسانی حصے براہِ راست مواد کے ذخیرے سے لیں، دوبارہ متن سے آواز بنانے کی درخواست نہ کریں۔
4. آخری جملہ چلنے کے بعد ہی مائیکروفون کھولیں، تاکہ آوازیں ایک دوسرے پر نہ چڑھیں۔
5. اگر ترکیب ناکام ہو جائے تو صرف متن دکھائیں یا مختصر وقت کے لیے خاموش رہیں، عارضی طور پر کسی دوسری آواز کے انداز پر نہ جائیں۔

درمیان میں آواز کا انداز بدلنے سے کردار کی آواز میں پیدا ہونے والا انقطاع عموماً تقریباً ایک سیکنڈ کے وقفے سے زیادہ نمایاں ہوتا ہے۔ اس لیے کردار کی آواز کو یکساں رکھنا اولین ترجیح ہونی چاہیے۔

اعلیٰ درجے کی ڈیبگنگ کی تکنیکیں

مستقل تقابلی نمونہ بنائیں

ایک ایسی بنیادی آڈیو محفوظ کریں جس کے قدرتی ہونے کی تصدیق ہو چکی ہو۔ ہر بار صرف استحکام، ٹیگز، رموزِ اوقاف، ماڈل یا بعد از پروسیسنگ رفتار میں سے ایک چیز تبدیل کریں، پھر بنیادی ورژن کے ساتھ اندھا تقابلی سننے کا جائزہ لیں۔

تخلیقی ٹیگز اور بعد از پروسیسنگ ٹیگز کو الگ رکھیں

صوتی ماڈل کو صرف وہ آواز کے انداز والے ٹیگز دیں جنہیں اسے ادا کرنا ہے؛ ماحول کی آواز، مواد کی قسم اور مکسنگ کی شدت بعد از پروسیسنگ کے میٹا ڈیٹا کا حصہ ہیں، انہیں درخواست سے پہلے لازماً ہٹا دیں۔ اس سے ماڈل کو تیاری کی ہدایات پڑھنے یا صوتی اثرات کی نقالی کرنے سے روکا جا سکتا ہے۔

حالیہ استعمال کا ریکارڈ محفوظ کریں

مواد کے ذخیرے کے لیے حالیہ استعمال کی ایک قطار رکھیں، مثلاً حال ہی میں استعمال کیے گئے دس حصوں سے گریز کریں۔ اس سے تکرار کا احساس کم ہوتا ہے اور ہر بار مکمل طور پر بے ترتیب انتخاب کرنے کے مقابلے میں نتیجہ زیادہ مستحکم رہتا ہے۔

خودکار معیار کی حد

درج ذیل جانچوں کو آؤٹ پٹ پائپ لائن میں شامل کیا جا سکتا ہے:

• کیا Whisper نے ایسے الفاظ نقل کیے ہیں جو موجود نہیں ہونے چاہییں۔
• کیا انسانی آواز اور ماحول کی آواز کے بلند ترین درجوں کا فرق ہدفی قدر کے قریب ہے۔
• کیا نمونہ لینے کی شرح یکساں ہے۔
• کیا آؤٹ پٹ کے اختتام پر قدرتی آخری آواز برقرار ہے۔
• کیا درخواست میں استعمال ہونے والا ماڈل منتقل کیے گئے پیرامیٹرز کو سپورٹ کرتا ہے۔
• کیا زبان کی شناخت سے پہلے انگریزی ٹیگز حذف کر دیے گئے ہیں۔

لاگت، اجازت اور مواد کی حدود

README میں درج ہے کہ Creator منصوبہ استعمال کیا گیا، جس کی قیمت 22 امریکی ڈالر ماہانہ اور تقریباً 12 لاکھ چینی حروف کا کوٹا ہے؛ پہلی بار آواز کا انداز ڈیزائن کرنے میں تقریباً تین ہزار حروف خرچ ہوئے، جبکہ روزمرہ استعمال چند سو سے دو ہزار حروف تک رہا۔ README میں یہ بھی ذکر ہے کہ اس وقت v4 پر محدود مدت کی رعایت موجود تھی، اس لیے حقیقی قیمت، کوٹا اور بلنگ کا طریقہ استعمال کے وقت سرکاری صفحے کے مطابق ہونا چاہیے۔

تمام مواد میں صرف واضح طور پر بالغ افراد شامل ہونے چاہییں۔ ایسے کرداروں کی تشکیل یا مبہم عمر کے اظہار استعمال نہ کریں جنہیں نابالغ سمجھا جا سکتا ہو۔ پلیٹ فارم متن کی بنیاد پر جانچ کرتا ہے، اور خلاف ورزی کرنے والے مواد کے نتیجے میں اکاؤنٹ معطل ہو سکتا ہے۔

دوسروں کی ریکارڈنگ استعمال کرتے وقت اجازت کی تصدیق لازمی ہے۔ اگر مواد مفت ڈاؤن لوڈ کیا جا سکتا ہو تب بھی اس کا مطلب یہ نہیں کہ اسے دوبارہ تقسیم یا تجارتی استعمال کی اجازت ہے۔ اصل عمل میں صرف CC0 مواد استعمال کیا گیا اور ہر فائل کے ماخذ کا ریکارڈ رکھا گیا۔

نتیجہ

قدرتی اور قریبی نوعیت کی آواز صرف طاقتور ٹیگز کے انبار سے حاصل نہیں ہوتی۔ زیادہ قابلِ اعتماد طریقہ یہ ہے کہ صوتی ماڈل کو مکالمے، ہلکے جذبات اور سانس کی لے پر مرکوز رکھا جائے، غیر لسانی آوازوں کو نقل سے گزارے گئے اور انسانی سماعت کے ذریعے منتخب کیے گئے مواد میں تقسیم کیا جائے، پھر ffmpeg کے ذریعے بلند ترین سطح کی مطابقت، دھیرے دھیرے آواز بڑھانے اور گھٹانے، اور جوڑنے کا عمل مکمل کیا جائے۔

کم سے کم ورژن سے شروع کریں: پہلے مستحکم دو لسانی آواز کا انداز تیار کریں، پھر پورے حصے کی تخلیق اور سیاق و سباق کی منتقلی کی تصدیق کریں، اس کے بعد مواد کا ذخیرہ اور ماحول کی آواز شامل کریں۔ ہر مرحلے پر بنیادی نمونہ محفوظ کریں اور صرف ایک متغیر تبدیل کریں؛ عموماً مسلسل مزید ٹیگز شامل کرنے کے مقابلے میں اس طریقے سے قدرتی، یکساں اور دوبارہ قابلِ استعمال نتیجہ حاصل کرنا آسان ہوتا ہے۔