آنچه خواهید خواند
بهبود صدای هوش مصنوعی با مدل Piper TTS
بهبود صدای هوش مصنوعی موضوع آزمایشی است که در این گزارش بررسی میشود. یک توسعه‌دهنده سال‌ها پیش یک سیستم اتوماسیون خانگی را سرهم کرد که اخیراً از صداهای Piper TTS (تبدیل متن به گفتار) برای اهداف مختلف استفاده میکند. او که از صداهای استاندارد رباتیک موجود راضی نبود، آزمایشی را برای تنظیم دقیق مدل صوتی هوش مصنوعی Piper TTS با استفاده از یک شبیه‌سازی از یک عبارت واحد ایجادشده توسط یک صدای TTS تجاری به عنوان نقطه شروع، آغاز کرد.
تفاوت اجرای مدل و آموزش صدا
قبل از انتشار Piper TTS در سال 2023، سیستم‌های TTS رایگان موجود مانند espeak و Festival صدایی رباتیک و تخت داشتند. Piper خروجی بسیار طبیعی‌تری را بدون نیاز به منابع گسترده برای اجرا ارائه داد. برای تغییر سبک صدا، مدل هوش مصنوعی Piper میتواند از ابتدا بازآموزی شود یا با تلاش کمتری تنظیم دقیق شود.
در حالت دوم، مسئله‌ای که ابتدا باید حل شود این بود که چگونه حجم لازم از عبارات آموزشی را برای اجرای تنظیم دقیق مدل هوش مصنوعی Piper تولید کنیم. این مشکل با استفاده از یک مدل هوش مصنوعی سنگین به نام ChatterBox حل شد که قادر به اصطلاح آموزش zeroshot است.
آماده‌سازی داده‌های صوتی
آموزش با مجموعه‌ای از عبارات آزمایشی در قالب متن آغاز شد تا پوشش مناسبی از زبان انگلیسی روزمره تضمین شود. توسعه‌دهنده از ChatterBox برای شبیه‌سازی صدا از یک عبارت آزمایشی واحد تولیدشده توسط یک سیستم TTS مرموز استفاده کرد و 1300 عبارت آزمایشی از این صدای جدید ایجاد کرد. این مجموعه صوتی به عنوان داده آموزشی برای تنظیم دقیق مدل هوش مصنوعی Piper بر روی دستگاه GPU متصل‌شده استفاده شد.
بررسی تطابق صدا با متن
برای بررسی صحت، توسعه‌دهنده از نرم‌افزار Whisper OpenAI برای رونویسی صدا به متن استفاده کرد تا با مجموعه متن اصلی مقایسه کند. برای غلبه بر مشکلات مربوط به نشانه‌گذاری و تفاوت‌های بین انگلیسی آمریکایی و بریتانیایی، متن با استفاده از espeakng به آواها تبدیل شد که منجر به دقت 98٪ در تطبیق عبارت شد.
پس از نمونه‌برداری از مجموعه آموزشی با استفاده از SoX، برای سیستم آموزش Piper TTS آماده شد. با وجود تمام آمادگی‌ها، اجرای نرم‌افزار کمی ناامیدکننده به نظر میرسید.
چند ناسازگاری در مجموعه داده، حذف برخی از نقاط داده را ضروری کرد. پس از پنج روز آموزش TensorBoard نشان داد که تابع زیان مدل در حال همگرایی است. این نتیجه بخشی از ارزیابی روند آموزش بود؛ کیفیت خروجی نهایی باید با شنیدن نمونه‌های تولیدشده نیز بررسی شود.
برای ارزیابی خروجی به چه چیزهایی توجه کنیم؟
برای بررسی بهبود صدای هوش مصنوعی، پیشنهاد میشود چند جمله کوتاه و بلند با نشانه‌گذاری متفاوت انتخاب شود. نام‌ها، اعداد و واژه‌هایی که در کاربرد روزمره تکرار میشوند نیز در این نمونه‌ها قرار بگیرند. سپس همان متن با صدای اولیه و نسخه تنظیم‌شده خوانده شود تا مقایسه روشن‌تری از نتیجه به دست آید.
در این مقایسه فقط شبیه‌بودن جنس صدا مهم نیست. تلفظ درست، جای مکث‌ها و قابل‌فهم‌بودن جمله هم باید شنیده شوند. برای نمونه، صدایی که یک جمله کوتاه را طبیعی میخواند ممکن است در یک متن طولانی به بررسی بیشتری نیاز داشته باشد. بهتر است متن آزمایش عیناً همان جملات استفاده‌شده در آموزش نباشد.
کلام آخر
Piper یک موتور تبدیل متن به گفتار با امکان اجرای محلی است. این ویژگی را باید از فرایند ساخت یا تنظیم مدل صوتی جدا دانست؛ استفاده از یک صدای آماده با آماده‌سازی داده و آموزش صدای تازه یک کار یکسان نیست. گزارش حاضر تجربه یک پروژه مشخص است و نتیجه آن را نباید تضمینی برای تمام صداها و زبان‌ها در نظر گرفت.
برای دنبال‌کردن نمونه دیگری از ابزارهای گفتاری، بخش Octave TTS در گزارش تحولات هوش مصنوعی و ابزارهای جدید نیز به موضوع تبدیل متن به گفتار میپردازد.
پاسخگوی سوالات شما هستیم
دیدگاهی وجود ندارد!