Open TTS Leaderboard: Көптілді мәтінді дауысқа айналдыру және дауыс көшірмесі технологиясын масштабталған бағалау

Кіріспе

Мәтінді дауысқа айналдыру (ТДА) технологиялары соңғы жылдары қарқынды дамып, ашық бастапқы кодты жобалар саны айтарлықтай өсті. Hugging Face платформасында 2026 жылдың қыркүйек айына қарай 8 мыңнан астам ТДА моделі жарияланған. Бұл саладағы жетістіктер өте маңызды, себебі ТДА технологиялары адам-компьютер арасындағы қарым-қатынасты жаңа деңгейге көтеріп, қолжетімділікті және қызмет сапасын арттырады. Дегенмен, осындай саланың даму қарқынына сәйкес келетін сенімді, стандартталған бағалау құралдарының жоқтығы мәселесін туғызды.

Негізгі түсіндірме

ТДА модельдерін бағалауда ең дәстүрлі әдіс – адам таңдауына негізделген көрсеткіштер (мысалы, MOS немесе MUSHRA). Бұл әдістер арнайы алаңдарда (TTS Arena, Artificial Analysis, Voice Arena) модельдерді салыстырып, пайдаланушылардан қай модельдің дыбысы сапалырақ екенін анықтауды талап етеді. Әрбір модельдің ранжирлеуі бойынша Эло ұпайы есептеледі. Дегенмен, адам бағалауының масштабталуы қиын әрі уақытты қажет етеді. Бұл ашық бастапқы кодты модельдердің арена стиліндегі рейтингіде аз өкілді болуына себепші болуы мүмкін, өйткені API арқылы жұмыс істейтін коммерциялық модельдерге қарағанда оларды орналастыру мен сервистеу көп күш-жігер талап етеді.

Сонымен қатар, арена әдісіндегі дауыстардың біркелкілігі мен тұрақтылығы, бағалаушылардың субъективті факторлары уақыт өте өзгеруі мүмкін. Осындай күрделіліктерді жеңілдету үшін Open TTS Leaderboard құрастырылды. Бұл жүйе үлгілерді объективті көрсеткіштер бойынша салыстырады:

• Түсініктілік – дыбыстық мәтіннің дәлдігін автоматты тану жүйесі (Qwen3 ASR) көмегімен сөз және таңба қателіктерінің деңгейі (WER және CER) арқылы анықталады.
• Жылдамдық – H200 графикалық процессордағы топтық офлайн жүгіріс үшін шынайы уақыт коэффициенті (RTFx) және біріктірілген жүктеме көлемін есептеуге арналған бірінші аудио уақыты (TTFA).
• Дауыс ұқсастығы – мәтіннің дауыс пен оның үлгі көшірмесі арасындағы жақындығын WavLM дауыс эмбеддингтерінің косинустық ұқсастығы арқылы бағалау.

Бұл тәсілдер адамның бағалауына толық балама емес, бірақ жылдам және шынайы нәтиже алу үшін пайдалы. Сонымен бірге рейтингілік алаңдарға қандай модельдерді қосу керектігін анықтауда қосымша ақпарат ретінде қызмет етеді.

Контекст және мысалдар

Open TTS Leaderboard-тың негізгі ерекшелігі – көптілді бағалауды қолдауы. Мысалы, ағылшын тіліндегі бағалау Seed TTS Eval және CV3 Eval мәліметтер жиынтықтарында жүргізіледі, ал Қытай, Жапон, Корей сияқты таңбаланып жазылатын тілдер үшін таңба қателіктері көрсетіледі. Көптілді модельдердің қатарында k2-fsa/OmniVoice, fishaudio/s2-pro, FunAudioLLM/Fun-CosyVoice3-0.5B-2512 үлгілері ерекше орын алады.

Дауыс көшірмесі опциясы да енгізілген, бұл функционал ұқсастық бағанасындағы коэффициент арқылы бағалануда. Кейбір үлгілер, мысалы bosonai/higgs-tts-3-4b және openbmb/VoxCPM2, бұл режимде жақсы нәтижелер көрсетті, яғни түпнұсқа дауыстың ерекшелігін жақсы сақтайды.

Қолданушылар дыбыстарды тыңдап, өздерінің ұнатқан үлгілеріне дауыс бере алады. Бұл “Listen” қойындысы арқылы жүзеге асады, өйткені сандық көрсеткіштер модель сапасының барлық қыр-сырын білдіре алмайды. Пайдаланушының пікірлері мен тәжірибесі модельді нақты тұтынудағы орны мен әсерін көрсетеді.

“Streaming” бөлімінде аудио шығару жылдамдығыны бағалайды. Бұл көрсеткіш интерактивті қосымшалар мен дауыстық ассистенттер үшін өте маңызды, себебі пайдаланушының жауап алу уақыты қысқа болуы тиіс. kyutai/pocket-tts моделі осы тұрғыда жақсы нәтиже беріп, бір уақытта GPU мен CPU-да да үнемді жұмыс істейді.

Практикалық маңызы

Жаңа бағалау жүйесінің ең басты артықшылығы – әр модельдің әмбебап және нақты сипаттамалары бойынша салыстырмалы талдау жүргізілуі. Бұл модельдерді жылдам әрі сенімді түрде іріктеуге көмектеседі, сондай-ақ ашық бастапқы кодты қосымшалардың дамуына серпін береді. Қоғамдық пікірді ескеру арқылы жүйе дамуда, талдаулар өзекті ақпаратты ұсына алады.

Қолданушылары мен әзірлеушілерге өздерінің ұсыныстарын GitHub жүйесі арқылы жіберуге мүмкіндік берілген, бұл ашықтығын және икемділігін арттырады. Алдағы уақытта бағалау сценарийлері де ашық көзі етіп жарияланады, бұл зерттеулер мен тәжірибелерді кеңейтуге септігін тигізеді.

Қорытынды

Open TTS Leaderboard ТДА технологияларының дамуын қолдап, бағалауды жүйелі, айқын және көптілді есептер бойынша жүзеге асырады. Бұл модельдерді салыстырғанда объективті көрсеткіштерді және пайдаланушы пікірлерін үйлестіреді. Жүйе ашықтық пен қоғам қарым-қатынасына негізделіп, ТДА саласындағы жаңа жетістіктерді тиісті деңгейде анықтауға мүмкіндік жасайды.

Дереккөз: Hugging Face Blog