The Open ASR Leaderboard-ге Жалпы Оңтүстік Тілдері қатарынан Бірінші Тіл Қосылды

Кіріспе

Open ASR Leaderboard – автоматты дауыс тану модельдерін бағалап, салыстыруға арналған ашық платформа. Оның маңызы – қай модельдің нақты нәтижеге жақын екенін айқындап, өнеркәсіп пен зерттеу саласында ең үздік технологияларды анықтау. Бұл алаңға алғаш рет жалпылай Оңтүстік тілділерге жататын тілдерден, атап айтқанда үнді тілінен (Hindi) жаңа тест жиынтығы енгізілді. Мұндай қадам автоматты дауыс танудың әмбебаптығын арттырып, көпшілік тілдерді қамту деңгейін кеңейтті.

Негізгі түсіндірме

Open ASR Leaderboard-дің негізгі міндеті – әртүрлі тілдердегі автоматты сөйлеу тану жүйелерінің тиімділігін әділ әрі сенімді түрде өлшеу. Бұрынғы тест жиынтықтарында негізінен еуропалық тілдерге басымдық берілді. Осыған байланысты үнді күллі эн шешуші себебі болып саналады, себебі үнді тілінде жарты миллиардтан астам адам сөйлейді. Сондықтан үнді және үнді ағылшын тілдерінің алғашқы жиынтықтарын қосу, жүйенің тілдік кеңейтілуін нақты көрсетеді.

Жаңа қосылған Monsoon жиынтығы – әр түрлі ерекшеліктері бар деректер топтамасы. Мысалы, география, жас, жыныс, қолданылған құрылғы, дыбыс ортасы, сөздік қоры және тілдік акцент секілді факторлар ескерілді. Бұл тәсіл ASR модельдерінің шынайы өмірдегі әртүрлі қолданушыларға қалай қызмет көрсететінін айқын көруге мүмкіндік береді.

Тест жиынтығының құрамын жобалау

Monsoon жиынтығы төрт бөлікке бөлінген: үнді ағылшыны мен үнді тілінің екі түрлі топтамалары (қоғамға ашық және жабық). Барлығы 4 888 тыңдаушы қатыстырылып, олардың әрқайсысына 12 түрлі метадеректер ақпараттары тіркелген. Бұл метадеректер тұлғаның жынысы, жасы, тұрғылықты аймағы, білім деңгейі, кәсібі, құрылғы түрі сынды ақпараттарды қамтиды. Бұл әдістеме дәстүрлі, тегін жазылған аудиоларды пайдалану арқылы түрлі жағдайларды қамтып, әділ және жан-жақты сынақ құруға жол ашты.

Контекст және мысалдар

VoiceArena және Hugging Face ұйымдарының бірлескен жобасы нәтижесінде үнді тіліндегі алғашқы тест жиынтығы қосылды. Тест арқылы үнді ағылшын және үнді тілінде жүздеген аудармашылардың дауыс деректері жиналды. Бұл әртүрлі аймақтарда, әртүрлі құрылғылар мен acoustics жағдайында жүргізілген сөйлеу жазбаларының жиынтығы болып табылады.

Мысалы, үнді ағылшын тілінде 2 849 белсенді қатысушы түрлі мемлекеттер мен аудандардан хабарламалар жеткізген, ал үнді тіліндегі топтамалар 2 039 тыңдаушының әңгімелерін қамтыды. Әрбір аудиожазба шамамен 6-10 секундқа созылады және ол нақты адамдардың өздері еркін сөйледі.

Мұндай кең ауқымды дерек жиынтығы арқылы әділ еместікпен – әсіресе нәсілдік, жыныстық, жастағы және акценттік айырмашылықтар мәселесін анықтауға көбірек мүмкіндік туады, себебі дәстүрлі жүйелер көбінесе белгілі тілдік контексттермен шектелген.

Практикалық маңызы

Жаңа үнді тілі тест жиынтығы автоматты дауыс тану жүйелерін көпжақты бағалауға мүмкіндік берді. Бұл жүйелерді әзірлеушілерге модельдерін әртүрлі жағдайда сынау, кемшіліктерін түзету үшін құрылған. Мәселен, үнді тіліндегі орфографияның көп түрлілігі үшін ерекше транскрипция формасы – lattice жүйесін қолдану енгізілді. Ол бірнеше орфографиялық нұсқауларды дұрыс деп таныйды, бұл үнді тілінің ерекшелігін ескеру үшін маңызды.

Сонымен қатар, үлгілеудің негізді метрикаларына қол жеткізу үшін жеке және қоғамдық жиынтықтар бөлек сақталған. Бұл да модельдерді аса баптаудан (overfitting) қорғап, адал бағаны қамтамасыз етеді. Осындай әдіс-тәсілдер арқылы әзірленген модельдер шын өмірлік әртүрлі пайдалану жағдайларында жақсы жұмыс істейді.

Қорыта айтқанда, үнді тілінің тест жиынтығы жүйенің көптеген қолданушыларға тең дәрежеде қызмет көрсетуін арттыруда маңызды қадам саналады және ASR технологиясының дамуына тілдік әртүрлілікті тереңірек енгізуге жол ашады.

Қорытынды

Open ASR Leaderboard-ге үнді тілінің қосылуы автоматты дауыс тану саласындағы тілдік алаңның кеңеюін білдіреді. Monsoon жобасы түрлі жастағы, ағымдағы мекен-жайы мен құрылғысындағы мыңдаған қазақ етеді және әртүрлі акценттерді қамти отырып, әділ бағалаудың жаңа стандартын анықтады. Бұл модельдердің артықшылықтары мен кемшіліктерін жан-жақты көре алу арқылы, нақтылық пен әділдікті арттырады. Осы қадам AI технологиясын көпұлтты әрі көптілді жағдайда сапалы пайдаланудың жаңа деңгейіне көтереді.

TAGS: автоматты дауыс тану, үнді тілі, Open ASR Leaderboard, жасанды интеллект, дыбыстық деректер, тілдік әртүрлілік, Hugging Face

Дереккөз: Hugging Face Blog