Benchmaxxer Repellant қосылған Open ASR көшбасшы тақтасы

Жасанды интеллект саласындағы автоматты сөйлеуді тану (ASR) технологиялары үздіксіз дамуда. Осы үрдісте шақырылатын Open ASR көшбасшы тақтасы – сөйлеуді тану жүйелерінің сапасын бағалау және салыстыру үшін ашық платформа ретінде маңызды рөл атқарады. Дегенмен, дәл, сенімді және әділ бағалау жүргізу үшін жаңа тәсілдер қолдануға тура келеді. Benchmaxxer Repellant енгізуі сол мәселелерді шешуге бағытталған маңызды қадам ретінде қарастырылады.

Benchmaxxer Repellant деген не және оның маңызы

Benchmaxxer Repellant дегеніміз – бәсекеге қабілетті модельдердің көшбасшы тақтасында артықшылық алу үшін тест жиынтығын ерекше әдістермен «жақсартуын» тежеуге арналған механизм. Басқаша айтқанда, бұл шынайы көрсеткіштерді бұрмалауды болдырмайтын құрал. Машина оқыту жүйелерін бағалау кезінде, әсіресе ауызша тілге қатысты модельдерде, тестілік деректерді немесе олардың құрылымын «зерттеп», арнайы оң нәтиже алу жағдайы жиі кездеседі. Бұл жағдай әділ бәсеке мен ғылыми прогреске кері әсер етеді.

Benchmaxxer Repellant енгізу арқылы Open ASR көшбасшы тақтасында дәлдік пен тұрақтылықты арттыруға, сондай-ақ шынайы әлемдегі күрделі әрі әртүрлі жағдайларға да жауап бере алатын жүйелерді әділ бағалауға бағытталған жұмыстар жеңілдейді.

Жаңа жеке деректер жиынтықтары мен олардың рөлі

Open ASR көшбасшы тақтасын дамыту аясында Appen Inc. және DataoceanAI компаниялары бірқатар жоғары сапалы, жеке ағылшын тіліндегі сөйлеуді тану деректер жиынтықтарын ұсынды. Бұл жиынтықтар құрамында әртүрлі акценттер бойынша жазылған, скрипттелген (даярланған мәтін бойынша) және ынталандырулы (тәуелсіз әңгімелесу түрінде) аудио материалдары бар. Жекелік негізде сақталуының себебі – деректердің ашықтауы арқылы benchmaxxing тәуекелін азайту, яғни тестілік жиынтықтың нәтижелерді бұрмалау үшін пайдаланылмауын қамтамасыз ету.

Жеке деректер жиынтықтары:

• Appen Scripted (Австралия, Канада, Үндістан, АҚШ акценттері)
• Appen Conversational (Үндістан, АҚШ акценттері)
• DataoceanAI Scripted (АҚШ, Ұлыбритания акценттері)
• DataoceanAI Conversational (АҚШ, Ұлыбритания акценттері)

Деректердің әртүрлігі модельдерді бағалауда көпқырлылықты көрсетеді: оқылған мәтін мен еркін әңгімелесу арасындағы айырмашылықтар, акценттердің ерекшеліктері беріледі. Бұдан бөлек, алынған транскрипттердегі тыныс белгілері, сөздердің бас әріппен жазылуы, дыбыстық кідірістер мен сөйлеу ерекшеліктері қамтылған.

Стандарттау және ашықтық қағидалары

Open ASR көшбасшы тақтасының тиімді жұмыс істеуінің негізі – деректер мен модель нәтижелерінің стандарттауымен қамтамасыз ету. Модельдердің әртүрлі транскрипция жолдарын пайдалануын біріздендіру үшін арнайы қалыпқа келтіргіш құралдар қолданылады. Бұл құрал тыныс белгілерін, бас әріптерді алып тастау арқылы American English мәтініне сәйкестендіріп, нәтижелерді салыстыру мүмкіндігін арттырады.

Сонымен қатар, интерфейс пен бағалау сценарийлерінің ашық коды қоғамдастық тарапынан үнемі жетілдіріліп отырады. Бұл өзекті модельдерді оңай қосып, бағалау сапасын арттыруға ықпал етеді.

Модельдерді бағалаудың әдіснамасы және ерекшелігі

Барлық тест жиынтықтарының нәтижелері ортақ платформада үнемі жаңартылып, орташа сөз қателігі (WER) арқылы өлшенеді. Дегенмен жеке деректер жиынтықтары орташа көрсеткішке әдепкі қосылмайды, бұл модельдердің жеке жиынтыққа тәуелді нәтижелерін азайту үшін жасалған. Қалаған қолданушы жеке жиынтықтарды қосып, модельдердің сол жиынтықтағы көрсеткіштерін көруге мүмкіндік алады.

Бағалау көрсеткіштері бірнеше топқа бөлінеді: оқылған мәтін (scripted), әңгімелесу стиліндегі (conversational), американдық және американдық емес акценттер. Әр топтың көрсеткіштері жеке есептеліп, жалпы бағаға әсері төмендетіледі. Бұл тәсіл әртүрлі бағыттағы модель ерекшеліктерін нақты көрсетуге арналған.

Практикалық маңызы және алдағы бағыт

Benchmaxxer Repellant пен жеке деректер жиынтықтарын пайдалану Open ASR көшбасшы тақтасының шынайы әлемдегі ерекшеліктерді ескеріп, модельдерді әділ әрі жан-жақты бағалауға мүмкіндік береді. Бұл, өз кезегінде, ASR жүйелерінің нақты қолдану аймақтарындағы сенімді әрі тиімді жұмыс жасауын ынталандырады.

Қазірдің өзінде көшбасшы тақтасына 710 мыңға жуық келуші тіркелген, бұл технологияға деген үлкен қызығушылықты көрсетеді. Жаңа «жеке деректер» бөлімі мен бағалау параметрлерінің икемділігі пайдаланушыларға өзінің қажеттіліктеріне сәйкес модельдердің шынайы шеберлігін анықтауға жәрдемдеседі.

Алдағы уақытта қолайсыз, шуақты немесе мәтіні үйлеспейтін ауызша деректерді қамтитын жаңа бағалау әдістері енгізілмек. Бұл тағы да ASR жүйелерін жетілдіруге ықпал етеді.

Қорытынды

Benchmaxxer Repellant механизмін енгізу және жеке сапалы деректер жиынтықтарының қосылуы Open ASR көшбасшы тақтасының әділ, стандартталған және шынайы жағдайларды ескеретін платформасына айналуына ықпал етеді. Ашықтық пен сапа қағидаттарын ұстана отырып, бұл жүйе сөйлеуді тану технологияларының дамуына және олардың нақты өмірдегі қолданылуына теңдессіз қолдау көрсетеді.

TAGS: автоматты сөйлеуді тану, Benchmaxxer Repellant, Open ASR көшбасшы тақтасы, жасанды интеллект, деректер жиынтықтары, бағалау стандарты, сөйлеу технологиялары

Дереккөз: Hugging Face Blog