EVA-Bench Data 2.0: Үш сала, 121 құрал, 213 сценарий

Кіріспе

Жасанды интеллект негізіндегі дауыстық агенттердің қызметі көбінесе белгілі бір салаға тәуелді болады. Мысалы, авиакомпанияның клиенттерге қызмет көрсету жүйесіндегі алфавит-сандық растамаларды дәл өңдей алатын агент, кадрлық бөлімдегі күрделі саясаттарды дұрыс түсіне алмауы мүмкін. Әр сала агенттің сөздік қорына, жұмыс үрдістерінің күрделілігіне және пайдаланушылардың талаптарына сай икемделуін талап етеді. EVA-Bench Data 2.0 осы ерекшеліктерді ескере отырып, бір ғана саладан үш салаға кеңейтіп, бағалау ауқымын төрт есеге арттырды. Бұл жаңарту жасанды интеллект жүйелерінің әмбебаптығын және шынайы кәсіпорындардың әртүрлі қажеттіліктерін терең зерттеу мүмкіндігін береді.

Негізгі түсіндірме

EVA-Bench Data 2.0 бағалау жиынтығы үш салаға арналған: Авиациядағы клиенттерге қызмет көрсету (CSM), кәсіпорындағы ақпараттық технологиялар қызметін басқару (ITSM) және денсаулық сақтау саласындағы кадрлық қызметтер (HRSD). Олардың құрамында 213 сценарий және 121 әртүрлі құрал енгізілген. Бұл масштабтау міндетті түрде дауыстық агенттердің әр түрлі жағдайлар мен күрделіліктерге қалай жауап беретініне нақты баға беру үшін жасалған.

Әр сценарий үш алдыңғы қатарлы модельге (OpenAI GPT-5.4, Google Gemini 3.1 Pro, Anthropic Claude Opus 4.6) қарсы сәттілікпен сыналған. Бұл сынақтардың нәтижелері әділ және күрделі талаптарды көрсетеді. EVA-Bench әдетте ашық деректер ретінде қолжетімді, сондықтан зерттеушілер мен әзірлеушілер еркін түрде жаттыға алады.

Деректерді құрудың негізгі қағидалары

Бағалау жиынтығы бес негізгі принципке негізделген:

• Дауыстық бірінші бағыт: Жиынтық тек дауыспен орындалатын тапсырмаларды қамтиды, кәсіпорындардың телефон арқылы жүзеге асырылған нақты жұмыстары таңдалды.
• Реализм: Сценарийлер нақты платформа API үлгілеріне сәйкес құрылып, саяси шектеулер мен нормативтік талаптардың негізінде жасалған.
• Әртүрлілік: Бірдей тапсырмаларды қайталау арқылы масштабтау қажетті бағалау сигналын қамтамасыз етпейді. Сондықтан бір, көп мақсатты және қиындатылған әңгімелер қамтылған.
• Аутентификация: Агенттердің жиі сәтсіздікке ұшырайтын бөлігі болғандықтан, барлық сценарийлерде нақты аутентификация механизмдері қосылған.
• Қайталау және дәлдік: Әр сценарийдің тек бір дұрыс шешім бағыты бар, бұл өлшем нәтижелерінің шынайылығын арттырады.

Контекст және мысалдар

EVA-Bench Data 2.0 жобасы кәсіпорындардың нақты қажеттіліктерін толық қамту мақсатында құрылды. Мысалы, авиация саласында сценарийлер рейстерді қайта брондау немесе кодтық растауды дәл өңдеу сияқты нақты тапсырмаларды қамтиды. Ақпараттық технологиялар саласында жүйелік әкімшіліктік тапсырмалар мен техникалық қолдау барынша дәл модельденген. Денсаулық сақтау саласында сценарийлер АҚШ-тың денсаулық сақтау саясаты мен ережелерін ескеріп, нақты кадрлық әкімшіліктік міндеттерге негізделеді, мысалы, медициналық сақтандыру мен жұмыссыздық демалысын рәсімдеу.

Әрбір сценарий SyGra атты граф арқылы синтетикалық дерек генерациялау жүйесі көмегімен жасалады, оның негізінде GPT-5.4 моделі жатыр. Бұл тәсіл пайдаланушы мақсатының, бастапқы және соңғы мәліметтер базасының үйлесімділігін қамтамасыз етеді. Әр жағдай нақты және қайталанатын сынақтар үшін айрықша конструкцияланған, пайдаланушының ниеті шешім ағашы түрінде анықталады. Сондай-ақ сценарийлер белгілі бір саясаттар мен талаптарға сәйкестігін бірнеше деңгейлі валидациядан өткізеді.

Практикалық маңызы

Бұл бағалау жиынтығы дауыстық агенттерің дәлдігін, тұрақтылығын және әртүрлі саладағы икемділігін анықтауға мүмкіндік береді. Әзірлеушілер өз дауыстық ассистенттерін 35-те астам жұмыс үрдісі мен әртүрлі тестілік жағдайлар аясында сынақтан өткізе алатындықтан, өнімнің сапасы мен пайдаланушымен өзара әрекеттесу сапасы жақсарады. Сонымен қатар EVA-Bench деректерінің ашық болуы инновацияларды жылдамдатуға және басқа зерттеушілер мен компаниялардың жобаларын жетілдіруге зор септігін тигізеді.

Кәсіпорындар бұл жиынтық арқылы нақты жұмыс үрдістерін автоматтандыру тиімділігін бағалай алады. Сондықтан EVA-Bench жаңа деңгейдегі сапа мониторингін ұсына отырып, дауыстық интерактив технологиялардың бизнес-процестерге ықпалын арттыруға мүмкіндік береді.

Қорытынды

EVA-Bench Data 2.0 дауыстық агенттердің кәсіби қолданылуына бағытталған жоғары сапалы, кеңейтілген және нақтыланған бағалау жиынтығы. Үш сала мен жүзден аса құрал мен екі жүзден астам жұмыс сценарийі жаңа деңгейдегі сенімділік пен әмбебаптықты қамтамасыз етеді. Осылайша EVA-Bench жасанды интеллектіні нақты кәсіпорын талаптарына дәл бейімдеп, дамудың келесі қадамы болып табылады.

TAGS: жасанды интеллект, дауыстық агент, кәсіпорын, бағалау жиынтығы, EVA-Bench, автоматтандыру, деректер жинағы

Дереккөз: Hugging Face Blog