ТАҚЫРЫП Жасанды интеллект агенттерінің тапсырманы сәтті орындауы мен оның сенімділігі: тұрақтылықтың маңызы

Кіріспе

Жасанды интеллект агенттері күрделі міндеттерді орындауда елеулі табысқа жетті. Дегенмен, бір орында бірдей тапсырманы қайталау кезінде олардың нәтижелерінің әртүрлі болуы – техникалық тұрғыдан маңызды мәселе. Бұл сенімділік пен тұрақтылық мәселесі, оның шешілуі қолданушылардың нақты өмірдегі талаптарына сәйкес келеді. Сондықтан агенттің бір мәрте табысты жұмыс істеуі оның үнемі сол деңгейде қызмет ететінін білдірмейді. Жасанды интеллект саласында бұл проблеманы байқау және шешу агенттердің сапасын арттырады.

Негізгі түсіндірме

Жасанды интеллект агенттерінің нақты бір тапсырманы бірнеше рет орындағандағы нәтижелері әрқалай болуы мүмкін. Көп жағдайда бағалау көрсеткіштері орташа көрсеткіштермен беріледі, яғни агенттің белгілі бір тапсырмада орта есеппен қаншалықты жақсы нәтиже көрсеткені көрсетіледі. Алайда нақты қолданушы үшін маңыздысы – сол тапсырманың әрбір қайталануында агенттің сәттілік деңгейінің тұрақтылығы.

Мысалы, бір агент 5 рет қайталанатын тапсырманың 4-інде сәтті болса, орташа табыстылығы 80% болады, алайда егер 5 рет қайта орындағанда бір рет те сәтсіз болса, нақты тұрақтылық төмен. Біздің талдау бойынша, GPT-4.1 негізіндегі ReAct агенті орташа 77,4% табыстылық көрсетті, бірақ 5 рет қайталанғанда 100% табысты болу көрсеткіші тек 53%. Мұндағы айырма – тұрақтылықтағы олқылық.

Бұл айырмашылықты «тұрақтылық аралығы» деп атайды: бұл агенттің қабілеті мен оның тапсырманы үнемі дәл сол күйде орындай алу мүмкіндігі арасындағы айырмашылық. Жасанды интеллекттің бұл аспектісі кеңірек, әрі қатты модельді үлкенірек қылып шешуге келмейді.

Контекст және мысалдар

Жасанды интеллект агенттері шешім қабылдағанда, олар келесі таңдау үшін ықтималдықтар таралуын негізге алады. Егер бұл таралу өткір болса, яғни ықтималдық үлкен бөлігі бір таңдау бойынша шоғырланса, агенттердің шешімдері қайталанған сайын ұқсас болады. Ал егер ықтималдықтар бірнеше нұсқаның арасында тең таралса, шешімдердің ауытқуы мүмкіндігі артады, бұл «жұмсақ» немесе «жұқа» таралу деп аталады.

Бұл жағдай агенттің әр тапсырмадағы шешім қабылдау сатысында кішкентай кездейсоқтықтың пайда болу мүмкіндігін арттырады. Осы себепті агенттің қадамдарында орын алған кішкентай ауытқулар соңында тапсырманың толық орындалуының әртүрлі вариацияларына әкеледі.

Мәселен, AppWorld тапсырмалар жиынтығында агенттің есептеу стратегиясына қатысты қате немесе тексерілмеген мәліметтер іздеу сынды бұлжытпай шешуді талап ететін кезеңдер жиі кездеседі. Бұл кезеңдер агенттің кейде дұрыс, кейде қате шешім қабылдауына себеп болады.

Практикалық маңызы

Біз «Consistency Analyzer» деген құрал жасап шығардық. Бұл құрал агенттің бір ғана алынған жұмыс жолын талдап, қай шешім сатысында нәтижелердің өзгеру ықтималдылығы жоғары екендігін анықтайды. Ол әрбір шешім үшін агенттің шығаратын нәтижелерінің тұрақтылығын сандық көрсеткішпен бағалайды. Бұл әдіс толық модельге кіруге мұқтаж еместігімен ерекшеленеді, тек агенттің шығарған бір қызметтік жазбасымен жұмыс істейді.

Мәселен анықталған осал шешімдерді арнайы нұсқауларға айналдырады. Осы нұсқаулар агенттің қызмет ортасына енгізіледі де, тәжірибе барысында қайта тексеріледі. Мұндай нұсқаулар агенттің шешім қабылдауына бағыт береді, осал орындарды нығайтады, нәтижесінде тапсырманы орындауда тұрақтылық пен сенімділік артты.

Талдау нәтижесінде агенттің тұрақтылық аралығы екі есе азайды: 24,4 пайыздық пункттен 12,0 процентке дейін қысқарды. Бұл тұрақтылықтың артуы орташа табыстылықтың төмендеуін талап етпейді.

Қысқа қорытынды

Жасанды интеллект агенттерінің нақты тапсырмада бір рет сәттілігі олардың тұрақты сәттілігінен елеулі түрде ерекшеленеді. Орташа табыстылық пен толық қайталану сенімділігі арасында үлкен айырмашылық – агенттердің практикалық қолданылуындағы басты қиындықтардың бірі. «Consistency Analyzer» пен тұрақтылық нұсқаулары арқылы агенттердің шешімдерінің тұрақтылығы жақсартылады, бұл олардың сенімділігін арттырады және қолданушыларға нақты уақытта тиімді қызмет ұсынады. Бұл әдіс жасанды интеллект агенттерінің сапасын арттырып, олардың нақты өмірдегі маңызды міндеттерді орындау деңгейін жоғарылатады.

Дереккөз: Hugging Face Blog