StateBench: Ұзақ мәтіндердегі күй өзгерістерін қадағалаудағы тіл үлгілерінің тиімділігін тексеру

Жасанды интеллект саласында тіл үлгілерінің жұмыс тиімділігін арттыру үшін олардың ұзақ мәтіндердегі күй өзгерістерін қадағалау қабілеті маңызды мәселеге айналды. Күйді бақылау – мәтіннің ішіндегі субъектілер мен объектілердің жағдайы уақыты өту барысында қалай өзгеретінін дәл анықтау. Бұл тапсырма әсіресе бағдарламалау тілін оқуда, әңгіменің кейіпкерлері мен заттарының әрекетін бақылауда қажет. Мысалы, детективтік шығармада “Джон Мэриге пышақ ұсынды” деген тұста әр кейіпкердің күйінің қалай өзгергенін анықтау маңызды. Осындай күрделі тапсырмаларды шешу үшін StateBench атты арнайы бағдарлама құрылды.

StateBench және күйді бақылаудың маңызы

StateBench — тіл үлгілерінің ұзақ мәтіннен объектілердің күйін қадағалау тиімділігін бағалайтын арнайы тест жиынтығы. Бұл тест мәтін бойы өзгеретін ақпаратты жүйелі бақылауды қажет ететін тапсырмаларды қамтиды. Күйді бақылау міндеттері кодтағы айнымалылардың мәнін өзгерту, әңгімедегі кейіпкерлер мен заттардың қозғалысы сияқты өзгерістерді қадағалаудан тұрады. Мұндай есептің жеңіл түрлерінде соңғы жаңартуды табу қажет болса, күрделі нұсқаларында өзгеріс тізбегін ешбір адымды жібермей бақылау қажет. Мысалы, күрделі есептерде “Джонның рюкзагындағы затты Мэриге беру” секілді, бұған дейін рюкзакта пышақ салынғаны белгілі болуы мүмкін. Мұнда тіл үлгілері объектің нақты орналасуын нақты анықтауы қажет.

Күйді бақылау деңгейлері

StateBench төрт түрлі күрделілік деңгейін бөліп қарастырады, оларды айнымалы мәнін тағайындау операцияларының күрделілігімен салыстыруға болады:

• R-trivial деңгейі: Айнымалы бір рет тағайындалады және өзгермейді, яғни оның мәні тұрақты. Мысалы, туған күннің өзгермеуі секілді.
• Aperiodic деңгейі: Айнымалы мәні бірнеше рет жаңартылады, бірақ соңғы жаңарту маңызды. Мысалы, термостаттың соңғы температура мәні.
• Soluble деңгейі: Айнымалы өзінің алдыңғы мәніне негізделіп жаңартылады. Мысалы, ойынның ұпайын жинау, әр нүкте бұрынғы қосындыға қосылады.
• General finite деңгейі: Айнымалы мәні басқа айнымалыдан алына алады, яғни тәуелділіктер пайда болады. Мысалы, заттардың орын ауыстыруы сияқты болған күрделі сценарийлер. Бұл деңгей ең қиын деп есептеледі.

Бұл айырмашылықтар Krohn–Rhodes теориясына, яғни күй өзгерістерін атомарлық құрамдастарға бөлу теориясына сәйкес жатыр. Әр деңгейде күйді бақылаудың белгілі математикалық қасиеттеріне негізделген тапсырмалар топтамасы ұсынылады.

Тіл үлгілерінің күйді бақылаудағы нәтижелері

StateBench көмегімен әртүрлі архитектуралы тіл үлгілерінің күйді бақылау қабілеті жан-жақты зерттелді. Бастапқыда алдын ала оқытылған моделдер тек жеңіл деңгейлерде жақсы нәтиже көрсетті. Олар r-trivial деңгейін сенімді орындады, алайда күрделі general finite және soluble деңгейлерінде нәтиже айтарлықтай нашарлады.

Алдын ала оқытылған моделдер

Мысалы, Olmo 3 (трансформер) және Olmo Hybrid (трансформермен бірге Gated DeltaNet қабаттары бар) моделдері 64 мыңнан асатын таңбаларды оқу кезінде күрделі күйді бақылау міндеттерінде қиындыққа ұшырады. Бұл оларды тек соңғы тағайындау мен қарапайым жаңартуларды ғана ұстануға қабілетті етеді.

Жаңа трендтегі шекаралық моделдер

Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol және Luna сынды озық үлгілер жеңіл және орташа деңгейдегі тапсырмаларда жақсы нәтиже берді. Бірақ олар да күрделі есептерде ұзақ мәтіндерде қателіктерге жол берді, кейбір жағдайларда дәлдік 13%-ға дейін төмендеді. Бұл күрделі күй тізбегі әр қадамның нәтижеге үлкен әсері бар екенін білдіреді, сондықтан кемітіп жіберу нәтижені толық бұзады.

Тапсырмаға бағытталған қайта оқыту

Тіл үлгілерінің шектеулерін толық түсіну үшін, 275 миллион параметрі бар түрлі архитектуралы моделдер StateBench бойынша қайтадан оқытылды. Нәтижесінде:

• Gated DeltaNet пен аралас модельдер жеңіл, орташа және кейбір күрделі тапсырмаларды ұзақ тізбектерде де сенімді орындады.
• Трансформерлер жеңіл тапсырмаларды үйренгенімен, олар ұзақ тізбектер мен ең күрделі есептерді меңгерген жоқ.
• Ең жақсы нәтиже более икемді жады жаңартуға ие Gated DeltaNet моделі көрсетті, ол 10 есе ұзын тізбектерде дәлдік жоғалтпады.

Бұл зерттеулер көрсеткендей, сценарийге бағытталған оқыту мен архитектураны жетілдіру ұзақ уақыттық күйді бақылаудан шығу үшін өте маңызды.

Практикалық маңызы

Ұзақ контексттен объект статусын бақылау бағдарламалау тілдерін түсінуде, табиғи тілдегі мәтіннен ақпарат алу, әңгімелер мен құжаттарды сараптауда шешуші рөл атқарады. Сондықтан StateBench сияқты құралдар үздік үлгілердің шекараларын анықтап, жаңа архитектуралар мен әдістерді енгізуге жол ашады. Мысалы, бағдарламалық кодтағы айнымалылардың мәнін дәл бақылауды жетілдіру арқылы автоматтандырылған код талдау жүйелері әрі қарай дамиды. Сонымен қатар, күрделі әңгімелердегі кейіпкерлердің қозғалысы мен әрекеттерін қадағалау мүмкіндігі интерактивті әңгімелер мен мәтіннен алынған ақпаратқа негізделген қызметтердің сапасын арттырады.

Қорытынды

StateBench күйді бақылау мәселесінде тіл үлгілерінің мүмкіндіктерін жан-жақты бағалауды қамтамасыз етеді. Зерттеулер көрсеткендей, трансформерлер жеңіл тапсырмаларды орындай алады, бірақ ұзақ және күрделі күй тізбегін ұстануда шектеулерге ұшырайды. Gated DeltaNet және аралас архитектуралар тапсырмаларды тиімді және сенімді шешуге әлдеқайда қабілетті. Бұл бағыттағы әрі қарайғы жұмыстардың мақсаты – ұзақ контексте өзгерістерді дұрыс аңдап, нақты нәтиже беретін тіл үлгілерін жасау болып табылады.

Дереккөз: Hugging Face Blog