Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox

Кіріспе

Жасанды интеллект саласында агенттердің өзін-өзі бағалау мүмкіндігі мен сенімділігі маңызды. Бұл мақалада ThinkingBox технологиясына негізделген дерекқорды бағалауды күшейту әдісі қарастырылады. Атап айтқанда, агенттер жұмысын дерекқордағы өзгерістер арқылы бағалап, сол нәтижелерді күшейту сигналдары ретінде қолданудың тиімділігі талданады. Осындай тәсіл бойынша Qwen3.8-27B моделін жетілдіру нәтижесінде тапсырмаларды орындаудағы сенімділігі едәуір артты.

Негізгі түсіндірме

ThinkingBox – агент жұмысының нәтижесін нақты дерекқордағы өзгерістерге қарап бағалайтын жүйе. Агент 507 түрлі тапсырманы орындаған соң, өзгертілген дерекқордың жағдайы арнайы бағдарламалар арқылы тексеріледі. Бұл процесс агенттің орындаған ісінің сапасын бағалауға мүмкіндік береді, себебі тек тапсырма аясындағы нақты өзгерістерге назар аударылады, құралдарды қолдану әдісі емес.

Осы тексерістер негізінде агенттің қорытынды баға алуы ғана емес, бұл бағалау жүйесі оқу кезінде агенттің әрекетін жақсартуға бағытталған күшейту сигналы ретінде қызмет етеді. Мұндай тәсілдің маңызды ерекшелігі – тапсырмалардың қиындық деңгейін агенттің саясатымен байланысты түрде анықтау. Яғни, тапсырма модель үшін қиын немесе жеңіл болуы шарт, және ол агентке нақты пайдалы тәжірибе береді.

Оқу процесі және қиындық деңгейін бағалау

Тапсырмалардың оқу кезінде максималды тиімді болғанын қамтамасыз ету үшін offline policy-relative difficulty әдісі қолданылды. Бұл әдіс бойынша модельдің бастапқы саясатымен алынған табыс ықтималдығы есептеледі және соған сәйкес тапсырмалар тобын таңдау жүзеге асады. Осы тізім оқу барысында өзгере қоймайды, бұл зерттеудің әдістемесін дәл әрі тұрақты етеді.

Контекст және мысалдар

Модельді оқу барысында Qwen3.8-27B 50 қадамдық GRPO алгоритмы пайдаланылды. Басқару нәтижесін бағалау үшін әр тапсырма 20 рет қайталанып сынақтан өтті. Нәтижелер көрсеткендей, әрекеттердің анық әрі тұрақты нәтижеге жетуі 7.5%-дан 21.1%-ға дейін өсті, бұл үш есеге жуық арту. Ал тапсырмаларды кем дегенде бір рет табысты орындау көрсеткіші сәл төмендеді, бұл күрделі үйлестік болып есептеледі.

Мысал ретінде компания саясатына сай бөлмесін төмендетуді сұраған клиент ұсынылады. Бастапқы модель 20 әрекеттің 15-інде келісімсіз өзгерістер жасады, ал оқытудан кейінгі модель барлық 20 әрекетте саяси талаптарды сақтап орындалды. Бұл мысал әдістің практикалық тиімділігін айқын түсіндіреді.

Практикалық маңызы

Бұл тәсіл агенттердің сенімділігін арттыруға, дерекқорға қатысты іс-қимылдардың сапасын жақсартуға бағытталған. Өндірістік жүйелерде агенттер кез келген уақытта дұрыс нәтижелерді тұрақты түрде беруі тиіс. Яғни, әрбір тапсырманың табысты аяқталуы өнімнің сенімділігін қамтамасыз етеді.

Сонымен қатар, тапсырманың саясатқа тәуелді қиындық деңгейін есепке алу оқу тиімділігін арттырады және модельді шынайы қолдану жағдайларында жақсы нәтижелерге жеткізеді. Бұл әдісті Hugging Face және Microsoft сияқты зерттеу орталықтары қолданып, жасанды интеллект жүйелерін жетілдіруде пайдаланады.

Қорытынды

ThinkingBox жүйесі агенттің жұмысына нақты, орындалған дерекқорының күйіне негізделген баға берудің тиімді әдісін ұсынады. Мұндай баға беру оқу кезінде күшейту сигналы ретінде пайдаланылады және агенттердің сенімділігін арттырады. Qwen3.8-27B моделін мысалға ала отырып, оқыту нәтижесінде тапсырмаларды сенімді орындау көрсеткіші үш есеге жуық ұлғайғаны дәлелденді. Бұл тәсіл жасанды интеллекттің нақты тапсырмаларға бейімделу деңгейін жоғарылатуға ықпал етеді.

Дереккөз: Hugging Face Blog