Nemotron моделін IOI мен IMO жарыстарына бейімдеу: Бір модель, екі алтын нәтиже

Жасанды интеллект және оның тәлімгерлік тәсілдері білім беру мен бәсекелік бағдарламалау салаларында үлкен үміт ұялатады. Екі халықаралық олимпиада – Информатикадан (IOI) және Математикадан (IMO) – түрлі дағдыларды сынайтын қатаң жарыстар ретінде танымал. Бұл жарыстарға арналған модельдерді әзірлеу тілдік және алгоритмдік сын-қатерлерге тиімді жауап беруді талап етеді. Nemotron үлгісін IMO және IOI деңгейінде жетілдіру әлемдік деңгейдегі мамандандырылған модельдерді құру мүмкіндігін көрсетеді.

Nemotron моделінің арнайы дайындалу тәсілі

Nemotron бастапқыда жалпы мақсаттағы тілдік модель ретінде құрылып, кейін арнайы тапсырмаларға бейімделді. Бұл бейімделу процесі төрт негізгі кезеңнен тұрады: сенімді негізгі Nemotron үлгісін таңдау, домендік ерекшеліктерді ескерген мәліметтер жиынтығын жинақтау, жетекшілікпен оқыту және қажет жағдайда күшейту арқылы оқыту әдістерін қолдану, сонымен қатар болжамды тексеру мен жетілдіру үшін бірнеше кезеңнен тұратын индуктивті циклді енгізу. Бұл ретте модельді жаңадан жасау қажет емес, Nemotron-ды арнайы мақсатқа қарай икемдеу жеткілікті болды.

Nemotron бағдарламалық және математикалық олимпиадаларда

Информатикадан олимпиадаға (IOI) дайындық үшін 22 000-нан аса мәселе таңдап алынып, олар бойынша синтетикалық шешім жолдары (reasoning traces) жасалды. Nemotron-ның екі нұсқасы – Nemotron-3-Nano-CC (30 миллиард параметр) мен Nemotron-3-Ultra-CC (550 миллиард параметр) – жетекшілікпен оқыту мен күшейтуді қолданып, тиімділіктерін арттырды. Nano нұсқасы кезең-кезеңімен оқудан өткен соң алтын медальды алуға жеткілікті ұпайға жетті, ал Ultra-CC бір ғана жетекшілікпен оқыту кезеңінен кейін қолданыстағы барлық тесттер бойынша жоғары нәтиже көрсетті.

Математикалық олимпиадаға (IMO) Nemotron 3 Ultra базалық үлгісі негізінде жетекшілікпен оқыту мен күшейту оқыту әдістерінің үйлесімі қолданылды. Оқу жиынтығына 414 890 сапалы фильтрленген дәлелдеу мысалдары енгізілді, мұнда модельге тек финалды жауап емес, дәлелдеу, тексеру және жетілдіру процестері де үйретілді. Күшейту оқытуда 9 597 қиын дәлелдеме таңдап алынып, олардың негізінде модельдің талап етілетін шектері кеңейтілді. Екі тәсілдің күшті жақтары біріктіріліп, логикалық дәлелдерді генерациялау мен бағалау, қателерін табу және жетілдіру қабілеті бар кешенді жүйе жасалды. Бұл жүйе интернетке және сыртқы құралдарға тәуелсіз, ұтқыр тілде жұмыс істеп, ресми IMO қорытындылары бойынша алтын медаль деңгейді асып кетті.

Оқыту мен есептеу әдістерінің үйлесімі

Nemotron моделін жетілдіру мен тестілік кезеңде жүргізілетін есептеулер бір-бірін толықтырады. Тестілеу уақытында есептеу ресурстарын тиімді пайдалану берген мүмкіндіктерді арттырады. IOI бойынша GenCorrect әдісі арқылы бірнеше қайтара бағалау мен түзету арқылы модельдің нәтижесі едәуір жақсарды. IMO жүйесінде әр түрлі оқыту әдістерін біріктіру (SFT мен RL) жалғыз үлгіден көбірек үлгі шығару сияқты біржақты әдістерден үздік нәтиже көрсетті. Мұндай сапалық және сандық үйлесім жарқын жеңістерге алып келеді, себебі модель өздігінен ғана емес, ол қолданатын іздеу және талдау циклымен бірге табысқа жетеді.

Ашықтық және қолжетімділік

Nemotron үлгісінің дайындығы мен жетістіктері Hugging Face платформасында ашық түрде ұсынылған. IMO үшін SFT және RL негізіндегі тексерілген үлгілер, оқыту мәліметтері және арнайы Nemotron-IMO-Bench көрсеткіштері бар. IOI жағына Nemotron-3-Ultra-CC үлгісі, оқу рецепті мен GenCorrect әдісі ашық қолжетімділікке шығарылған. Бұл жасанды интеллект журналистері мен ғалымдарына, техникалық мамандарға осы жетістіктерді өз жұмыстарында қолдануға мүмкіндік береді.

Қорытынды

Nemotron моделін арнайы үйретудің күрделі әрі тиімді рецепті екі түрлі олимпиадаға да әлемдік деңгейде дайындалу мүмкіндігін берді. Мұндай тәсіл жалпақ мақсаттағы үлгіні терең мамандандырылған жүйеге айналдыру жолындағы маңызды қадам саналады. Nemotron-ның жетістіктері модельді жетілдіру мен тестілеу кезеңінің бірлескен жұмысының жемісі болып, жасанды интеллект зерттеушілеріне алдағы жұмыстарына жаңа шабыт береді.

Дереккөз: Hugging Face Blog