Жасанды интеллект моделдерінің салмағын тиімді жаңғырту: TRL-дегі Delta Weight Sync әдісі

Жасанды интеллекттің машиналық оқыту саласындағы ролі үнемі артуда. Қазіргі кезеңде әсіресе үлкен тілдік модельдер мен оларға негізделген алгоритмдер танымал. Бірақ олардың көлемі мен күрделілігі белгілі бір техникалық мәселелерді тудырады. Соның ішінде модель параметрлерін жаңарту және жаңғырту барысында тасымалданатын деректер көлемін азайту өзекті болып отыр. Бұл мақалада TRL (Transformers Reinforcement Learning) жүйесіндегі Delta Weight Sync әдісі – үлкен модель параметрлерін тиімді синхрондау тәсілі қарастырылады. Осы технологияның жаңашылдығы және нақты қолданысы талданып, оның жасанды интеллект жүйелері үшін маңызы түсіндіріледі.

Кіріспе

Қазіргі ірі тілдік модельдер миллиардтаған параметрлерден тұрады. Оларды оқыту барысында параметрлердің жаңартылуы сыныптас технологиялар арқылы жүзеге асады. Μысалы, асинхронды күшейтуді оқыту (asynchronous reinforcement learning) кезінде әрбір қадам сайын модуль мен инференс ортасы арасында модельдің толық көшірмесі беріледі. Ірі масштабтағы модельдерде бұл тасымалдау үлкен көлемді, бірнеше гигабайт немесе терабайт деңгейінде деректерді жылжытуды талап етеді, яғни желі және есептеу ресурстарының үлкен шығындарына әкеледі. Сол себепті модель параметрлеріндегі өзгеріске негізделген ықшамдалған және тиімді синхрондау механизмдерін іздеу қажет.

Негізгі түсіндірме

TRL жүйесіндегі Delta Weight Sync әдісі негізінен екі келесі қадам арасындағы параметрліктің өзгерісін анықтап, нақты сол өзгерістер ғана тасымалдануын қамтамасыз етеді. Бұл принцип бесіншіл әрі тиімді, себебі зерттеулер көрсеткендей, RL (reinforcement learning) әдістеріндегі bf16 форматындағы салмақ параметрлерінің 98%–99% биттік деңгейде өзгеріссіз қалады. Демек, модельдің толық жаңартылуын тасымалдаудың орнына, тек нақты өзгерген параметрлердің деректерін ғана жіберу жеткілікті болады.

Мысалы, бір жылдамдықтағы 7 миллиард параметрлік bf16 моделі үшін қадам сайын тасымалданатын деректер көлемі орта есеппен 14 гигабайт болса, Delta Weight Sync әдісімен бұл көрсеткіш 20-35 мегабайтқа дейін кемиді. Бұл тасымал көлемінің бірнеше жүз есе қысқаруы деректерді сақтау мен жеткізу тиімділігін айтарлықтай арттырады.

bf16 форматындағы салмақтардың өзгеру сипаты

bf16 форматында параметрлердің үлкен бөлігі төменгі дәлдіктегі жаңартуларды қабылдамайды. Параметрлердің сандық өзгерісі өте кіші болған жағдайда (оқыту жылдамдығы төмен болғанда), жаңартулар bf16 форматында бейнеленген параметрдің цифрлық көрінісін өзгертпейді. Бұл құбылыс математикалық тұрғыдан түсіндірілген және тәжірибеде 98–99% параметрдің өзгеріссіз қалуын түсіндіреді.

Контекст және мысалдар

Delta Weight Sync идеясы – бұрынғы ғылыми зерттеулер мен тәжірибелердің нәтижесінде пайда болған. Fireworks және Cursor сияқты зерттеулер асинхронды күшейтуді оқыту кезінде модель күйін толық қайталау талап етілетінін, бірақ нақты өзгерістердің шамалы екенін көрсетті. Cursor тобы AWS S3 объектілер қоймасын қолдана отырып, параметрлер арасындағы өзгерісті бөліктеп жеткізетін жүйе жасады. Бұл тәжірибелер пакет тасымалын қысқартудың және компьютерлік кластерлер арасындағы байланысты жақсартудың нақты артықшылықтарын дәлелдеді.

Hugging Face TRL жобасы бұл тәсілді ашық кеңістікте жүзеге асырып, басқа операторлар мен зерттеушілерге қолжетімді етті. Мысалы, оқу мен болжам жасаушы (trainer мен inference engine) әртүрлі кластерлерде немесе аймақтарда орналасса да, ортақ қоймаға модель параметрлерінің өзгерістерін жүктеу арқылы синхрондау қамтамасыз етіледі. Бұл шешім кластерлік инфрақұрылым және желі конфигурациясын оңайлатады, әрі инференс уақытының тиімді болуына ықпал етеді.

Практикалық маңызы

Delta Weight Sync әдісі ірі модельдерді оқыту және қызмет көрсету процесін айтарлықтай үнемді етеді. Біріншіден, желі арқылы тасымалданатын ақпарат көлемін азайтады, ол желілік өткізу қабілеттілігінің шектелген ресурсында маңызды артықшылық. Екіншіден, асинхронды RL әдістерінің басындағы «тоқтап қалу» уақыты төмендейді, яғни GPU ресурстары токен генерациялаумен үздіксіз жұмыс істей алады. Бұл есептеу инфрақұрылымын толық қолдануды қамтамасыз етіп, үнемдеу мен өнімділікті арттырады. Сонымен бірге, модульдің және болжамдаушының физикалық орналасуы әртүрлі бола тұра, ортақ объектілер қоймалары арқылы жұмыс істеу архитектуралық икемділікті арттырады.

Тәжірибе көрсеткендей, бұл тәсіл 7 миллиардтық модельдерде және одан да үлкен 1 триллион параметрлі модельдерде қолданылады. Қадам бойынша тасымалдау деректерінің көлемі десектердің 1-2% құрайды, сондықтан бірқатар жоғары деңгейлі инфрақұрылым шектеулерінен босатылады. Бұл технологияны Hugging Face, OpenAI және басқа да ұйымдар модельдерді жылдам әрі тиімді оқыту мен қолдануға пайдаланады.

Қорытынды

TRL жүйесіндегі Delta Weight Sync әдісі ірі тілдік модельдердің параметрлерін жаңарту тиімділігін арттырады. bf16 форматындағы параметрлердің көпшілігінің алмастырусыз қалады деген қасиетіне сүйене отырып, тек нақты өзгерген параметрлерді желі арқылы жіберуге мүмкіндік береді. Бұл тәсіл есептеу және желілік ресурстар тұтынуын қысқартып, модельдерді асинхронды оқыту кезінде айтарлықтай жылдамдық пен үнемділік береді. Осы зерттеу жасанды интеллект саласындағы үлкен модельдерді оқыту мен енгізуді қолжетімді әрі үнемді етудің бірден бір жолы ретінде қарастырылуда.

TAGS: жасанды интеллект, тілдік модель, модель синхрондау, асинхронды оқыту, bf16, Hugging Face, Delta Weight Sync

Дереккөз: Hugging Face Blog