LFM2.5-24B-A2B арқылы құпия және жылдам агенттерді локальды құрылғыда іске қосу

Жасанды интеллекттің дамуы адамзатқа сан алуан жаңа мүмкіндіктер ұсынып отыр. Оның ішінде көп-қадамды логикалық ойлау қабілеті мен құралдарды тиімді пайдалануын қамтамасыз ететін жеке агенттер ерекше маңызды. LFM2.5-24B-A2B үлгісі осындай талаптарды қанағаттандыратын заманауи шешім болып табылады. Бұл модельдің ерекшелігі – тез жұмыс істеп, жеке деректерді сыртқа шығармай, құрылғыда тікелей іске қосуға мүмкіндік беруі.

Модельдің негізгі ерекшеліктері

LFM2.5-24B-A2B үлгісі 24 миллиард параметрі бар, дегенмен тек 2 миллиард параметрі белсенді түрде қолданылады. Осы арқылы модель көп ресурсты талап етпей, жылдам жауап беру қабілетін арттырады. Әрбір сұрау бойынша модель алдын ала ойланған соң ғана жауап қайтарады, қажетті құралдарды пайдаланып, көп сатылы есептерді шешеді. Бұл сипаттамалар оны аппараттық жабдықта үздіксіз әрі тиімді жұмыс жасауға бейімдейді.

Техникалық құрамы және жетілдіруі

LFM2.5-24B-A2B өзінің алдыңғы нұсқасы LFM2-24B-A2B негізінде құрылған. Құрылымы 40 қабат және әрбір MoE блогында 64 сарапшы (эксперт) бар, олар ішінде ең үздік төрт бағыттау қолданылады. Модельдің контекстік терезесі 32 мыңнан 131 мың токенге дейін кеңейтілген, ал сөздік қоры 65 мыңнан 128 мың токенге ұлғайған. Бұл ағылұс емес таңбаларды да тиімді тануға мүмкіндік береді. Оқыту көлемі 17 триллионнан 33 триллионға ұлғайтылған, кейіннен модель көпжақты тапсырмалар мен ұзақ контекст үшін 2 триллион және 300 миллиард токенмен қайта үйретілген.

Оқыту кезеңдері және агенттік бейімделу

Базалық модель бес кезеңде агенттік деңгейге жетеді:

• Бақыланатын тереңдетілген үйрету (SFT)
• Мұғалім-мамандарды мамандандыру
• Мамандандырылған емес тапсырмаларға арналған көпсалалық дистилляция (MOPD)
• Агенттік тапсырмаларға бағытталған екінші дистилляция (MOPD агенттік нұсқасы)
• Агенттік күшейту оқытуы (agentic RL), мұнда модель OpenClaw, Hermes Agent, Pi және OpenCode сияқты агенттік ортада жетілдіріледі

Контекст және салыстырмалы нәтижелер

Модель Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it және Nemotron-3.5-Lightning сияқты үлкенірек нұсқалармен бірге 16 сынақ платформасында тексерілді. Оның ішінде құралдарды пайдалану, агенттік жұмыс процестері, білім, нұсқаулықтарды орындау, математика және бағдарламалау тапсырмалары бар. LFM2.5-24B-A2B — ең кішкентай модель болғанымен, бірнеше сынақтарда ең жоғары немесе тең нәтижелер көрсетті.

Мысал ретінде, құралдарды пайдалану және агенттік тапсырмалар бойынша бес негізгі сынақта ол жетекші орындарды иеленді, оның ішінде AutomationBench сынағында екінші орында тұрған модельмен салыстырғанда үш еседен астам жоғары ұпай жинады. Нұсқаулықтарды орындау тесттерінде де барлық үш сынақта үздік нәтиже берді.

Дегенмен, кең білім мен бағдарламалау тапсырмаларында үлкенірек модельдер біраз алда тұрады. Сондықтан осы бағыттағы күрделі жұмыстарда LFM2.5-24B-A2B моделін құжаттарды іздеу немесе веб-серфинг жүйелерімен біріктірудің тиімділігі зор.

Практикалық қолданысы және жұмыс жылдамдығы

LFM2.5-24B-A2B бүкіл негізгі инференс экожүйелерінде жұмыс істеуге дайын: llama.cpp, MLX, vLLM, SGLang және ONNX. Аппараттық деңгейде үздік нәтижелер көрсетеді. Мысалы, Apple M5 Max жүйесінде 184 токен/сек құрайды, Ryzen AI Max+ 395 жүйесінде – 114 токен/сек, бұл әрі жылдам әрі аз жедел жадыны пайдалану екенін білдіреді. NVIDIA B300 GPU-де жоғары жүктеме кезінде 21 мыңнан астам токен/сек жылдамдыққа жетеді.

Осы үлгіні пайдаланудың жеңілдігі – оны OpenAI сәйкес API арқылы локальды серверге орнатып, түрлі агенттік платформаларда, мысалы Hermes Agent және OpenClaw жүйелерінде қолдану мүмкіндігі бар. Бұл құпия деректерді сақтау мен өңдеуді жоғарылатуға мүмкіндік береді, себебі модель барлық есептеулер пайдаланушы құрылғысында жүреді.

Қорытынды

LFM2.5-24B-A2B үлгісі жеке құрылғыларда жылдам және құпиялы жұмыс істеуге арналған жоғары тиімді агент құруға арналған құнды құрал. Оның 2 миллиард белсенді параметрі арқасында ресурстар үнемделіп, кешенді логикалық есептер шешіледі. Модельдің кеңейтілген контексті және жетілдірілген оқыту әдістері заманауи талаптарға сай келеді. Бұл технология агенттерді құралдармен байытып, жеке деректер қауіпсіздігін сақтай отырып, көптеген салаларда қолдануға мүмкіндік береді.

Осылайша, LFM2.5-24B-A2B агенттік жүйелердің жаңа кезеңін ашып, олардың жылдамдығын, тиімділігін және шынайы қолдану мүмкіндіктерін айтарлықтай арттырады.

Дереккөз: Hugging Face Blog