🤗 Kernels: Негізгі жаңартулар

🤗 Kernels жобасы – Hugging Face экожүйесінде есептеу ядроларын (kernels) стандарттауға бағытталған маңызды бастама. Олардың дұрыс құрылуы, таралуы және пайдаланылуы қолданушылар үшін қолайлы әрі қауіпсіз болуы тиіс. Бұл мақалада жобада орын алған негізгі жаңартулар мен олардың маңызы талданады.

Кіріспе

Жасанды интеллект және машиналық оқыту саласында есептеу ядролары нейрондық желілердің және басқа да модельдердің тиімді жұмыс істеуін қамтамасыз етеді. Kernels жобасы осы ядроларды әзірлеу, орналастыру және қолдану процесін біріздендіреді. Бұл, әсіресе, түрлі операциялық жүйелер мен есептеу аппараттарын қолдайтын ядроларды оңай интеграциялауда маңызды. Жобаның қауіпсіздік деңгейін арттыруға басымдық берілгені – жалған немесе зиянды кодтың таралуына тосқауыл қою үшін зор қажеттілік.

Негізгі түсіндірме

Жаңа репозиторий түрі – kernel

Hugging Face платформасында «kernel» деп аталатын жаңа репозиторий түрі енгізілді. Бұл репозиторий түрі есептеу ядроларына тән ерекшеліктерді көрсетуге мүмкіндік береді: қолдау көрсетілетін тездеткіш аппараттар, операциялық жүйелер мен желігіштер туралы толық ақпарат беріледі. Осылай ядролар Hub-да толыққанды «тұрғын» ретінде қаралады, ол экожүйе пайдаланушыларына ядролар мен оларды қолданатын модельдер мен қосымшалар арасында өзара байланыс орын алып, ядролары табуды жеңілдетеді.

Қауіпсіздіктің күшейтілуі

Ядролар Native код ретінде орындалатындықтан, зиянды кодтың таралу қаупі бар. Сондықтан жобада қауіпсіздік мәселелері басты назарда. Ең бастысы – ядроларды қайта құрастыру мүмкіндігі, яғни кез келген қолданушы ядроның бастапқы кодымен сәйкестігін тексере алады. Бұл Nix жүйесінің көмегімен қолжетімді, ол құрылымды таза және оқшауланған ортада жүзеге асырады. Сонымен қатар, ядроға бастапқы кодтың Git SHA1 идентификаторы енгізілген, бұл оның түпнұсқалығын растауға мүмкіндік береді.

Сенімді жарықтаушылар және кодқа қол қою

Ядроларды өндіретін сенімді жарықтаушылар концепциясы енгізілді. Сенімді жарықтаушылар – қоғам сеніміне ие ұйымдар, олардың жариялаған ядроларын жүйе әдепкі бойынша жүктейді. Басқа пайдаланушылардың ядроларын жүктеу үшін explicit режимі қажет. Бұл пайдаланушыларды зиянды ядролардан қорғайды. Осы механизмді толықтыру үшін кодқа қол қою енгізілді. Бұл қауіпсіздікті шынайы қорғауға бағытталған, өйткені қол қою жеке кілт арқылы жүзеге асырылады және тексеру үшін жалпыға қолжетімді ашық кілт пайдаланылады. Қол қойылған ядролардың түпнұсқалығы Sigstore cosign технологиясымен қамтамасыз етіледі, бұл қол қойылымның уақытша және қауіпсіз болуын кепілдейді.

CLI құралдарының қайта құрылымы

Көрсетілген утилиттерді қолданушыларға ыңғайлы ету үшін kernels және kernel-builder командалық жол интерфейстері айқын бөлініп, олардың әрқайсысының функциялары нақты анықталды. Kernels негізінен ядроларды жүктеу және пайдалану үшін арналған, ал kernel-builder – ядроларды құрастыруға қатысты құрал. Бұл өзгерістер пайдаланушыларға екі құралды нақты әрі жеңіл қолдануға мүмкіндік береді.

Қолданылатын фреймворктер мен желігіштерді қолдаудың кеңеюі

Жобада PyTorch Stable ABI қолдауы қосылды, бұл ядролардың бірнеше жыл бойы бір нұсқа негізінде сенімді жұмыс істеуін қамтамасыз етеді. Сонымен қатар, Apache TVM FFI фреймворкіне де қолдау берілді. TVM FFI ядроларды әртүрлі фреймворктермен, мысалы, PyTorch, Jax немесе CuPy секілді платформалармен үйлестіреді, бұл кросс-платформа операцияларын жеңілдетеді.

Контекст және мысалдар

🤗 Kernels жобасы ядроларды дамытумен айналысатын агенттерді қолдауға бағытталған. Бұл агенттер ядроларды бастапқыдан қолданысқа дайындап, тестілеп, үздіксіз оңтайландырады. kernel-builder құралдар сипаты агент үшін оңтайландырылған, командаларды автоматты түрде орындап, нәтижелерді түсінікті түрде шығарады. Бұл тәсілдер аппараттық платформа ерекшелігін ескере отырып, ядролардың жылдамдығын арттыруға ықпал етеді. Сонымен бірге HF Jobs жүйесі арқылы ядролар өнімділігін әртүрлі аппараттарда бақылап, салыстыруға мүмкіндік беріледі. Мысалы, [https://huggingface.co/kernels/drbh/yamoe](https://huggingface.co/kernels/drbh/yamoe) және [https://huggingface.co/kernels/sayakpaul/qk-norm-rope](https://huggingface.co/kernels/sayakpaul/qk-norm-rope) сияқты жобаларда агенттер ядроларды дамытудан өтті.

Практикалық маңызы

Бұл жаңартулар зерттеушілер мен әзірлеушілерге есептеу ядроларын қауіпсіз және тиімді қалыптастыруға мүмкіндік береді. Сенімді жарықтаушылар жүйесі қауіпті кодтың таралуын азайтып, қоғамның сенімін арттырады. Кодқа қол қою технологиялары ядроларды қорғаудың жаңа деңгейін ұсынады. Соңғы технологияларды (Torch Stable ABI, TVM FFI) қолдау ядролардың әртүрлі фреймворктерде жұмыс жасауын қамтамасыз етеді. Агенттік дамудың негізін қалаған жүйелер ядроларды автоматты түрде оңтайландырып, өнімділіктің жоғары деңгейін ұсынады. Бұл үрдістер ірі әзірлемелер мен өндірістік жүйелер үшін аса маңызды, өйткені олар есептеу ресурстарын үнемдеп, жұмысты тездетеді.

Қорытынды

🤗 Kernels жобасы есептеу ядроларын пайдалануда жаңа стандарттар орнатып, экожүйеге үлкен үлес қосып жатыр. Қауіпсіздік шаралары мен функционалдылықты жетілдіру пайдаланушылар мен әзірлеушілер үшін сенімді және ыңғайлы жұмыс істеуге жағдай жасады. Жобаның дамуы агенттік әдістерді қолдаумен толықты, бұл ядроларды тез әрі сапалы дамытуды қолдайды. Бүгінде Kernels Hugging Face платформасында есептеу ядроларын басқаруда маңызды құрал ретінде саналады.

TAGS: Kernels, Hugging Face, есептеу ядролары, қауіпсіздік, агенттік даму, Torch Stable ABI, TVM FFI

Дереккөз: Hugging Face Blog