Үлкен тілді модельдер саласындағы келесі ірі жаңалықтарды аңсаған стартаптар

Жасанды интеллект пен оның ішінде үлкен тілді модельдердің (ҮТМ) дамуы технология саласында маңызды өзгерістерге ұласып отыр. Тілдік модельдер ақпаратты талдау мен өңдеуде адамға жақын нәтижелер көрсетіп, коммуникация, іздеу жүйелері, және мәтіндік мазмұндарды жасау сияқты салаларда кеңінен қолданылады. Осыған байланысты бұл саланың болашағы мен жаңа бағыттарын түсіну жасанды интеллект пен компьютерлік ғылым дамуы үшін аса маңызды.

Үлкен тілді модельдердің негізіндегі трансформер технологиясы

2017 жылы Google зерттеушілері трансформер деп аталатын нейрондық желі түрін ұсынды, ол мәтін тәрізді ұзақ деректерді тиімді өңдеуге қабілетті болды. Трансформер технологиясы негізінде мәтіндегі барлық сөздерді салыстырып, олардың арасындағы байланыстарды сандық түрде кодтайтын «тығыз назар» механизмі жатыр. Бұл тәсіл мәтіннің мағынасын дәл анықтауға мүмкіндік береді.

Алайда мәтін көлемі ұлғайған сайын есептеулердің күрделілігі мен көлемі еселеп артады. Мысалы, 10 000 сөзден тұратын құжатта трансформер 50 миллионға жуық көбейту амалдарын орындауы тиіс. Мұның салдарынан ҮТМ өте көп есептеу қуатын және электр энергиясын қажет етеді. OpenAI компаниясы жыл сайынғы есептеу шығындары 50 миллиард доллардан асатынын мәлімдеді. Сонымен бірге, деректер орталықтарының энергия тұтынуы 2030 жылға дейін екі есе өседі деп болжануда.

Трансформердің кемшіліктері мен жаңа шешімдер

Трансформерлердің тағы бір шектеуі – олар бір уақытта тек шектеулі ақпаратты сақтай алады. Бұл «контекст терезесі» деп аталатын түсінікпен байланысты. ҮТМ күрделі әрі ірі тапсырмаларды орындау үшін үлкен көлемдегі деректерді (кітапханалар, кодтар немесе басқа білім көздері) өңдеуі қажет. Алайда трансформерлердің архитектурасы мұндай көлемді тиімді талдауға мүмкіндік бермейді.

Сондықтан жаңа технологиялар трансформердің кемшіліктерін жоюға, әрі ҮТМ-дерді жылдам, үнемді және ақылды етуге бағытталған. Осы салада инновация жасап жатқан бірнеше стартаптар – Subquadratic, Manifest AI және Liquid AI – маңызды үлес қосуда.

Қарапайым және үнемді назар механизмі

Subquadratic компаниясы мәтіндегі тек маңызды сөздерді анықтайтын және есептеу санын айтарлықтай азайтатын сирек (спарс) назар әдісін жасады. Олар жасаған SubQ моделі бірнеше міндеттерде, мысалы іздеу және бағдарлама жазуда, классикалық тығыз назар деңгейінде тиімділікті көрсетті деп сендіреді.

Ал Manifest AI өз тәсілін «қуат сақтау» деп атайды. Бұл әдіс маңызды ақпаратты сақтап, аз мәнсіз деректерден бас тартады. Мұнда контексттен үзінді түріндегі қосымша ақпарат назарда сақталып, маңызды нәрселердің көп болуы жағдайында жұмыстың күрделілігі төмендетіледі.

Кішірейтілген және икемді модульдер

Liquid AI компаниясы трансформерлерді толық жоймай, оларды сұйық нейрондық желілермен біріктіреді. Сұйық желілер адамның миының жұмыс істеу принципіне ұқсас болып, жаңа ақпаратқа бейімделіп, модель көш бастап оқыған сайын өз жұмысын жетілдіреді. Liquid AI жасаған үлгілер үлкен әрі қуатты ҮТМ-дерден төрт есе кіші және аз энергия жұмсайды.

Мәтін генерациясын жылдамдату

Көптеген ҮТМ сөз сөзден бірден нәтиже береді, бұл адам тілінің жазылу ерекшелігімен сәйкес келеді, бірақ есептеу тұрғысынан тиімсіз. Кейбір стартаптар толық сөйлем немесе абзацтарды бірден жасау арқылы жұмыс өнімділігін арттыруға бағытталған.

ҮТП-дің даму контексті және мысалдар

2017 жылдан бері трансформерлер ҮТМ-нің негізгі негізі болып, OpenAI мен Google сынды ірі компаниялардың өнімдерін қозғады. Дегенмен, биылғы жылдары бұл технология шектеулеріне байланысты жаңа шешімдер ізделуде. Subquadratic пен Manifest AI өздерінің ерекше назар механизмдерін ұсынып, Liquid AI энжинирингтік инновациялармен трансформерлерді жетілдіруде.

Сонымен бірге, жоғары энергия шығыны және кең көлемді мәліметтерді өңдеу қажеттілігі ҮТМ-нің дамуын шектеуге ықпал етеді. Сондықтан осы стартаптардың шешімдері саланың эволюциясын қалыптастыруы мүмкін.

Практикалық маңызы және ықпалы

Жаңа назар әдістері және сұйық нейрондық желілер технологиясы ҮТМ-ді аз энергиямен жылдам жұмыс істетуді, ақпаратты үлкен көлемде тиімді сақтап, тез өңдеуді қамтамасыз етеді. Бұл коммерциялық өнімдер, ғылыми зерттеулер және өндіріс процестері үшін үлкен пайда әкеледі.

Тиімділік артуы ҮТМ-ді мобильді құрылғылар мен аз қуатты компьютерлерге шығару мүмкіндігін кеңейтеді. Сонымен қатар, энергия тұтынудың төмендеуі экологияға оң ықпалын тигізеді.

Осы технологияларды қолдану сараптамалы жүйелердің, автоматты аударма мен мәтін генерациясы, сонымен бірге интеллектуалды агенттердің қызметін жаңа деңгейге көтереді.

Қорытынды

Трансформер архитектурасы үлкен тілді модельдердің қалыптасуына жол ашып, жасанды интеллект саласында төңкеріс жасады. Дегенмен, оның шектеулері жаңа шешімдерді талап етеді. Қазіргі стартаптар назар механизмін қайта қарау, сұйық нейрондық желілер және мәтін генерациясын толықтай өзгерту арқылы ҮТМ-нің тиімділігін арттыруға ұмтылуда. Бұл бағыттағы зерттеулер мен қолданбалар ҮТМ-нің даму қарқынын үдетіп, оның ықпалын кеңейтеді.

Осы жаңа технологиялар ірі ойыншылардың доминациясын азайтып, инновациялық идеялар мен стартаптардың өсуіне мүмкіндік жасап отыр.

TAGS: жасанды интеллект, үлкен тілді модельдер, трансформер, нейрондық желі, назар механизмі, энергоүнемдеу, стартап

Дереккөз: MIT Technology Review