NVIDIA Cosmos 3: Физикалық жасанды интеллектіні түсіну мен әрекет ету үшін алғашқы ашық омни-модель

Кіріспе

Жасанды интеллектінің физикалық әлемді түсінуі мен әрекет етуі сәулетінде елеулі өзгерістер пайда болды. NVIDIA компаниясы ұсынған Cosmos 3 моделі осы бағыттағы жаңа деңгейді білдіреді. Бұл омни-модель әлемді генерациялау, физикалық себеп-салдар байланыстарын талдау және әрекет генерациялау қабілеттерін бір жүйеде біріктіреді. Мұндай кешенді тәсіл түрлі салаларда, оның ішінде робототехника, автономды көлік және ақылды кеңістіктерде қолдануға негіз болады.

Cosmos 3 моделі: негізгі түсінік және ерекшеліктері

Cosmos 3 алдыңғы нұсқаларынан мүлде ерекшеленеді. Ол Mixture-of-Transformers (MoT) архитектурасы негізінде жасалған омни-модель ретінде қызмет етеді. Бұрын қолданыстағы түрлі модельдер өз алдына бөлек функциялар атқарғанда – мысалы, әлем генерациясы, себеп-салдар анализі немесе саясат құру – енді осы барлық операциялар бір модельдің ішінде біріктірілген. Нәтижесінде, құрылымның бір кезеңінде мәтін, кескін, видео немесе әрекет ақпаратынан физикалық тұрғыдан мәнді және нақтылы видео әлемдер жасау, қозғалыс, себептік қатынастар мен кеңістік байланыстарын түсіндіру мүмкіндігі пайда болды.

Архитектура туралы

Cosmos 3 архитектурасы әртүрлі ақпарат көздерін – мәтін, кескін, видео, аудио және әрекеттерді – бір тұтас жүйеде өңдеу негізінде құрылған. Әр модальдік дерек арнайы энкодер арқылы алдын ала өңделіп, ортақ ұсыну кеңістігіне аударылады. Енгізу тізбегі екі бөлікке бөлінеді: біріншісі пікір таласу мен түсіндіруге бағытталған автогресивті бөлік, екіншісі – генерацияны жүзеге асыратын диффузиялық бөлік. Бұл тәсіл модульдердің бір-бірімен бірігіп жұмыс істеуін қамтамасыз етіп, модельді түрлі тапсырмаларға икемді етеді.

Модельді нұсқалары

Cosmos 3 екі негізгі көлемде ұсынылған. Бірінші – Cosmos 3 Nano, 8 миллиард параметрлі модель, ол қарапайым және тиімді инференс үшін жасалған және RTX PRO 6000 сияқты жұмыс станциясының графикалық процессорларында іске асады. Екінші – Cosmos 3 Super, 32 миллиард параметрлі модель, кең ауқымды синтетикалық мәліметтерді генерациялау және ғылыми зерттеулерге арналынған, NVIDIA Hopper және Blackwell GPU-ларында қолданылады.

Cosmos 3-тің мүмкіндіктері және қолдану түрлері

Cosmos 3 көп модальді ақпаратты өңдеуге қабілетті, бұл мәтіннен видеоға, видео мен мәтіннен әрекетке дейінгі бірнеше бағытта жұмыс істеуге мүмкіндік береді. Оны түсіністік моделінен бастап, саясат құруға дейін әртүрлі функциялар үшін қолдану болады.

Кіріс және шығыс модальдіктері

• Мәтін, кескін, видео → видео генерациясы
• Мәтін, видео → мәтін талдауы (Vision Language Model)
• Әрекет, кескін, мәтін → видео (Forward Dynamics Model)
• Мәтін, видео → әрекет болжамы (Inverse Dynamics Model)
• Кескін, мәтін → видео және әрекет саясаты (Policy Model)

Жоғары сапалы видео генерациясы үшін ұсыныс

Видео жасау барысында егжей-тегжейлі сипаттамалар қолдану тиімді. Мысалы, жолдағы көлік видеосы үшін орташа көлемді көріністі, жол шарттарын, көлік түрлерін және оқиға барысын нақты баяндаған жөн. Әрекет генерациялау үшін кеңістікке қатысты қысқа әрі айқын нұсқаулар беру тиімді.

Cosmos 3-ті пайдалану және оның әсері

Cosmos 3 Hugging Face платформасындағы Diffusers кітапханасымен інтеграцияланған. Бұл өзіндік кодтық жолдармен әлем генерациялау процестерін оңай басқаруды қамтамасыз етеді. Мысалы, мәтіннен кескін жасайтын қарапайым код үзіндісі көмегімен модельді іске қосып, зерттеу, өндіріс пен тәжірибелік жұмыс үшін бейімдеу оңай.

Физикалық жасанды интеллектінің синтетикалық мәліметтері

Cosmos 3 моделінің таралуымен бірге NVIDIA компаниясы физикалық жасанды интеллект қалыптастыруға бағытталған Synthetic Data Generation (SDG) мәліметтер жиынтықтарын ашық жариялаған. Олар робототехника, физика, кеңістік мәселелері, адам қозғалысы, автономды жүргізу және қойма қауіпсіздігі салаларына арналған. Бұл мәліметтер негізінде әзірленген үлгілер шынайы әлемдегі күрделі тапсырмаларды тиімді үйренуге таптырмас құрал болады.

Қысқаша қорытынды

Cosmos 3 физикалық интеллектіні дамыту бағытында бірыңғай омни-модель ретінде жаңа сапалық деңгей қалыптастырды. Бір модельде әлемді генерациялау, физикалық себеп-салдарды түсіну және іс-әрекет жасау қабілеттерін біріктіру пайдаланушыларға күрделі жүйелер құруды едәуір жеңілдетеді. Бұл робототехника, автономды көлік және умды кеңістіктер салаларына аса пайдалы құрал ретінде қызмет етеді әрі ғылыми зерттеулер мен өндірістік тәжірибелер үшін негіз болмақ.

TAGS: жасанды интеллект, физикалық интеллект, NVIDIA Cosmos 3, омни-модель, робототехника, синтетикалық мәліметтер, Hugging Face

Дереккөз: Hugging Face Blog