НVIDIA Cosmos 3 ашық үлгілерімен интерактивті әлем симуляциясы

Жасанды интеллект пен робототехника технологияларының дамуымен виртуалды ортада нақты әлемнің күрделі құбылыстарын модельдеу маңызды міндетке айналды. NVIDIA компаниясының Cosmos 3 платформасы осы бағытта үлкен қадамдар жасап, интерактивті әлем симуляциясын жетілдіруге арналған жаңа ашық үлгілерін ұсынды. Бұл модельдер көпсензорлы және көпбұрыштық мәліметтерді өңдеу арқылы автономды жүйелерді дамыту үшін құнды құрал болмақ.

Cosmos 3 моделі: негізгі түсініктер

NVIDIA Cosmos 3 – бұл интерактивті және көріністі симуляция үшін әзірленген әлемдік үлгілер жүйесі. Оның мұқият жасалған төрт жаңа ашық салмақты үлгілері автономды көлік және роботизация саласында нақты әлемдегі жағдайларды модельдеуге мүмкіндік береді. Бұл үлгілердің жалпы параметр саны 16 миллиардқа жетеді және барлық үлгілер OpenMDW1.1 лицензиясы бойынша коммерциялық және коммерциялық емес мақсатта пайдалануға қолжетімді.

Негізгі үлгілердің функциялары

• Cosmos3-Nano-Transfer-Auto: әртүрлі ауа райы, жарықтандыру және уақыт жағдайларында көпкамералы көлік мәліметтерін синхронды түрде генерациялайды.
• Cosmos3-Nano-Sim-Auto: көлік басқару командаларына сәйкес камера мен LiDAR-дан алынған бақылауларды үздіксіз ағын түрінде қамтамасыз етеді.
• Cosmos3-Nano-Sim-Transfer: физикалық симулятор басқаруын және мәтіндік сипаттаманы фотосуретке ұқсаған видеоға айналдырады.
• Cosmos3-Nano-Sim-Bimanual: робот немесе камераның әрекеттеріне сәйкес келесі бейнелерді болжайды.

Контекст пен мысалдар

Автономды көлік жүйелерін дамыту кезінде көріністердің шынайылығы және түсінікті болуы өте маңызды. Мысалы, Cosmos3-Nano-Transfer-Auto моделі әртүрлі ауа райы мен жарық жағдайында 11 камералық жүйенің синхронды видеокөрінісін генерациялайды. Бұл неғұрлым кең ауқымды мәліметтер жинап, оқыту мен тестілеу үшін негіз болатын симуляция. Cosmos3-Nano-Sim-Auto көмегімен белгілі бір автомобиль жүргізу етекшесінің командаларын енгізіп, көріністердің нақты уақыттағы өзгеруін модельдеуге болады.

Робототехникада Sim-Bimanual үлгісі екі қолды роботтың әрекеттерін ескере отырып, келесі бейнелерді жасайды. Бұл модельдер саясатты бағалау және дамытудың мәнін қиындататын күрделі динамикалық орталарды зерттеу үшін қажетті ұтымды тәсілдерді ұсынады.

Практикалық маңызы және қолданылуы

Жаңа ашық үлгілер автономды жүргізу және робот жасау саласындағы зерттеушілерге және әзірлеушілерге күрделі орталарды тез және нақты симуляциялауға мүмкіндік береді. Мысалы, Transfer-Auto модельін жеке датчик конфигурацияларына бейімдеп, нақты жүргізу доменіне сәйкес жаңартуға болады. Sim-Auto моделі осы бейімделген нұсқасынан алынған causal distillation процедурасы арқылы нақты уақытта бақылауды жалғастыруға және іс-қимылды дұрыс бағалауға мүмкіндік береді.

Sim-Transfer симулятордағы физикалық күйді пайдаланып, сыртқы саясаттың қажетті бейнелерін құрастырады. Бұл тәсіл робототехника мен автономды жүйелердің қабылдау қабілетін жетілдіруге бағытталған. Сонымен бірге, Sim-Bimanual моделі нақты адам немесе басқару командаларына әсерлесуді модельдеуге мүмкіндік береді, бұл интерактивті тренингтер мен сынақтар үшін аса маңызды.

Қорытынды

NVIDIA Cosmos 3 платформасының жаңа ашық үлгілері интерактивті әлем симуляциясын жүзеге асыруда айтарлықтай жетістіктерге жетті. Олар автономды көлік жүргізу мен робототехникада күрделі динамикалық орталарды нақты уақытта модельдеуге мүмкіндік береді. Ашық қолжетімді болуымен бұл үлгілер зерттеушілер мен әзірлеушілерге бірегей орта қалыптастыру, эксперименттер жасау және өз бетімен жетілдіріп дамыту үшін қолайлы тұғырнама ұсынады. Алдағы уақытта бұл технологиялар жасанды интеллект және автономды жүйелердің сапасын арттыруда маңызды рөл атқаратын болады.

TAGS: NVIDIA, Cosmos 3, автономды көлік, робототехника, интерактивті симуляция, көпкамералы жүйелер, жасанды интеллект

Дереккөз: Hugging Face Blog