From the Hugging Face Hub to robot hardware with Strands Agents and LeRobot

Кіріспе

Жасанды интеллект пен робототехниканың үйлесуі қазіргі заман технологиясының маңызды бағыттарының бірі ретінде қарастырылады. LeRobot пен Strands Agents жобалары роботтың әрекеттерін үйрену мен басқару процесін жеңілдетіп, симуляциядан нақты құралдарға дейінгі үздіксіз жұмыс істеуге мүмкіндік береді. Бұл технологиялар демонстрацияларды жазу мен өңдеуден бастап, бір роботтан бірнеше роботтың оркестрациясына дейінгі әр кезеңді біріктіреді. Осы мақалада Hugging Face Hub-тан бастап, нақты роботтық аппараттарға дейінгі қосымшалардың қалай жүзеге асырылатыны қарастырылады.

Негізгі түсіндірме

Strands Robots SDK – бұл AWS ұсынған ашық бастапқы коды бар бағдарламалық пакет, ол LeRobot технологиясын AgentTools ретінде ұсынады. Бұл құралдар арқылы агенттерді құрастырып, роботтың симуляциялық және нақты аппараттық орталарда әрекет етуін қамтамасыз етуге болады. LeRobot CLI құралдары аппараттық құралдарды жазу мен калибрлеуді іске асырады, ал Strands AgentTools агентке арналған өзге функцияларды атқарады.

Арнайы екі негізгі шешім осы жүйенің бірегейлігін қамтамасыз етеді. Біріншісі – Robot(«so100″) командасы әдепкі бойынша симуляцияны шақырады, нақты аппараттық құралды іске қосу үшін mode=»real» параметрі қолданылады. Бұл операциялардың коды екі режимде де бірдей сақталады. Екіншісі – симуляция және нақты құрылғылар арқылы жазылған деректер LeRobotDataset форматында ұқсас құрылымда сақталады. Осылайша, симуляция мен аппараттық құрал арасында толық үйлесім қамтамасыз етілген.

Контекст және мысалдар

LeRobot Dataset форматы симуляция мен аппаратта жазылған видеокадрларды, күй мәліметтерін және әрекеттерді бірдей құрылымда сақтайды. Бұл деректерді тиімді өңдеу мен оқытуға мүмкіндік береді. Мысалы, MuJoCo симуляция ортасында «қызыл кубты көтеріп, оны жәшікке қою» тапсырмасы жазылады. Бұл демонстрация Mock саясат провайдері арқылы орындалады, ол тек жүйенің жұмыс істеуін тексеруге арналған, нақты үйрену үшін емес.

Шынайы әрекеттер үшін GR00T немесе LerobotLocal саясат провайдерлері қолданылады. Мысалы, LerobotLocal арқылы MolmoAct2 SO-100_101 атты алдын ала дайындалған модельді пайдаланып, нақты куб талдау және құжаттау процестерін жүргізуге болады. Бұл әрекеттер Hugging Face Hub жүйесінде тіркеледі, әрі қолданушылар оларды ашық түрде пайдалана алады.

Практикалық маңызы

Бұл технологиялар роботтарды жылдам және икемді оқытуға мүмкіндік береді. Бір код базасын симуляция және нақты аппаратта қолдануға дайындық роботтарды сынау мен дамыту кезеңін айтарлықтай қысқартады. Сонымен қатар, агенттердің параметрлерін өзгерту арқылы, нақты құрылғылар мен симуляция арасындағы айырмашылықтарды азайтуға қол жеткізіледі.

Көп роботты жүйелерде Zenoh mesh желісі арқылы агент командаларын үйлестіріп, роботтар тобын бір жүйе ретінде басқару мүмкіндігі пайда болады. Бұл әсіресе өндірістік немесе зерттеу жағдайларында роботтардың көптеп бірлесіп жұмыс істеуін қамтамасыз етеді.

Осылайша, LeRobot пен Strands Agents интеграциясы робототехникада жазу, оқыту, тестілеу және пайдалану үрдістерін біртұтас шешімге айналдырады.

Қорытынды

LeRobot және Strands Agents экожүйесі Hugging Face Hub-тан бастап нақты робот аппараттарымен өзара әрекеттесудің тұтас тізбегін құрастыруға мүмкіндік береді. Бұл технологиялар роботтарды оқыту мен басқарудағы көп құралдарды біріктіріп, процесті қарапайым әрі тиімді етеді. Роботтар арасындағы үйлесімділікті арттырып, заманауи робопроцестерді жетілдіруге жол ашады.

Дереккөз: Hugging Face Blog