Какво представлява App Builder-ът на OpenMind и как работи?

openmind разработва инструменти, предназначени да намалят сложността на разработването на софтуер за автономни машини. В центъра на това усилие е OM1, операционна система с отворен код, предназначена за роботи и други интелигентни устройства. Компанията често описва OM1 като платформа за роботика в стил Android, което означава споделена среда за изпълнение, която абстрахира хардуерните разлики, като същевременно позволява на разработчиците да се съсредоточат върху поведението и логиката.

Наскоро OpenMind представи... OpenMind App Builder, инструмент за визуална конфигурация в портала за разработчици, който позволява на разработчиците да създават, модифицират и внедряват роботизирани приложения, без да пишат код за често срещани задачи. Съобщението, направено чрез официалния X акаунт на компанията, беше придружено от кратко демонстрационно видео, показващо продукта в употреба.

Тази статия обяснява какво представлява OpenMind App Builder, как работи на техническо ниво и къде се вписва в по-широката екосистема на OM1.

Каква е по-широката мисия на OpenMind?

Целта на OpenMind е да даде възможност за автономни машини чрез споделени стандарти и модулен софтуер. OM1 е лицензиран под лиценза на MIT и се разработва открито в GitHub, където е привлякъл хиляди звезди и приноси от общността. Runtime е проектиран да поддържа широк спектър от роботи, включително хуманоиди, четириноги като серията Unitree Go и мобилни изследователски платформи като TurtleBot.

- Компания, подкрепена от Pi Network Ventures е и основен сътрудник на Fabric Foundation, организация, фокусирана върху стандарти за автономна координация на машини и идентичност във веригата. Fabric насърчава спецификации като ERC 7777, която определя как поведението на роботите може да бъде описано и обменено. App Builder е позициониран като практичен интерфейс върху тези базови системи.

Какво представлява OpenMind App Builder

OpenMind App Builder е визуален интерфейс без код и с ниско кодиране за конфигуриране на поведението на роботи в OM1. Достъпът до него се осъществява чрез портала за разработчици на OpenMind след създаване на акаунт. Вместо да пишат конфигурационни файлове на ръка, разработчиците изграждат приложения, като сглобяват визуални възли, които представляват режимите на роботи и дефинират как тези режими се свързват.

Всяко приложение е представено като блок-схема. Възлите съответстват на поведенчески състояния, като например поздрав, навигация или картографиране. Преходите между възлите определят кога и как роботът превключва от едно поведение към друго. Получената конфигурация се запазва и може да бъде внедрена директно в съвместим хардуер чрез портала.

App Builder не замества традиционното програмиране. По-скоро той се намира върху конфигурационната система на OM1 и експортира структурирани конфигурационни файлове, които могат да бъдат разширени или променени в код за по-сложни случаи на употреба.

Открийте обещаващи проекти...

Перспективни проекти...

(Реклама)

Статията продължава...

Основни понятия и терминология

Разбирането на App Builder изисква познаване на няколко OM1 концепции.

Режими

Режимът е отделно поведенческо състояние. Например, роботът може да има режим на добре дошли, режим на навигация и режим на памет. Всеки режим определя кой езиков модел се използва, кои сензори са активни, кои действия са разрешени и наличния фонов контекст.

Възли и преходи

Във визуалния редактор всеки режим се показва като възел. Преходите са насочващи връзки между възлите. Преходът включва условия, които определят кога роботът преминава от един режим в друг. Разработчиците могат да зададат, че изговорена команда задейства преминаване от поведение на празен ход към навигация.

Входни данни, действия и фонове

Входните данни представляват сензори или източници на данни, като например микрофони, камери или уеб-базирани емисии. Действията представляват изходни данни, като например команди за движение, синтез на реч или записи в паметта. Фоновете предоставят постоянен контекст, като например GPS местоположение или състояние на навигацията.

Куки за жизнения цикъл

Всеки режим включва куки за жизнения цикъл, включително системен подканен прозорец за езиковия модел. Това позволява на разработчиците да контролират как моделът се държи в даден режим, използвайки инструкции на естествен език, съхранени като част от конфигурацията.

Как работи App Builder на практика?

Демонстрационното видео, публикувано заедно с обявлението, показва целия работен процес от началото до внедряването.

Избор на робот

Когато разработчик отвори App Builder, първата стъпка е да избере машина от страничната лента. Това свързва конфигурацията със специфичен профил на робот, включително неговите поддържани сензори и действия. OM1 осигурява хардуерна абстракция чрез специален слой, позволявайки една и съща конфигурация на високо ниво да се използва повторно в подобни машини.

Визуално изграждане на режими

След като изберете робот, платното се запълва с начална блок-схема. Разработчиците могат да добавят нови режими, като щракнат върху икона с плюс. Всеки нов режим отваря панел за редактиране, където се дефинират параметри.

В този панел разработчикът избира езиков модел от падащ списък. Поддържаните опции включват множество търговски и отворени модели. След това се добавят входни данни, като например автоматично разпознаване на реч за гласово управление или данни от камера за визуално управление. След това се избират действия, като например навигация или речев изход. Могат да се активират и фонове, като GPS или навигационен контекст.

Всички промени се запазват незабавно и платното се актуализира, за да отрази текущата конфигурация.

Дефиниране на преходи

След като режимите бъдат създадени, преходите се дефинират чрез плъзгане на конектор от един възел към друг. Това отваря редактор на правила, където се задават условия. Условията могат да се отнасят до входни данни, вътрешно състояние или други сигнали. Например, правило за преход може да указва, че разпозната гласова команда кара робота да излезе от режима си на готовност и да влезе в режим на навигация.

Функция за автоматично форматиране пренарежда платното, за да поддържа блок-схемата четлива, докато расте.

внедряване

Когато конфигурацията е завършена, разработчикът може да я разположи директно от интерфейса. Конфигурацията се качва в робота чрез портала OpenMind и се прилага без ръчно прехвърляне на файлове. За екипи, използващи OM1 локално или в производствени канали, същата конфигурация може да бъде разположена с помощта на инструменти от командния ред или контейнеризирани работни потоци.

Поддържани модели и компоненти

Според OpenMind, App Builder в момента поддържа повече от шест езикови модела, над четиридесет входа, тридесет действия и повече от десет фонови контекста. Тези числа отразяват модулния дизайн на OM1, където всеки компонент е реализиран като плъгин.

Езиковите модели могат да се сменят без пренаписване на логиката на приложението. Входните данни и действията са също взаимозаменяеми, стига основният хардуер да ги поддържа. Този подход позволява на разработчиците бързо да експериментират с различни конфигурации, като същевременно поддържат последователна структура.

Интеграция с OM1 и работни процеси, базирани на код

Въпреки че App Builder набляга на визуалната конфигурация, той е проектиран да се интегрира с кодовата база на OM1.

Разработчиците могат да експортират конфигурации като структурирани файлове и да ги съхраняват в контрола на версиите. Напредналите потребители могат да създават персонализирани входни данни и действия, като добавят Python модули към съответните директории в хранилището OM1. След това тези персонализирани компоненти се показват в интерфейса на App Builder за избор.

За внедряване в голям мащаб или на периферни устройства, като например хардуер на Nvidia Jetson, OM1 поддържа конфигурации, базирани на контейнери. App Builder допълва тези работни процеси, като намалява времето, прекарано в първоначална конфигурация и итерация.

Хардуерна абстракция и преносимост

Една от основните цели на дизайна на OM1 е хардуерният агностицизъм. App Builder отразява това, като показва само поведения на високо ниво, а не контрол на двигателите на ниско ниво. Например, разработчикът може да конфигурира навигационно действие, без да уточнява как се движат отделните стави.

Тази абстракция се реализира чрез слой за хардуерна абстракция, който свързва действията на OM1 със специфични за роботите комплекти за разработка на софтуер, като ROS2 или API на доставчици. В резултат на това една и съща логика на приложението често може да се използва повторно в различни роботи с минимални промени.

Ограничения и съображения

App Builder е предназначен да опрости често срещани задачи, но не елиминира необходимостта от инженерна преценка.

Някои хардуерни платформи имат ограничена поддръжка в зависимост от изчислителните възможности. Пълният набор от функции е наличен в момента на по-нови системи, базирани на Nvidia, докато по-старите платформи може да изискват компромиси. Основната среда за изпълнение на OM1 също така ограничава директния достъп до интернет от съображения за безопасност и надеждност, което влияе върху начина, по който се използват външни API.

За сложна автономност, от разработчиците се очаква да комбинират конфигурации на App Builder със симулация, обучение с подсилване и обширно тестване. Документацията на OpenMind набляга на започването с прости поведения и валидирането им в симулирани среди, преди внедряването им в реални машини.

Заключение

OpenMind App Builder е инструмент за визуално конфигуриране, който се намира върху средата за изпълнение OM1 и опростява създаването и внедряването на роботизирани приложения. Чрез представяне на поведението на робота като режими, преходи и модулни компоненти, той позволява на разработчиците да сглобяват функционални приложения, без да пишат код за всяка стъпка.

Стойността му се състои в намаляване на трудностите при настройката, като същевременно остава съвместим с работни процеси, базирани на код. За екипи, изграждащи OM1, App Builder предоставя структуриран начин за проектиране, тестване и внедряване на поведение на роботи на различни хардуерни платформи. Вместо да замества традиционната разработка, той служи като интерфейс, който прави основната система по-достъпна и по-лесна за разсъждение.

Източници:

• X ПубликацияПредставяме ви OpenMind App Builder 
• Портал за програмистиСъздавайте приложения на OpenMind