Článek našich výzkumníků, Gabriely Šejnové, Karly Štěpánové a Michala Vavrečky, byl přijat na jednu z nejvýznamnějších světových konferencí v oblasti robotiky – IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2024, která se uskuteční od 14. do 18. října v Abu Dhabí.
Vědecký článek nese název „Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks“ a zabývá se klíčovým tématem ve vývoji inteligentních autonomních robotů. Výzkumníci se zaměřují na to, jak roboty naučit vykonávat složité manipulační úlohy na základě jazykových příkazů, vizuálního vnímání a předváděných pohybů. Cílem výzkumu je dosáhnout vyšší míry autonomie robotů, kteří budou schopni rozpoznávat různé objekty a vykonávat s nimi nové úlohy na základě jazykových instrukcí, a to bez nutnosti předprogramování.
Metodologie výzkumu
V této práci autoři představují inovativní využití multimodálních variačních autoenkodérů (VAE), které dokážou kombinovat různé vstupy z jazyka, obrazu a pohybu robota. Každá modalita je zpracována pomocí samostatné hluboké neuronové sítě, a tato zpracovaná data jsou následně sloučena do jednoho společného prostoru. Tento společný latentní prostor umožňuje robotu efektivně analyzovat jednotlivé úlohy, což zahrnuje rozpoznání objektů, vykonání požadovaného pohybu a následnou interakci s okolním prostředím.
Během tréninkového procesu robot obdrží řadu tréninkových dat, například pokyny jako „posuň hrneček doleva“ či „vlož jablko do šuplíku“. Pomocí těchto dat se postupně naučí identifikovat, které části příkazu se vztahují k objektům a které k pohybovým akcím. Tato technologie umožňuje robotům vykonávat jak jednoduché úkoly, jako je posunování objektů, tak i složitější úkony, které zahrnují více kroků.
Praktické výsledky
Autoři ve svém článku dokázali, že roboty lze tímto způsobem naučit například manipulaci s objekty typu „seber jablko“ nebo složitější vícekrokové úlohy jako „vlož jablko do šuplíku“, kde je třeba kombinovat více pohybových kroků (otevření šuplíku, sebrání jablka a zavření šuplíku). Tento pokrok otevírá nové možnosti pro aplikace robotiky, především v oblasti autonomních robotických systémů, které budou schopny reagovat na různé podněty z okolního světa a přizpůsobovat se dynamickému prostředí.
Video – https://www.youtube.com/watch?v=IVaDvEv0oys
Konference IROS 2024
Konference IROS 2024, jejíž hlavním tématem je „Robotics for Sustainable Development“, je jedním z nejvýznamnějších setkání vědců, inženýrů a odborníků z celého světa v oblasti inteligentních robotů a systémů. Koná se v prestižním ADNEC centru v Abu Dhabí, kde se každoročně setkává elita světové robotiky, aby sdílela nejnovější poznatky, technologické inovace a budoucí vize
Gratulujeme Gabriele Šejnové, Karle Štěpánové a Michalu Vavrečkovi k tomuto významnému úspěchu.
