S projektem ELLIOT (zkratka pro European Large Open Multi-Modal Foundation Models For Robust Generalization On Arbitrary Data Streams) začíná nová kapitola evropského výzkumu v oblasti umělé inteligence (AI). Tento čtyřletý projekt je financován z programu Horizont Evropa částkou 25 milionů eur (625 mil. Kč) a propojuje 30 předních institucí z 12 evropských zemí s cílem vyvinout novou generaci důvěryhodných a univerzálně použitelných AI modelů, které zvládnou práci s různorodými daty z reálného prostředí. Za Českou republiku se do projektu zapojují České vysoké učení technické v Praze (ČVUT), konkrétně Český institut informatiky, robotiky a kybernetiky (CIIRC), a inovační deep-tech start-up RoboTwin. Právě CIIRC ČVUT bude hlavním českým referenčním bodem pro komunikaci výstupů projektu ELLIOT směrem k odborné veřejnosti i aplikační sféře.
Jádrem projektu ELLIOT je vývoj nové generace otevřených multimodálních tzv. foundation modelů. Jedná se o systémy umělé inteligence, které se dokáží učit z obrovského množství různorodých dat, ať už jde o texty, obrázky, videa, satelitní snímky, signály ze senzorů nebo průmyslová data z výroby. Cílem je, aby tyto modely dokázaly získané obecné znalosti využívat napříč širokou škálou úloh, od robotiky přes autonomní řízení až po predikci přírodních jevů. Oproti současným modelům, které narážejí na značné problémy v oblasti zobecňování a podpory multimodálních dat, budou modely vyvíjené v rámci sítě ELLIOT schopné robustního zobecnění a práce s různými typy dat najednou. Především se dokáží přizpůsobit novým, složitým a proměnlivým situacím s vysokou mírou šumu, které v reálném světě běžně nastávají – například při řízení vozidla, sledování prostředí pomocí dronů nebo ovládání robotů.
CIIRC ČVUT se v projektu ELLIOT podílí na celé řadě klíčových výzkumných úkolů, přičemž v několika z nich zastává vedoucí roli. Zaměří se především na adaptaci (tzv. finetuning) nových velkých multimodálních modelů do reálných scénářů a s tím související testování a hodnocení jejich schopností. Klíčovou oblastí je robotické vnímání, kde modely zpracovávají lidské instrukce ve formě jazyka, gest nebo obrazu společně s daty ze senzorů a kamer, a na základě toho navrhují a realizují konkrétní akce robota. Druhou hlavní oblastí je bezpečnost a robustnost těchto modelů – tedy schopnost odolávat různým typům útoků, například manipulacím s trénovacími daty. CIIRC se bude podílet na vývoji hodnoticích nástrojů, které ověří, že modely splňují jak technické, tak etické požadavky a jsou v souladu s novou evropskou legislativou pro umělou inteligenci (AI Act).
„V současnosti už máme velmi pokročilé tzv. generativní modely umělé inteligence – veřejnost zná a hojně využívá například ChatGPT nebo DALL-E, které umí pracovat s textem a obrázky,” objasňuje Karla Štěpánová, vedoucí skupiny Robotického vnímání na CIIRC ČVUT a pokračuje: „Většina z nich ale zatím nezvládá efektivně pracovat s dalšími vstupními modalitami, které jsou pro lidské vnímání a rozhodování neméně důležité – jako jsou například gesta nebo hmatová informace. Také jim často chybí schopnost chápat změny v čase, jako je pohyb robota v závislosti na dynamice prostředí, vývoj výrobního procesu nebo proměny krajiny na satelitních snímcích. Projekt ELLIOT tuto mezeru zaplní právě multimodálními prostorově-časovými modely.”
Výzkumníci z CIIRC ČVUT v rámci projektu přispívají k celé řadě dalších dílčích úkolů – od testování a dolaďování modelů až po jejich optimalizaci z hlediska výpočetní efektivity a energetické náročnosti. Do projektu přinášejí i své rozsáhlé zkušenosti s využíváním evropské i národní superpočítačové infrastruktury. Jen v loňském roce vědci využili více než 400 000 GPU hodin na ostravském superpočítači Karolina a ve finském LUMI, jedním z nejvýkonnějších počítačů na světě.
„Naše týmy se také zaměří na vývoj nástrojů, které posílí odolnost těchto nových AI systémů vůči kybernetickým útokům a pomohou zvýšit jejich bezpečnost,” doplňuje Vladimír Petrík, expert na strojové vnímání pro robotiku z týmu Josefa Šivice IMPACT na CIIRC ČVUT, a zdůrazňuje: „Neméně důležitá je i role našeho institutu při přenosu a adaptaci základních modelů do konkrétních aplikačních oblastí v manipulační robotice, ve které bude CIIRC spolupracovat se společností RoboTwin.”
Společnost RoboTwin se zapojí především do části projektu zaměřené na sběr a generování doménově specifických dat, která jsou nezbytná pro adaptaci foundation modelů na reálné scénáře, jako je robotická montáž, manipulace nebo automatizace dalších výrobních operací. RoboTwin tým bude dále validovat adaptované modely na reálných robotických aplikacích z výrobního průmyslu. Svým zaměřením na inovace v oblasti robotiky a AI přispívá RoboTwin k přenosu výsledků projektu do praxe a rozvoji využití foundation modelů v průmyslových robotických systémech.
Projekt ELLIOT úzce spolupracuje s evropskými i mezinárodními komunitami zaměřenými na open-source a otevřenou vědu, jako jsou LAION a open-sci, a využije jejich rozsáhlé zkušenosti s vývojem otevřených základních modelů a potřebných datasetů. Tato úzká spolupráce zajistí, že projekt bude držet krok s nejnovějším vývojem v oblasti výzkumu a umožní, aby celý vývojový řetězec – od tvorby datasetů přes trénování, ladění až po vyhodnocení – byl zcela otevřený a reprodukovatelný, a tedy snadno ověřitelný a přizpůsobitelný pro konkrétní potřeby průmyslu i veřejného sektoru.
„Projekt ELLIOT výrazně posílí evropskou suverenitu a nezávislost v oblasti umělé inteligence, zejména v rychle se rozvíjející oblasti multimodálních základních modelů. Díky využití evropské vědecké excelence, výpočetní infrastruktury a závazku k otevřeným a důvěryhodným inovacím představuje ELLIOT významný krok k tomu, aby Evropa aktivně utvářela svou vlastní budoucnost v oblasti AI,“ říká Dr. Yiannis Kompatsiaris, koordinátor projektu z řeckého institutu CERTH‑ITI.
ELLIOT bude využívat nejmodernější evropskou superpočítačovou infrastrukturu – včetně superpočítačů EuroHPC, jako jsou JUPITER, Leonardo, MareNostrum, LUMI nebo Alps ve Švýcarském národním superpočítačovém centru (CSCS). Projekt bude kombinovat reálná i syntetická data z důvěryhodných zdrojů k trénování a vývoji skupiny otevřených modelů, datasetů a metodik. To umožní AI komunitě v Evropě i ve světě vytvářet, zkoumat, nasazovat, rozšiřovat a vyhodnocovat otevřené modely plně reprodukovatelným způsobem, a to v rozsahu, který zatím nebyl akademickým pracovištím dostupný. ELLIOT tak bude působit jako katalyzátor otevřeného výzkumu a open source přístupů v oblasti AI a významně posílí vizi evropské AI suverenity.
Výsledky projektu ELLIOT také umožní průlomové aplikace a dají Evropě náskok v oblastech jako jsou média, modelování Země, robotické vnímání, autonomní řízení, počítačové inženýrství a automatizace pracovních procesů. Klíčové aktivity výzkumu zahrnují rozvoj komunity a vzdělávání nové generace evropských výzkumníků v oblasti strojového učení a umělé inteligence, přičemž se navazuje na mezinárodně uznávanou organizaci ELLIS Society (European Laboratory for Learning and Intelligent Systems), jejíž český uzel ELLIS Unit Prague vede a hostí CIIRC ČVUT. Výsledkem bude komplexní evropský ekosystém AI, který bude vytvořený v Evropě, pro Evropu a v souladu s evropskými hodnotami.
Konsorcium je koordinováno řeckým Institutem informačních technologií z Centra pro výzkum a technologie Hellas (CERTH-ITI) a zahrnuje přední akademické a výzkumné instituce, inovativní malé a střední podniky, veřejné instituce a neziskové organizace s různorodou odborností.
