Název projektu: | Federated foundational models for embodied perception |
Akronym: | FRONTIER |
Reg. číslo: | 101097822 |
Poskytovatel podpory: | European Research Council (ERC) – Evropská rada pro výzkum |
Program: | HORIZON.1.1 – European Research Council (ERC) ERC Advanced Grant (ERC-2022-ADG) |
Doba trvání: | 01/2024-12/2028 (60 months) |
Držitel grantu: | Dr. Ing. Josef Šivic |
Celkové způsobilé výdaje: | 2 499 825 EUR |
Další informace: | Tisková zpráva a interview – publikováno ČVUT |
Anotace:
Počítačové vidění zaznamenává významné pokroky díky velkým neuronovým modelům, které dosahují působivých výsledků v široké škále rozpoznávacích úloh. Tyto modely se ale učí pouze statické 2D reprezentace obrazu na základě pozorovaných korelací mezi statickými obrazy a přirozeným jazykem. Náš svět je však trojrozměrný, plný dynamických událostí a kauzálních interakcí. Významnou vědeckou výzvou je proto vyvinout velké neuronové modely pro počítačové systémy, které mají fyzické tělo, fungují v dynamickém 3D světě a interagují s okolním prostředím.
FRONTIER řeší tuto výzvu prostřednictvím:
- vytvoření nové třídy základních modelových architektur založených na geometrické a fyzikální struktuře světa, které skombinují rozsáhlé neuronové sítě s naučitelnými diferencovatelnými fyzikálními simulačními komponenty. Cílem je dosáhnout zobecňování napříč úkoly, situacemi a prostředími;
- navržení nových algoritmů strojového učení, které budou modelovat fyzikální a geometrickou strukturu dat. Cílem je dosáhnout efektivního učení z dat podobně jako se učí lidé;
- vývoje nových metod federovaného učení, které umožní sdílení a kumulaci zkušeností z různých robotických systémů. Cílem je dosáhnout rozsahu, přesnosti a robustnosti, které nelze dosáhnout učením pouze v jednotlivých izolovaných robotických systémech.
Průlomový pokrok v těchto problémech by měl velký dopad na náš každodenní život a ekonomiku. Výstupy z tohoto výzkumu by například mohly vést k bezpečnějším automobilům, které navzájem sdílejí své zkušenosti, inteligentním výrobním linkám, které se společně přizpůsobují novým pracovním postupům, nebo k nové generaci inteligentních asistenčních robotů, které se automaticky učí novým dovednostem z Internetu a jeden od druhého.