FRONTIER

 

Název projektu: Federated foundational models for embodied perception
Akronym: FRONTIER
Reg. číslo: 101097822
Poskytovatel podpory: European Research Council (ERC) – Evropská rada pro výzkum
Program: HORIZON.1.1 – European Research Council (ERC)
ERC Advanced Grant (ERC-2022-ADG)
Doba trvání: 01/2024-12/2028 (60 months)
Držitel grantu: Dr. Ing. Josef Šivic
Celkové způsobilé výdaje: 2 499 825 EUR
Další informace: Tisková zpráva a interview – publikováno ČVUT

Anotace:

Počítačové vidění zaznamenává významné pokroky díky velkým neuronovým modelům, které dosahují působivých výsledků v široké škále rozpoznávacích úloh. Tyto modely se ale učí pouze statické 2D reprezentace obrazu na základě pozorovaných korelací mezi statickými obrazy a přirozeným jazykem. Náš svět je však trojrozměrný, plný dynamických událostí a kauzálních interakcí. Významnou vědeckou výzvou je proto vyvinout velké neuronové modely pro počítačové systémy, které mají fyzické tělo, fungují v dynamickém 3D světě a interagují s okolním prostředím.

FRONTIER řeší tuto výzvu prostřednictvím:

  1. vytvoření nové třídy základních modelových architektur založených na geometrické a fyzikální struktuře světa, které skombinují rozsáhlé neuronové sítě s naučitelnými diferencovatelnými fyzikálními simulačními komponenty. Cílem je dosáhnout zobecňování napříč úkoly, situacemi a prostředími;
  2. navržení nových algoritmů strojového učení, které budou modelovat fyzikální a geometrickou strukturu dat. Cílem je dosáhnout efektivního učení z dat podobně jako se učí lidé;
  3. vývoje nových metod federovaného učení, které umožní sdílení a kumulaci zkušeností z různých robotických systémů. Cílem je dosáhnout rozsahu, přesnosti a robustnosti, které nelze dosáhnout učením pouze v jednotlivých izolovaných robotických systémech.

Průlomový pokrok v těchto problémech by měl velký dopad na náš každodenní život a ekonomiku. Výstupy z tohoto výzkumu by například mohly vést k bezpečnějším automobilům, které navzájem sdílejí své zkušenosti, inteligentním výrobním linkám, které se společně přizpůsobují novým pracovním postupům, nebo k nové generaci inteligentních asistenčních robotů, které se automaticky učí novým dovednostem z Internetu a jeden od druhého.