Společnost GoodAI, zabývající se výzkumem a vývojem umělé inteligence (AI), věnovala 24.000 $ ze svého grantového fondu o celkovém objemu 300.000 $ skupině výzkumných pracovníků z Českého institutu informatiky, robotiky a kybernetiky ČVUT. Grant podpoří uskutečnění projektu, který, jak obě strany pevně věří, urychlí výzkum směřující k umělé inteligenci lidské úrovně. Projekt bude řídit vědec Tomáš Mikolov, který vedl vývoj populárních algoritmů pro předzpracování přirozené řeči – Word2vec a FastText, a již dříve pracoval jako výzkumný pracovník ve Facebook AI a Google Brain.
Cílem projektu je rozvinout existující metody pro hledání novosti (novelty search) a navrhnout nové techniky pro tvorbu a identifikaci novosti a inovativního jednání. Výsledky výzkumu budou využity k tomu, aby se AI místo maximalizace objektivních funkcí mohla učit pomocí objevování nových, neobvyklých věcí v průběhu svého života.
Výzkum bude zkoumat oblasti, kde tendence k novosti vychází ze základních principů, jako je například způsob, jakým je sestaveno trénovací prostředí. Projekt se pokusí zjednodušit a zobecnit myšlenky již dříve publikované americkým vědcem Kennethem Stanleym. Bude zkoumat agenty AI trénované ve virtuálních labyrintech, odměňované za objevení nových lokací. V průběhu výzkumu bude drobně upravována objektivní funkce a prostředí, čímž dojde k povzbuzení novosti v chování, přičemž odměňováni budou agenti, kteří se budou chovat odlišně od ostatních. Primárním cílem je pochopit, jaké vlastnosti agentů a prostředí jsou katalyzátorem novosti v interakcích mezi agentem a prostředím. Výsledky výzkumu mohou umožnit zásadní posun ve vývoji algoritmů AI pro prostředí, kde jsou odměny vzácné, a v důsledku tento výzkum napomůže úsilí vytvořit AI lidské úrovně.
Toto je první podpora udělená v rámci Iniciativy GoodAI grantů v celkovém objemu 300 000 $. Tento příspěvkový program má za cíl podporovat výzkumné skupiny a výzkumné pracovníky z celého světa, jejichž výzkum má šanci zodpovědět otevřené otázky, týkající se architektury Badger společnosti GoodAI. Příspěvkový program je i nadále otevřen pro výzkumné pracovníky, kteří se věnují širokému spektru oblastí, včetně multi-agentního posilovaného učení, naučené komunikace, grafových neuronových sítí, naučených optimalizátorů, modulárního meta-učení a mnohých dalších.
Marek Rosa, zakladatel a generální ředitel společnosti GoodAI, řekl: “Je nám potěšením Tomášovi a jeho týmu poskytnout tento dar. V GoodAI obdivujeme výsledky jeho práce a na naši spolupráci se těšíme. Od chvíle, co jsme oznámili grantový program GoodAI na našem nedávném workshopu věnovanému meta-učení a multi-agentnímu učení, jsme od výzkumných pracovníků z celého světa obdrželi skvělé ohlasy a očekáváme, že další granty budou přiděleny v průběhu nadcházejících týdnů.”
Tomáš Mikolov, vedoucí výzkumný pracovník na Českém institutu informatiky, robotiky a kybernetiky, sdělil: “Mám radost, že společnost GoodAI náš výzkumný projekt podpoří a těším se na budoucí spolupráci na vývoji nových přístupů k řešení AI. Považuji za úžasné, že Marek přistupuje k výzkumu AI s takovou vážností, a už roky pracuje na něčem, co může být v dnešní době považováno za největší výzkumnou výzvu lidstva.”
Organizace GoodAI a ČVUT jsou obě součástí iniciativy prg.ai, která má snahu posílit ekosystém AI v Praze systémem podpory spolupráce, výzkumu a inovativních společností s cílem vytvořit z Prahy centrum AI světové úrovně.
O GoodAI
GoodAI je výzkumná a vývojová organizace se sídlem v Praze, s cílem vyvinout všeobecnou umělou inteligenci – co možná nejdříve – pro prospěch lidstva a a pro porozumění vesmíru. Organizaci založil její generální ředitel a zároveň technický ředitel, Marek Rosa, v lednu 2014. V současné době sdružuje více než 30 výzkumných pracovníků, inženýrů a konzultantů pracujících napříč jejími divizemi.
Rozhovor s Tomášem Mikolovem
Zdroj: Digbiz
Tomáš Mikolov patří k české vědecké špičce v oblasti umělé inteligence (AI). Během své kariéry už stihl pracovat pro Google, Facebook nebo Microsoft, letos se ale vrátil bádat zpět do Česka do Českého institutu informatiky, robotiky a kybernetiky patřící pod ČVUT. „Nejvíce mě zajímá základní vývoj,“ říká v rozsáhlém rozhovoru pro Digibiz.cz
Světově uznávaný vědec Tomáš Mikolov získal uznání odborné i široké veřejnosti tím, že díky vytvoření nových modelů neuronových sítí výrazně vylepšil fungování aplikací pro rozpoznávání a zpracování jazyka, což zaujalo největší světové technologické firmy. Jeho řešení využil Google například ve svém strojovém překladači. Zkušenosti ale má z dalších výzkumných týmů známých technologických firem jako je Facebook nebo Microsoft.
„Největším překvapením pro mě bylo, že i když jsem v korporacích našel super chytré lidi, uvědomil jsem si, že my jako Češi dost trpíme malostí myšlení,“ říká v rozhovoru pro Digibiz.cz, který se uskutečnil při příležitosti říjnové konference Týdne inovací ve Fóru Karlín. „Podle mě se zbytečně podceňujeme, často i navzájem,“ dodává k tomu.
Letos se Mikolov po osmi letech v zámoří vrátil do Česka a stal se vedoucím výzkumné skupiny Českého institutu informatiky, robotiky a kybernetiky (CIIRC), který je součástí ČVUT v Praze.
„Osobně chci vymyslet tu opravdovou umělou inteligenci. Na tom se sice dá dělat kdekoliv, ale v korporacích jsem měl dojem, že mě dost brzdí byrokratické věci,“ říká Mikolov.
Překvapilo vás něco na způsobu vývoje u velkých technologických firem?
Největším překvapením pro mě bylo, že i když jsem v korporacích našel super chytré lidi, uvědomil jsem si, že my jako Češi dost trpíme malostí myšlení. V amerických firmách jsem se totiž setkával s Francouzi, Američany a mnoha dalšími národnostmi, kteří toho často věděli méně než čeští studenti, ale měli daleko větší sebevědomí. A pak jsem viděl, jak určitý technický problém řešili rok dva a moc jim to nešlo, přitom třeba dobrý student Matfyzu nebo ČVUT by ho vyřešil relativně rychle. Češi se ale do těchto firem moc nedostávali.
Češi se tedy neumí prosadit?
Podle mě se zbytečně podceňujeme, často i navzájem. Když ale máte zahraniční zkušenost, tak pro vaše sebevědomí je to dobré. Protože ne každý, kdo dělá v Silicon Valley, je génius. A když tam člověk stráví určitý čas, zjistí, že spousta věcí je jednodušších, než by se mohly zdát.
Proč jste opustil tyto lukrativní americké technologické firmy, kde by jistě rád pracoval každý, a vrátil jste se do Česka na akademickou půdu. Táhne vás to spíše k základnímu výzkumu?
Jasně. Osobně chci vymyslet tu opravdovou umělou inteligenci. Na tom se sice dá dělat kdekoliv, ale v korporacích jsem měl dojem, že mě dost brzdí byrokratické věci. Některé metriky byly nastaveny tak, že už jen z nich bylo vidět, že pro firmu jsou důležité hlavně aplikace. Mě ale vždy spíše bavilo přicházet s novými nápady, které mohou vést na přelomové zlepšení technologií, spíše než inkrementální zlepšování stávajícího.
V čem je podle vás akademická sféra lepší?
Akademická sféra může mít ty výhody, že má větší odstup od věcí, které se právě používají. Takže, když chci vyvinout něco nového, tak akademická půda je jednodušší pro svobodu myšlení. Mohl jsem pokračovat ve svém výzkumu na některé americké univerzitě, ale Česko je fajn země, žije se tu dobře, nemáme velké sociální nepokoje, není tu rozdělení společnosti podobně jako v Americe.
Je to tu klidnější, zajímavější, pro mě i hezčí. To ale zjistí člověk až po pár letech života v Silicon Valley. Sice tam je stále pěkné počasí a spousta peněz, ale když se chcete podívat třeba do centra města, tak tam vlastně žádné město není, není tam kromě práce moc co dělat.
Chtěl jsem mít blíže k základnímu výzkumu a dělat se studenty, kteří ještě nemají takové to tunelové vidění, jaké mají často starší vědci. Ti zpravidla umí dobře jednu věc, kterou dělají stále dokola. Když si takto chcete vydělat peníze, je to fajn, ale pro mě opakování jedné věci není příliš zábavné.
Peníze pro vás nejsou důležité?
Ve Spojených státech jsem dělal v době, kdy expertů na neuronové sítě bylo hodně málo, takže nám platy šly raketově nahoru, protože se o nás přetahovaly firmy. S penězi tedy problém určitě nemám, nemusím se tak ohlížet na to, kolik mi kdo zaplatí. Naopak bych si mohl třeba založit vlastní firmu.
A založíte?
Časem možná ano. Nejvíce mě ale zajímá základní výzkum, jak opravdu vytvořit umělou inteligenci. Je pak otázkou, co si člověk slibuje od toho, když založí startup. Vydělávání peněz není moje hlavní motivace. Pokud bych si založil startup, bylo by to o tom sehnat peníze spíše pro ostatní lidi, abych mohl mít větší tým. Ale to se dá dělat i na té univerzitě, kdy člověk shání různé granty a z toho pak může zaplatit studenty. Což jsem vlastně řešil poslední rok.
Obecně mi ke štěstí stačí, když kolem sebe budu mít lidi, kteří mají podobné zájmy jako já, kteří ještě nemají tunelové vidění a mají potenciál a chuť vymyslet něco nového. A já tu chci vytvořit podmínky pro to, aby tady mohla vzniknout generace vědců, kteří přijdou s něčím jako dříve já, tzn. se skokovým vylepšením toho, co už existuje, nebo dokonce s něčím úplně novým, a udělat s tím díru do světa.
Na čem nyní děláte?
Můžu zmínit umělou evoluci. To je hodně starý nápad, podobně jako například umělé neuronové sítě. Ale nikdo jej zatím nevyřešil do bodu, že bychom měli matematický model, o němž bychom mohli prohlásit, že v čase se samovolně rozvíjí do složitosti, která je neohraničená, a že se v rámci tohoto modelu může vyvinout umělý život. To se jednoduše řekne, ale takový model zatím nemáme a nikdo pořádně neví, jak na to. Je tu sice X různých nápadů, ale vše je zatím nedotažené.
Myslím ale, že v rámci následujících tří, pěti, deseti let bychom to mohli s trochou štěstí „rozchodit“. Slibuji si od toho, že výsledkem budou modely, které se dokáží učit bez silné supervize, což je oblast, kde právě současné neuronové sítě selhávají. Tímto bychom dokázali řešit problémy, na které současné metody umělé inteligence nestačí, například v oblasti pochopení jazyka a konverzace. Dnes se strojové učení spíše používá tam, kde víme přesně, co by dané modely měly kdy dělat.
Můžete dát nějaký příklad?
Když mám třeba nástroj pro rozpoznávání obrázků, tak ten je trénovaný na datasetu sestaveném lidmi a v něm je spousta příkladů. Takto vypadá obrázek a takto vypadá to, co máš k obrázku napsat, tedy správnou odpověď. To je ta silná supervize. Takto vypadá vstup a takto vypadá správný výstup.
Ale existují problémy, kde máme jen vstupy, ale už nevíme přesně, jak mají vypadat výstupy, protože není možné vytvořit tak velkou databázi, nebo vůbec správné odpovědi neznáme. A pro takové problémy neuronové sítě dost dobře nefungují. Od umělé evoluce si tedy slibuji, že by mohla řešit potíže, které dnes řešit neumíme, což by mohlo vést ke vzniku nových produktů a aplikací, které zatím nelze vytvořit.
Jak teda dnes konkrétně neuronové sítě fungují?
Je to asi jako bychom vzali člověka, zmrazili jeho paměť v daném bodu a nechali ho vykonávat nějakou úlohu. Když ji bude vykonávat dobře, může ji dělat donekonečna. Ale jakmile dojde ke změně, k něčemu novému, člověk se zmraženou pamětí přestane dobře fungovat. Není možné mít funkčního inteligentního člověka, kterému se každých 5 sekund vymaže krátkodobá paměť a do dlouhodobé paměti si nic neuloží. To by byl dysfunkční člověk. A tím vlastně jsou dnešní neuronové sítě.
Jakmile je přestaneme trénovat a začneme je používat někde v praxi, tak jde pouze o statisticky zamrzlé modely, které vykonávají už jen jednu funkci a dál se nemění, nevyvíjí se. Chtěl bych vymyslet modely, které nejenže se budou učit dělat něco užitečného, ale zároveň v nich bude docházet k samovolnému rozvoji. Aby nebyly statické, aby se měnily s tím, jak se mění svět. Je potřeba ale mít matematický základ pro tuto umělou evoluci, respektive umělý život.
V jaké fázi se tedy vývoj umělé inteligence dnes nachází. Když to transformuju na životní období, tak je dnes miminem, dítětem nebo puberťákem?
Řekl bych, že jsme spíše na úrovni bakterie. Žádná sláva to dnes není. V umělé inteligenci jde o pár jednoduchých triků, ale jak spadne opona a člověk prohlédne to magické kouzlo za tím, tak zjistí, že to není nic záhadného, žádná inteligence se dnes v počítačích neschovává. Když člověk pronikne do strojového učení, zjistí, jak funguje, tak už to žádná magie není. I když jsou tyto techniky často velmi užitečné, k umělé inteligenci ale mají velmi daleko.
Je umělá inteligence jen hra se statistikou?
Kdybychom šli do extrémního příkladu, tak někdo může říct, že i lidé jsou jen statistika. Celá evoluce je jen statistika. Máme více genů, které přežívají v čase, množí se. Ty, které nepřežívají v čase, tak mizí. Všechno kolem nás je svým způsobem statistika.
Ale souhlasím s tím, že když někteří lidé mluví o umělé inteligenci, hodně přehání. Mluví se o umělých mozcích, vědomí a kdesi cosi. To je zcela mimo. Dnešní umělá inteligence je v podstatě statistika.
Mluvíte o tom, že je potřeba se posunout dál, vymyslet něco nového. Vidíte ale osobně už nyní nějakou next big thing, která přinese revoluci?
Už několik let zmiňuji zdravotnictví, a nejsem sám. To je obor, kde máme velké datasety, kde máme lidská rozhodnutí, o kterých víme, že se dají zpřesnit a urychlit za pomocí strojového učení.
Když si vezmeme evropskou populaci, která má přes půl miliardy lidí, tak kdybychom měli zdravotní záznamy z celé EU s tím, že by se dala vysledovat zdravotní historie člověka včetně jeho genového profilu i jeho příbuzných a tak dále, tak by lékařská rozhodnutí mohla být daleko přesnější.
Dnes, když jde třeba padesátiletý člověk k doktorovi s vysokým krevním tlakem a doktor mu má předepsat nějaké prášky, tak mi přijde, že je to rozhodování spíše na úrovni šamana než na úrovni 21. století. Vezměte si tento prášek, když nezabere, zkusíme jiný a budeme to zkoušet tak dlouho, než to bude fungovat.
Naproti tomu statistika a strojové učení může takové rozhodování výrazně zpřesnit. Rozhodnutí lékařů by pak s využitím počítačů bylo personalizované přímo pro každého jednotlivého pacienta. Bohužel, lidé mají vůči strojovému učení často neopodstatněnou nedůvěru. To jsem viděl například v lingvistice, kde se často hodně věcí řešilo přes lingvistickou analýzu. Měli jsme generace a generace lingvistů, kteří studovali třeba češtinu a zjišťovali, jestli předložka má být v dané části věty či jinde, jaký má význam, nebo kolik různých významů může mít.
Pak se objevily matematické modely jazyka, kterým se zpočátku lingvisté jako Noam Chomsky vysmívali, postupně je nenáviděli, a nakonec je matematické modely v praktických aplikacích jako je překlad naprosto rozdrtily. Dnes už víceméně vše v oblasti zpracování jazyka běží na neuronových sítích a ukázalo se, že všemožná pravidla sestavovaná lingvisty po desetiletí nejsou vůbec třeba.
A stejně tak to bude i ve zdravotnictví. V budoucnu budeme vědět, který lék nejlépe zabere s co nejméně závažnými vedlejšími účinky. Budeme vědět, co čekat od určité kombinace léků pro daného konkrétního pacienta. Doktoři budou v budoucnu používat počítače pro diagnózu, návrh léčby, prevenci a dále stejně automaticky, jako dnes používají rentgen. Jejich práce se tím zrychlí a zpřesní.
To mluvíte o řešeních, která už jsou dnes k dispozici a stačí je aplikovat…
Technologicky nemusíme vymýšlet nic nového, spíše by šlo o to vytvořit projekty na úrovni ministerstva zdravotnictví. Vše doktorům zpřístupnit takovým způsobem, aby to pro ně byla jasná přidaná hodnota a minimum nadbytečné práce. Aby je to neobtěžovalo, protože přece jen mnoho doktorů je starších, a ne všichni mají kladný vztah k novým technologiím.
Setkával jste se s tím, že firmy využívají umělou inteligenci jen proto, že je dnes sexy, dá se s ní marketingově pracovat, ale používají ji naprosto nevhodně, takže pak dané řešení pro ně vlastně nemá ani takový význam nebo přínos?
S tím jsem se samozřejmě mnohokrát setkal a byla to jedna z těch depresivnějších věcí. Člověk vidí, že sice dělá ve firmě, která má celosvětové jméno, ale ve skutečnosti spousta z inženýrů ve firmě vydrží v průměru méně než rok. To je velmi krátká doba. Lidé často přijdou, něco narychlo sesmolí, pak se to začne v produktech využívat, daný člověk odejde, přijde po něm někdo jiný, který udržuje systém, kterému už nerozumí a pak je z toho velký guláš. Člověku z toho až někdy vstávají vlasy hrůzou, když zjistí, co vše za nesmysly se používají v praxi tam, kde existuje jednoduché řešení.
Například?
Jako příklad můžu uvést projekt FastText, který jsme vyvinuli ve Facebook AI Research, který klasifikuje text. Například dokáže určit, jestli nějaký komentář je spam vytvořený robotem, nebo text napsaný člověkem. Ve stejné době konkurenční tým vytvořil projekt na klasifikaci textu pomocí rekurentních neuronových sítí, kterému jsem samozřejmě hodně fandil. Jenže dané řešení používali na problémy, kde takto komplexní řešení nebylo vůbec třeba. Takový ten klasický kanón na komára.
Ukázali jsme, že náš FastText funguje úplně stejně přesně, ale s tím, že byl asi tak deset tisíckrát rychlejší. Takže to, co jim trvalo několik týdnů, navíc na výkonných a drahých grafických kartách, jsme byli schopni udělat stejně dobře na jednom procesoru během pár sekund.
