Významné ocenění Test of Time bylo uděleno výzkumníkovi Tomáši Mikolovovi a jeho týmu na konferenci NeurIPS za jejich revoluční práci, která výrazně ovlivnila podobu současných velkých jazykových modelů. Příspěvek s názvem „Distributed Representations of Words and Phrases and their Compositionality,“ který vznikl již v roce 2013, sesbíral v průběhu let více než 40 000 citací a tato práce položila základy pro vektorovou reprezentaci slov známou jako word2vec.
Ocenění bylo uděleno na základě tzv. „test of time“, hodnotící úspěch práce po deseti letech od jejího zveřejnění. Představení word2vec v této práci ukázalo schopnost učení z rozsáhlých množství neuspořádaného textu a spustilo novou éru v oblasti zpracování přirozeného jazyka. Tomáš Mikolov, vedoucí týmu Základní výzkum AI na CIIRC, získal prestižní ocenění Test of Time Award za svůj významný přínos k oblasti umělé inteligence. Jeho příspěvek nejen ovlivnil vývoj jazykových modelů, ale rovněž položil základy pro vznik modelů, včetně ChatGPT.
Samotný Mikolov k udělení řekl: „Včera jsme na NeurIPS obdrželi cenu Test of Time za příspěvek word2vec z doby před deseti lety. Mám z toho opravdu radost! Myslím, že je to první ocenění typu „the best paper“, které jsem kdy dostal. Ve skutečnosti byl původní příspěvek word2vec zamítnut na první konferenci ICLR v roce 2013, což mě přimělo přemýšlet, jak obtížné je pro recenzenty předvídat budoucí dopad výzkumných prací.“
„Bez této klíčové práce by byl rozvoj velkých neuronových jazykových modelů dozajista pomalejší. Nakonec, word2vec byl ve své době přelomový z více důvodů – nejen, že se jednalo o algoritmus, který dokázal rychle zpracovat velká množství textových dat. Velmi důležitá byla i reprodukovatelnost výsledků díky vydaní open-source implementace. V neposlední řadě pak word2vec demonstroval překvapivé vlastnosti naučených reprezentací, se kterými se daly řešit rovnice jako „KRÁL – MUŽ + ŽENA (výsledkem pak byla KRALOVNA),“ říká nyní k tématu Tomáš Mikolov.
Srdečně gratulujeme Tomáši Mikolovovi a jeho spoluautorům k tomuto významnému uznání jejich práce!
Zdroj: 1) Announcing the NeurIPS 2023 Paper Awards
2) Arxiv.org
Jiné mediální výstupy Tomáše Mikolova:
1) Fokus Václava Moravce: Vzestup a pád inteligence
2) Podcast with Tomas Mikolov: Elon Musk thinks first of all about money
