Maturita ho čeká až za rok, ale už má za sebou vlastní úspěšný výzkum v oblasti umělé inteligence. V soutěži České hlavičky získal Theodor Ladin cenu UK INTENTIO za projekt, v němž propojil klasickou gramatiku s neuronovými sítěmi, aby bylo zpracování textu rychlejší, přesnější a energeticky méně náročné. „Díky soutěži jsem přišel na to, co mě opravdu baví. Je to informatika a touha přicházet věcem na kloub,“ říká student Gymnázia Nad Štolou.
Jak vás napadlo přihlásit se do soutěže České hlavičky? Šel jste na to tak jako řada vašich předchůdců, tedy přes Středoškolskou odbornou činnost zvanou SOČka?
Přesně tak. Pokračoval jsem ve šlépějích svého staršího bratra, který se do SOČky před pár lety také zapojil a v Českých hlavičkách skončil na třetím místě. K účasti mě tak inspiroval právě on. Pomáhal mi i se stylistikou práce, aby dobře vypadala po jazykové stránce, a celkově mi byl velkou oporou. Mikuláš je o dva roky starší, studuje medicínu na 2. lékařské fakultě Univerzity Karlovy. Do Českých hlaviček se tehdy zapojil s projektem z mikrobiologie.
Mám ještě sestru, jsme dvojčata, studuje na stejném gymnáziu. Zajímají ji hlavně humanitní obory, také mi k práci řekla svůj názor. A velkou roli sehráli i rodiče – od obou jsem měl skvělou podporu.
Čím vás inspirují?
U nás v rodině se klade velký důraz na vzdělání. Rodiče nás hodně motivují. Snaží se nám ukázat, že má smysl dělat věci pořádně a s chutí, že stojí za to zjistit, co nás skutečně baví. Nic nám nenařizují, spíš nás vedou k tomu, abychom si různé věci vyzkoušeli a sami přišli na to, co nás naplňuje.
Jak jste si téma pro středoškolskou odbornou činnost vybíral?
Jsem spíš technicky zaměřený typ, takže jsem si říkal, že bych se jednou chtěl věnovat informatice. Táta mi poradil, že by bylo fajn, kdybych si našel někoho, pod kým bych mohl opravdu pracovat a učit se. Šli jsme spolu na den otevřených dveří na ČVUT, kde jsem mluvil s paní z personálního oddělení. Ta mi poradila, na koho se mám obrátit na jednotlivých fakultách. Díky ní jsem se postupně dostal k lidem, kteří mi pomohli začít a ukázali mi, že podobnou cestu může zkusit kdokoli, kdo má chuť dělat něco navíc. Dostal jsem se k profesoru Martinu Holeňovi, který mě spojil se svým doktorandem Lukášem Korelem. Právě přes ně jsem začal získávat první informace k mému tématu, a mohl jsem na jejich základě začít pracovat na vlastní odborné práci.
Váš projekt se týká rozvíjení alternativního přístupu k analýze textových dat. To znamená, že pracujete s AI?
Přesně tak. Je to projekt z oblasti umělé inteligence, který se snaží nabídnout jiný způsob zpracování textu. Využívám při tom gramatické struktury, například slovní druhy a větné členy, k tomu, aby byl celý proces rychlejší a efektivnější. Díky tomu systém potřebuje méně energie, a přitom dokáže text zpracovávat velmi přesně.
Takto zpracovaná data se dají použít v mnoha oblastech, například v takzvaných transformerech, mezi které patří třeba i ChatGPT. Tyto modely mají část zvanou encoder, která slouží právě ke zpracování textu. Zkouším teď různé experimenty, jak by se můj způsob zpracování dal v těchto encoderech využít.
Vedle toho se výsledky dají uplatnit i samostatně – třeba při textové analýze, porovnávání vět nebo v různých jazykových aplikacích. Je to zkrátka alternativní přístup, který se opírá o klasickou gramatiku, ale propojuje ji s moderními metodami strojového učení.
Popište mi, jak to funguje.
Když to zjednoduším – vezmu větu, převedu ji do grafu, kde jsou zachyceny vztahy mezi slovy, a pak ji zpracuje neuronová síť určená pro práci s grafovými daty. Takto lze text analyzovat efektivněji než běžnými postupy. Zároveň používám ještě jinou neuronovou síť, která dokáže velmi přesně rozpoznat slovní druhy a větné členy. Díky tomu není potřeba shánět rozsáhlé a extrémně kvalitní datové sady – dá se pracovat i s běžně dostupnými daty, ale celý proces je přesto rychlejší a energeticky úspornější.
Jak jste na tuto metodu přišel?
Byl to postupný proces. Nejdřív jsem chtěl porozumět tomu, jak vlastně funguje zpracování přirozeného jazyka, a teprve potom jsem začal hledat způsoby, jak ho vylepšit. Dá se říct, že to byl začátek malého výzkumu – člověk musí pochopit spoustu detailů, než dokáže přijít s něčím novým. Na začátku jsem uměl jen programovat, tvořil jsem si vlastní videohry a občas jsem se účastnil programátorských soutěží. S neuronovými sítěmi jsem žádnou zkušenost neměl, protože jsou dost složité hlavně po matematické stránce.
Nebyl to trochu skok – pustit se rovnou do výzkumu bez předchozích znalostí dané problematiky?
Určitě to byl velký krok. Musel jsem se naučit používat různé optimalizační algoritmy. Když jsem se přes ČVUT dostal k prvnímu návrhu tématu, šlo hlavně o myšlenku, jak urychlit zpracování textu. O úspoře energie tehdy ještě vůbec nepadla řeč – tu jsem do projektu přidal až později sám.
Pak už jsem na tom pracoval samostatně. Začal jsem si zjišťovat různé optimalizační metody, které by mohly pomoci při rychlejším pochopení vztahů mezi slovními druhy a větnými členy. O těchto metodách jsem si přečetl co nejvíc informací, zkoušel různé varianty a testoval, které fungují nejlépe. Po spoustě pokusů jsem se nakonec dopracoval k nejefektivnějšímu postupu zpracování.
Co vás na tom nejvíc bavilo?
Právě ta možnost si všechno sám zjišťovat a přicházet tomu na kloub. Hledal jsem zdroje, studoval články a postupně jsem se dostal i k pojmu grafové neuronové sítě. Na ČVUT mi tehdy jen naznačili, že by stálo za to je vyzkoušet, ale dál už to bylo čistě na mně. Začal jsem se o ně zajímat, přečetl si o nich obrovské množství materiálů, abych pochopil, jak fungují uvnitř. Pak jsem si navrhl vlastní variantu, které jsem dal název relační grafová neuronová síť. Ta využívá informace o větných členech a slovních druzích k co nejefektivnějšímu zpracování dat.
Měl jste někdy pocit, že to nepůjde?
Hodněkrát. Bál jsem se, že projekt nebude fungovat a nic použitelného nevznikne. Ale postupně, jak jsem zkoušel další metody a dozvídal se nové informace, se začalo něco dít. Nakonec se vždycky našel nějaký směr, který aspoň trochu fungoval. Trvalo to ale opravdu dlouho, a právě to hledání, co vlastně může fungovat, bylo na celé práci asi nejtěžší. Říkal jsem si, že i kdyby se projekt nakonec nepovedl, nebude to vadit. Práci jsem dělal dobrovolně, nešlo o žádnou povinnost. Šlo spíš o mě – o čas, který do toho dávám, a o to, co se u toho naučím. I kdybych to nakonec nedokončil, nebral bych to jako neúspěch, protože jsem se v průběhu naučil spoustu nových věcí, které můžu využít v dalším projektu.
Kdy vám došlo, že opravdu můžete přijít s něčím novým?
Když jsem se jednou vrátil ze školy a zjistil, že algoritmus, který jsem nechal doma na počítači běžet, se konečně zachoval tak, jak měl – trénovací data se nepřeučila a model zároveň dosáhl kvalitních výsledků. Večer jsem to řekl mámě – že to opravdu funguje a mám kvalitní výsledek. Tehdy jsem byl fakt šťastný.
Co máte v plánu dál?
Určitě chci pokračovat ve zkoumání nových přístupů a dělat další projekty, které budou navazovat na ten současný. Rád bych se naučil nové věci o neuronových sítích a o tom, jak se dají využívat i v jiných oblastech – třeba při rozpoznávání obrazu nebo při vytváření efektivnějších modelů. Zároveň bych chtěl zúročit svoje dosavadní poznatky a zkusit vytvořit vlastní model, který by dokázal generovat i zpracovávat text podobně jako ty nejznámější systémy, třeba ChatGPT. Samozřejmě by to byl menší a jednodušší projekt, ale chtěl bych, aby byl efektivnější a méně náročný na energii.
Mým cílem je zkusit vytvořit něco, co by mohli využívat i ostatní – například malé programy nebo nástroje, které by ukázaly, že i složité algoritmy se dají dělat úsporněji.
Takže pokračujete ve zkoumání?
Přesně tak. Nejde mi o soutěže, ale o porozumění tomu, jak věci fungují. Až něco nového vymyslím nebo vytvořím, možná se pak do nějaké soutěže znovu přihlásím. Ale teď se chci hlavně učit, zkoušet a přicházet věcem na kloub.
Jste ve třetím ročníku, příští rok budete maturovat. Na jakou školu byste se rád dostal?
Chtěl bych určitě pokračovat v informatice, protože mě opravdu baví a jsem rád, že jsem to díky tomuto projektu zjistil. Z koníčku se stala věc, kterou bych se chtěl zabývat naplno.
A kam konkrétně byste chtěl jít studovat?
Zvažuju hlavně ČVUT nebo Matfyz, ale také bych rád zkusil přihlášky na zahraniční univerzity. Ideální by pro mě byla Velká Británie, protože anglicky umím nejlépe a mohl bych se plně věnovat oboru, který mě baví.
