(Nem csak) PhD deep learning témakörben

A deep learning (mély tanulás) paradigmán alapuló mély neurális hálózatok az elmúlt években óriási fejlődésen mentek keresztül. Az adatmennyiség folyamatos növekedésével, a nagyteljesítményű, mély neuronhálók tanítására optimalizált „grafikus kártyák” (Graphical Processing Unit, GPU) elterjedésével és a tudományterület új eredményeinek köszönhetően ma ez az egyik legdinamikusabb és óriási potenciált jósló tudományág. Mára már számos területen (pl. beszédfelismerés, beszédszintézis, képfelismerés és –szegmentáció, természetes nyelvfeldolgozás, stb.) minden korábbi algoritmusnál nagyobb pontosságot, jobb modelleket építenek a mély neurális hálózatok segítségével, és már több esetben ezek a rendszerek az emberi címkézés pontosságát is túlszárnyalták.
Laboratóriumunkban lehetőség van deep learning témakörből szakdolgozatot írni, diplomázni és PhD-zni. Laboratóriumunk hivatalos NVidia Oktatási központként üzemel, mely keretein belül a hallgatók kutatása során a mély neurális hálózatok tanításához szükséges nagy teljesítményű grafikus kártyákat részben az NVidia biztosítja.

BSc-s vagy MSc-s vagyok, hogyan tudnék deep learning-el foglalkozni?

Laboratóriumunkban lehetőség van tanulmányaid bármelyik fázisában bekapcsolódni deep learning kutatásba és fejlesztésbe. Akár már témalaborosként foglalkozhatsz deep learning-el, később szakmai gyakorlat, önálló laboratórium és diplomatervezés során egyre jobban elmélyítheted tudásod és tapasztalatod.
A témában javasoljuk a Deep learning a gyakorlatban Python és LUA alapon és Neurális hálózatok tantárgyak elvégzését. Ezen túl az interneten is számos kiváló segédanyag létezik a témában, ezekre linkeket részben megtaláljátok a deep learning tantárgyunk oldalán. És hogy milyen témákon dolgozhatsz? Bő, de közel sem teljes listát itt találsz. Akik deep learning-es témát választanak, azoktól a téma nehézsége miatt pár dolgot külön kérünk, melyekről itt olvashatsz.

Miért érdemes deep learningből most PhD-zni?

Számos érv szól amellett, hogy MSc után érdemes ma deep learning PhD-be (=doktoriba) belevágni, ahelyett, hogy elmész az iparba. Vegyük ezeket az érveket sorra:

1Óriási potenciál: Úgy gondoljuk, óriási potenciál van a témában. Jelenleg minden feltétel adott, hogy hasonló paradigmaváltás legyen az ember-gép kapcsolatban, mint amilyen változást hozott korábban az internet vagy az okostelefon az emberek életében. Ezen túl a deep learning számos tudományterület forradalmasíthat (pl. közlekedés, személyi asszisztensek, egészségügy). PhD hallgatóként aktív részese lehetsz ennek a „világmegváltó” forradalomnak!

2Szakmai tapasztalat: Az iparba a PhD ideje (4 év) alatt elérsz egy fizetési szintet és lesz szakmai tapasztalatod. PhD-vel jó esetben nagyobb szakmai tapasztalatod lesz (ez csak rajtad múlik!), magasabb fizetési szintről tudsz indulni, illetve olyan helyekre, pozíciókra lesz lehetőséged bekerülni, ahova sima MSc-vel nem tudnál (lásd 4-es és 6-os pont).

3Ipari igények: Az egyetemi kutatás és az ipari alkalmazások a deep learning területén „összerének”. Gondoljunk például az önvezető autókra (pl. Tesla, Google), személyi asszisztensekre (pl. Apple Siri, Microsoft Cortana) vagy mobil alkalmazás sikertörténetekre (pl. Prizma App). Minden cégóriásnak van saját deep learning csapata és infrastruktúrája (pl. Facebook, Google, Twitter, Microsoft, IBM, OpenAI, stb.), melyek már tanulmányaik alatt is támogatják a kiemelkedő deep learning PhD hallgatókat.

4Jobb pozíció: Számos munkahelyre, amely deep learning-el foglalkozik, a PhD nagy előnyt jelent, vagy kizárólag PhD-vel és ezen túl még jó eredmények esetén vesznek csak fel. Ilyen például a Yann LeCun által vezetett Facebook párizsi kutatóközpontja (FAIR, Facebook AI Research) vagy Google Mountain View-i központja).

5Hazai lehetőségek: Hazánkban is egyre inkább felkelti a cégek érdeklődését a deep learning. Már számos cégnek van kisebb-nagyobb deep learning csapata. Ezek sok esetben még aránylag gyerek cipőben járnak – ami azért jó, mert megfelelő tudás mellett vezető kutató-fejlesztőként tudsz ezeken a helyeken részt venni. Továbbá várhatóan a következő években egyre több cég fog elmozdulni mély tanulás alapú megoldások felé.

6Ösztöndíj, gyakornoki lehetőségek: számos cégóriás (pl. Google, Facebook, Microsoft) hirdet pár héttől akár fél évig gyakornoki programot deep learning-el foglalkozó PhD hallgatók számára. Természetesen a verseny nagy ezekre a helyekre, de bekerülni nem lehetetlen. Ezen túl számos, minden évben kiírásra kerülő ösztöndíj pályázat van, mint például a NVIDIA Graduate Fellowship Program (50000 USD / PhD hallgató) vagy a Facebook Fellowship Program (37000 USD / PhD hallgató / év + 5000 USD konferenciákra). A BME-n van több utazási és konferencia támogatási ösztöndíj PhD hallgatók számára.

Hivatalos felvételi kritériumok

A felvételi kritériumokat a PhD programra és a pontozási rendszert itt találod: https://www.vik.bme.hu/page/217/
A PhD képzés hivatalos hossza 4 év. Mindenképp érdemes úgy készülni, hogy az állami ösztöndíjra bekerülj, ami biztosít egy „alapellátmányt”.

Állami ösztöndíj

Ha megszerzed az állami ösztöndíjhoz szükséges pontokat, az állami ösztöndíj mértéke nettó 140.000.- Ft az első két évben, nettó 180.000.- Ft a második két évben nettó 180.000.- Ft a négy év alatt 2017-től kezdve.

Témák

A deep learning témakörben számos irányban lehet elindulni (lásd fentebb). Ha van konkrét elképzelésed, beszéljünk róla, hogy hogyan lehetne az adott irányba PhD témát indítanod. A PhD téma lehet deep learning alkalmazás orientált (pl. superresolution, pixelCNN, wavenet jellegű kutatások) vagy elméleti jellegű (lásd lenti két példa, vagy pl. generative adversarial networks, variational autoencoders, reinformcement learning, stb.). Két elsősorban elméleti deep learning PhD kiírás:

A mély tanulás (deep learning) számos tudományterületen – például beszéd felismerés, beszéd szintézis, képfelismerés és szegmentáció, természetes nyelvfeldolgozás – óriási előrelépést hozott a korábbi technológiákkal szemben. A deep learning paradigmán alapuló mély neurális hálózatok képesek az adatokban rejlő magasabb szintű absztrakciók kinyerésére és megtanulására óriási adatmennyiségek esetén is. Kevés vagy kiegyenlítettlen adatok esetén azonban modellező képességük nagyon leromlik. A mély neuronhálók fekete doboz szerű működése miatt a háló belső logikája ismeretlen marad mind a tanítás, mind a becslés során.
Ezzel szemben az emberi agy képes akár már pár mintából komplex folyamatok megtanulására más tématerületekről származó tudás újrafelhasználásával. Az emberek számára ezen túl jellemzően ismertek azok a logikai lépéseket, mely egy döntéshez vezettek.
A kutatás célja a mély neurális hálózatok érvelési és következtetési elvének jobb megértése és így hasonló tématerületeken alkalmazott mély neuronhálók tudásának újrafelhasználása. A működési logika jobb megértésével lehetségessé válna új hálózatok tanítása már kevés tanítóadat esetén is. A kutatómunka során kidolgozott eljárást legalább egy tématerületen demonstrálni szükséges, ilyen például a (1) audio és képszegmentálás és osztályozás, (2) nyelvi modellezés, (3) idősor modellezés, (4) beszéd szintézis, stb.
A kutatás magyar és angol nyelven is folyhat. A kutatáshoz saját és publikus nagyméretű adatbázisok továbbá a nagy teljesítményű GPU munkaállomások állnak rendelkezésre.
Hivatalos témakiírás angolul: http://www.doktori.hu/index.php?menuid=195&lang=HU&tk_ID=119760

Napjaink legnagyobb pontosságot nyújtó hang/beszéd-, kép-, videófelismerő és szegmentáló algoritmusai jellemzően mély tanuláson (deep learning) alapúak. A nagyteljesítményű grafikus kártyák számítási kapacitását kihasználva az olyan legújabb mély tanuló technikák, mint például a mély konvolúciós, rekurrens vagy versengő (adversarial) neuronhálók különböző típusai hatékonyan tudják az adatok magasabb szintű absztrakcióit kinyerni és akár az emberi címkézésnél pontosabb eredményt is adhatnak.
A kép és hang adatokat gyakran kísérik szöveges információk különböző formátumokban (címkék, rövid összefoglaló, szabad szöveg, stb.). A mély neurális hálózatok, mint amilyen a Long Short-Term Memory architektúra is, képesek a szöveges információ mélyebb jelentését kinyerni. A hang és képi anyagot a hozzá kapcsolódó szöveg mélyebb jelentésével kiegészítve tovább lehet növelni a mély tanuló architektúra pontosságát.
A kutatás célja új, általános mély tanuló eljárások kidolgozása, melyek képesek heterogén adatforrások kapcsolt elemzésére és modellezésére. Az eljárás hatékonyságát legalább egy alkalmazási területen szükséges demonstrálni (pl. beszédszintézis, korai bőrbetegség felismerés, szentiment elemzés).
A kutatás magyar és angol nyelven is folyhat. A kutatáshoz saját és publikus nagyméretű adatbázisok továbbá a nagy teljesítményű GPU munkaállomások állnak rendelkezésre.
Hivatalos témakiírás angolul: http://www.doktori.hu/index.php?menuid=195&lang=HU&tk_ID=119761

Lehetőség van saját érdeklődési kör alapján doktori téma kialakítására. Keress bennünket a részletekért!