DEEP LEARNING A GYAKORLATBAN - NAGY HÁZI FELADAT

A nagy házi feladat az aláírás feltétele és egyben komplexebb nagy házi feladat esetén lehetőség van 4-es vagy 5-ös megajánlott jegyre. Rosszabbra nem!
A házi feladatok, forráskódjuk, dokumentáció és prezentáció publikus lesz és felkerül a tárgy honlapjára, illetve github.com-ra GNU GPLv3 licensz alatt. A házi feladatot 3 fős csapatokban kell elkészíteni (külön indoklással lehet csak 1 vagy 2 fős), a csapatok GitHub repoját mindig a csapat hozza létre. A kiemelkedő projektek gazdái megjelennek a tantárgy honlapján.
A házi feladat bármelyik deep learning keretrendszerben készülhet. A kiemelkedő nagy házi feladat további TDK, BSc és MSc diploma, publikációs és akár PhD lehetőséget is jelenthet.

ON-LINE FELÜLET

Az alábbi felületeken tudjátok beadni a munkátokat az egyes fázisokban. Mindenképp először a csapat minden résztvevője regisztráljon, és ugyanazt a csapatnevet adja meg. Aláírás és vizsga esetén is ez szükséges. Ezután a lentebb megadott határidőkre adjátok be a szükséges anyagokat.

BENYÚJTANDÓ ANYAGOK

• Jól kommentezett forráskód github.com-ra feltöltve. (Bármelyik deep learning keretrendszerben készülhet.)
• Github.com-on readme.md a tanítás és tesztelés módjáról (a reprodukáláshoz mit futtassunk, milyen paraméterekkel, milyen szoftver környezetben).
• Beszámoló dokumentum (min 4, max 8 oldal).
• Vizualizáció Jupyter notebookban, ha indokolt.

CSAPATOK

Egy témán 3 fős csapatok dolgoznak, 2-2 fős „vetésforgó” az alábbi szerepkörökkel:

1. Tudományterület feltérképezése, cikkek olvasása.
2. Adatok beszerzése, tisztítása, előkészítése.
3. Hálózat és tanítás.
4. Hiperparaméter optimalizálás és tesztelés.
5. Interfész csatolás, opcionális (pl. Android).

Tehát a csapat minden tagja legalább 3 ponttal foglalkozik. Mindenkinek kötelező a (3)-as vagy (4)-es pontok valamelyikével foglalkoznia.

KÖTELEZŐ MÉRFÖLDKÖVEK

KIZÁRÓLAG a mérföldkövek határidőre történő teljesítése esetén van lehetőség a megajánlott jegyre! Nincs utólagos pótlásra lehetőség! A mérföldkőhöz tartozó kódokat, notebookokat a GitHub-ra töltsétek fel.

• Csapatalapítás: 4. hét (október 4. 23:59)
  
• I. mérföldkő: 7. hét (október 25. 23:59)
  Adatok beszerzése, adatfeltárás, vizualizáció (ha szükséges) és előkészítés tanításhoz.
  Eredmény: tanító, validációs és teszt adatbázisok
• II. mérföldkő: 11. hét (november 22. 23:59)
  Alaptanítás, ahol a tanítást végző kód és a kiértékelés első változata már rendben lefut, de még nem kötelező, hogy használható pontosságot adjon.

LEADÁSI HATÁRIDŐK

Aláírás

• Határidő: december 11. 23:59
• Github: forráskód, readme.md, beszámoló PDF
• Megajánlott jegy esetén is!

Megajánlott jegy

• Határidő: december 11. 23:59
• I. és II. mérföldkő teljesítése határidőre kötelező feltétel
• Angol nyelv használata kötelező! (forráskódban, beszámolóban)
• Github-on az utolsó, határidő előtti commit-ot nézzük
• 10 perces prezentáció a vizsgaidőszakban

A házi feladat benyújtásának határideje a szorgalmi időszak utolsó hetének pénteki napja, hosszabbítási lehetőség nincs. A benyújtott feladatok GitHub forrása a szorgalmi időszak utolsó hetének vasárnapjáig módosítható.

BESZÁMOLÓ DOKUMENTUM

A beszámoló dokumentum angol vagy magyar nyelvű, minimum 4, maximum 8 oldal. A beszámoló forrását (.doc, .docx, .tex) és PDF exportját a csapat GitHub repojába kell feltölteni. Megajánlott jegy esetén kötelező az angol nyelv használata. A beszámoló jellemzően a következő részekből áll:

• Magyar és angol nyelvű cím
• Magyar és angol nyelvű kivonat (abstract): 100-200 szó.
• Bevezető
• Tématerület ismertetése, korábbi megoldások
• Rendszerterv: milyen hálózatot használtok
• Megvalósítás
  • Adatok beszerzése, előkészítése
  • Tanítás
  • Kiértékelés (tanítási, validációs és teszt hiba), hiperparaméter optimalizálás, stb.
  • Tesztelés
• Jövőbeli tervek, összefoglalás
• Hivatkozások: legalább 10 db KORREKT irodalmi hivatkozás (nem webes, forrás: scholar.google.com, ArXiv.org)

A beszámoló formázásnak a gépi tanulás témában elismert konferencia vagy folyóirat irányelveit kell követnie:

• NIPS formátum (LaTex)
• IEEE Transactions (Word, LaTex)

TÉMÁK

Ha van saját ötletetek, akkor lehetőség van azt kidolgozni a nagy házi keretében. A lenti lista csak ajánlás, minden esetben szükséges az előadókkal való egyeztetés. Publikus adatbázisok használata preferált, nem teljes listát a publikus adatbázisokról itt találtok.

COVID-19

COV1. COVID-19 fake news detekció
COV2. Arcfelismerés maszkkal
COV3. Maszkviselés helyességének detekciója, orr kilógás figyelése
COV4. Emberek közötti távolság becslése közterületi felvételeken
COV5. Maszkos adversarial attack
COV6. COVID-19 modellezése és hasonló vírusok (és ezek gyógymódjának) keresése
COV7. Tüdő felvételeken COVID-19 detekcio
COV8. Maszkal való beszéd feljavítása offline és akár real-time

BESZÉD, HANG, ZENE

AUD1. Szövegfelolvasás PC-n és Androidon, beszédminőség és -természetesség javítás
AUD2. A beszéd időzítési, F0 és spektrális paramétereinek modellezése LSTM
AUD3. Mély tanulás alapú zeneszerzés
AUD4. Érzelem felismerés hangfelvétel alapján
AUD5. Párhuzamos beszéd különválasztása
AUD6. Zenei sávok különválasztása
AUD7. Zenei toplista előrejelző
AUD8. Beszédből háttérzaj eltávolítása
AUD9. Személyazonosítás hang alapján
AUD10. "Metáldetektor" - mennyire heavy a metál?
AUD11. Artikuláció-beszéd becslés (nyelvmozgás alapján beszéd generálás)
AUD12. Beszéd-artikuláció inverz feladat (beszéd alapján nyelv mozgásának becslése)
AUD13. Beszélő átalakítás hang alapján
AUD14. Silent Speech Interface / Silent Speech Recognition (CNN / LSTM / GAN)
AUD15. Google WaveNet: minta alapján történő beszédszintézis
AUD16. FAIR (Facebook AI Research): beszélőadaptáció rádiós felvételek alapján
AUD17. Beszédfelismerés támadhatóságának vizsgálata
AUD18. WaveNet alapú beszédszintézis
AUD19. GAN alapú beszédszintézis
AUD20. Beszélők hangjának transzformálása StarGAN-nal

KÉP

IMG1. Önvezető autót segítő alkalmazások
IMG2. Képek tartalmának szöveges átirata (image-to-text)
IMG3. Rossz indulatú anyajegyek felismerése
IMG4. Felügyelet nélküli képosztályozás
IMG5. Drón felvéltelek elemzése
IMG6. Arcfelismerés, személykövetés biztonsági kamera felvételeken
IMG7. Érezelem felismerés kép/videó alapján
IMG8. Testtartás alapú személyi edző (helyes guggolás, fekvőtámasz, stb.)
IMG9. Képek hiányzó részeinek pótlása
IMG10. Képszintézis szöveg alapján (text-to-image)
IMG11. Deep learning alapú újszerű filterek (pl. öregség-, fiatalság filter)
IMG12. Új típusú mély álmok (DeepDream)
IMG13. Kép retusálás deep learning segítségével
IMG14. Nyelvkontúr meghatározása ultrahangos képekből
IMG15. Képfelismérés támadhatóságának vizsgálata
IMG16. Képgenerálás GAN-okkal
IMG17. Beszédfelismerés ajakmozgás alapján
IMG18. VID2SPEECH: beszédgenerálás néma ajakmozgás alapján
IMG19. Képek összefűzése GAN-okkal
IMG20. Képből képbe transzformáció CycleGAN-nal

TERMÉSZETES NYELVFELDOLGOZÁS

NLP1. Szövegek automatikus kivonatolása
NLP2. ChatBot deep learning alapon
NLP3. Automatikus forráskód minősítés
NLP4. Író nemének és korának becslése szöveg alapján
NLP5. Író azonosítás szöveg alapján, plágium detektor
NLP6. Helyesírás javító
NLP7. BME CookBook - LSTM alapú szakácskönyv
NLP8. Automatikus email válasz
NLP9. Deep learning alapú fordítógép
NLP10. Szófaj címkézés LSTM alapon
NLP11. Log file anomália, hackertámadás detektálás
NLP12. Mondatok, dokumentumok értelmének összehasonlítása (szemantikai hasonlóság)
NLP13. DNS láncok elemzése
NLP15. Ékezet nélküli szövegek ékezetesítése
NLP16. FAIR ParlAI framework bevezetése
NLP17. Transformer lehetőségeinek vizsgálata
NLP18. BERT, ELMo, GPT-2 és GPT-3 skálázása alacsony erőforrású tanításhoz és inferenciához


VISELKEDÉS, MOZGÁS, EGÉSZSÉG

HEL1. Csípőficam detekció mobil szenzoradatok alapján
HEL2. Személyazonosítás lépéssítlus alapján
HEL3. Tömegközlekedési eszköz felhasználói minősítésének becslése szenzoradatok alapján
HEL4. EEG, EKG osztályozás
HEL5. Gyógyszeres kezelés ajánlása
HEL6. Realisztikus emberi járás, futás modellezése
HEL7. Testgesztus felismerés
HEL8. Artikulációs gesztusok automatikus klaszterezése


PÉNZÜGYI

FIN1. Árfolyammozgás előrejelzés árfolyamadatok alapján (deviza, kriptovaluta, hazai és nemzetközi tőzsde, nyersanyagok)
FIN2. Volatilitás előrejelzés pénzügyi adatok alapján
FIN3. Tőzsdei szupport- és rezisztenciaszintek azonosítás
FIN4. Trend azonosítás idősorokban mély tanulással
FIN5. Pénzügyi hírek hatásának modellezése
FIN6. Blockchain tranzakciók tulajdonosának modellezése és azonosítása
FIN7. Ajánlati könyv (order book) alapú árfolyam mozgás előrejelzés
FIN8. Ajánlati könyv (order book) szimuláció mély tanulás alapon
FIN8. Megerősítéses tanulás alapú kereskedési stratégiák kidolgozása
FIN9. Kriptovaluták tranzakciós gráfjának elemzése és modellezése mély tanulással

EGYÉB ADATOK EGY1. Deep learning alapú idősor és szekvenciális adat modellezés (bővebben itt)
EGY2. Idegsejtek és hálózati aktivitás analízise deep learning segítségével (bővebben itt)

REINFORCEMENT LEARNING

REL1. Duckietown ágens fejlesztése
REL2. Szimulációs környezetben betanított ágens futtatása valós környezetben (Duckietown)
REL3. Pénzügyi kereskedési stratégia kidolgozása deep learninggel
REL4. Póker bot
REL5. Algoritmusok elméleti kutatása és optimizációja
REL6. Saját OpenAI Gym környezet fejlesztése
REL7. Reinforcement Learning keretrendszerek tesztelése (TensorForce, Dopamine, Open AI Gym, stb.)
REL8. Valós életbeli (pl. szörfvitorla, szivattyú, versenyautó) objektumok alakjának optimalizálása
REL9. Neuronháló architektúra keresés (Neural Architecture Search, AutoML)

ELMÉLET

THE1. Új típusú regularizátorok létrehozása és tesztelése
THE2. Neuronhálók intelligens vizualizációja
THE3. Hiperparaméter optimizációs eljárások készítése, tesztelése
THE4. 16/8/4/2/1 bites mély neuronhálók
THE5. Gradiens ellenőrző és vizualizáló megoldások
THE6. Új típusú hiperparaméter optimalizáló algoritmusok
THE7. Reinforcement Learning algoritmusok fejlesztése
THE8. Új típusú idősor modellek fejlesztése figyelem mechanizmus (attention mechanism) alapon
THE9. Bináris sztochasztikus neuronok (bővebben)
THE10. Hierarchikus Temporális Memória (HTM) hálózatok THE11. Többskálás szekvenciális adatok modellezése

DEEP LEARNING VERSENYEK

VER1. Duckietown versenyben való részvétel
VER2. Kaggle.com-on hostolt bármelyik tárgy idején futó verseny
VER3. Numer.ai
VER4. AutoML Challange VER5. Animal AI

ADATBÁZISOK

A publikus adatbázisok használata előnyben részesített. Pár publikus adatbázis forrás:

https://ai.google/tools/datasets/
http://archive.ics.uci.edu/ml/datasets.html
https://snap.stanford.edu/data/
http://www.datasciencecentral.com/page/search?q=data+sets
Kaggle.com Open Data
Magyar Elektronikus könyvtár
Million Song Dataset
1 Billion Words dataset
MovieLens 1M Dataset
Twitter Sentiment140
http://host.robots.ox.ac.uk/pascal/VOC/
http://bioinf.jku.at/research/DeepTox/tox21.html
http://festvox.org/cmu_arctic/
LibriVox hangoskönyvek
Wiki Reading
http://www.speech.cs.cmu.edu/databases/
https://cptac-data-portal.georgetown.edu/cptacPublic/
MOCHA TIMIT
mngu0
IU_ULTRASOUND
https://ourworldindata.org/
YouTube 8M
Google Open Image Dataset
Allen Institute for AI datasets
SpaceNet dataset - nagyfelbontású műholdas felvételek
Visual Question and Answer dataset - képek és hozzájuk kapcsolódó kérdések és válaszok
Music Net - klasszikus zenék hullámformája és hangszerenként kotta

LEADOTT NAGY HÁZI FELADATOK - 2020

HáLAB
Plagizálók
Goal Diggers
DeepMinds
THE3
DaDTeam
Fellow Scholars
ProfoundStudying
Conloquor
zöld137
KepfelismereSCH
Deep learning boys
ThisNoAll
Disapproving Corgis
AICU
Csillagösvény Cserkészcsapat
Self Driving Snake
GreatPeekyKoders
deep_learners
SoccerPunch
QuickMaths
Petõfi
TaRéJ
Johnny Depp Learning
GANscape
3rulez
droning
Reinforcement Learning 101
Brave Metropolitans