Befejezett kutatási projektjeink

A VUK (Visionless sUpporting frameworK, azaz Látássérülteket támogató keretrendszer) projekt célja, hogy a vakok és gyengénlátók mindennapi életét elősegítse olyan kihívásokkal teli feladatokban, mint például a közösségi közlekedésben részvétel. Emellett a projekt egy egyszerű, hatékony és megfizethető ajtótól-ajtóig navigáló asszisztens alkalmazást is tervez nyújtani.

A szokásos eszközökkel szemben, amelyek csak kültéri navigációra használhatóak, a projektben olyan helyzetekre is készülünk, amikor a vak személy ismeretlen beltéri környezetben (pl. földalatti, vasútállomás, buszmegálló) is utazik, vagy amikor az utazás célja komplex épületek (pl. pláza, üzletközpont, irodaház) meglátogatása.

Amellett, hogy a projekt segíteni fogja a vak és gyengénlátó emberek mindennapjait, az elképzelt szolgáltatás cégeknek, irodáknak és infrastruktúra szolgáltatóknak (pl. helyi kormányzat) is érdekes lehet, hiszen a vakok itt is dolgozhatnak vagy megfordulhatnak – a projekt pedig segítheti integrálódásukat a közösségbe.

• Budapesti Műszaki és Gazdaságtudományi Egyetem, Magyarország
• Bay Zoltán Alkalmazott Kutatási Közhasznú Nonprofit Kft., Magyarország
• Informatika a látássérültekért Alapítvány, Magyarország
• Microsoft Corporation, Portugália
• Transdanubia Nikolai GesmbH, Ausztria
• HI Iberia: HI-IBERIA Ingenieria y Proyectos SL, Spanyolország
• Erlang Solutions, Egyesült Királyság
• Hilfsgemeinschaft der Blinden und Sehschwachen Osterreich, Ausztria

Az SP2: SCOPES Project on Speech Prosody (SP2: Beszédprozódia kutatás) projektben résztvevő négy partner célja, hogy a beszéd prozódiájának elemzése során jobban megismerjük a kutatásban részt vevők eszközeit és erőforrásait. A prozódia alatt az emberi beszéd dallamát, időtartamát és intenzitását értjük, melyeket analízis és szintézis kísérletekben vizsgálunk.

A prozódia a beszédnek fontos része, működését azonban még nem értjük teljes mértékben. Fontosságát mutatja, hogy ezzel fejezhetünk ki érzéseket, érzelmeket és különböző szándékokat is. A gépi szövegfelolvasás során fontos, hogy a beszédszintetizátor prozódiája természetes legyen, és a megfelelő szándékot közvetítse. Beszédfelismerésben a prozódiát tipikusan nem veszik figyelembe, mert a szöveges tartalmat nem befolyásolja.

A kutatás négy partnere különböző szempontok szerint foglalkozik a beszéd prozódiájának vizsgálatával. A projekt során a kutatócsoportok megosztják egymással eddigi eredményeiket és eszközeiket, és hatékonyabb módszereket dolgoznak ki a prozódia kezelésére a kutatásban érintett nyelveken (szerb, macedón, magyar, francia).

• Budapesti Műszaki és Gazdaságtudományi Egyetem, Magyarország
• Idiap Research Institute, Martigny, Svájc
• Ss. Cyril and Methodius University of Skopje, Skopje, Macedónia
• University of Novi Sad, Novi Sad, Szerbia

A kutatócsoportunk a Szent László Kórház Hematológiai és Őssejt-transzplantációs Osztályával kezdett együttműködést. Az innovatív orvoscsoporttal közösen dolgozva vizsgáljuk, hogy a beteg gyerekek miképp reagálnak a robotra, milyen játéklehetőségeket látnak benne.

Kutatási projekt indulhat arra, hogy a robot interraktívan tudjon reagálni, ismerje föl kivel áll szemben, fizikai paraméterek alapján adaptálódjon a gyerekek állapotához és annak megfelelően kommunikáljon vele. A robot nagy segítség lehet azon gyerekek gyógyításában, akik hónapokat töltenek steril szobában. (Forrás, Videó)

Kutatásvezető: Dr. Zainkó Csaba

A mai rejtett Markov-modelleken (Hidden Markov-model, HMM) alapuló statisztikai parametrikus beszédszintézis rendszerekkel érthető, természetes hangzású, jó minőségű szintetikus beszédet tudunk előállítani. Ezek a rendszerek sikeresen képesek modellezni kijelentő mondatokat, azonban kérdő modalitású mondatok prozódiai modellezése nem megfelelő. Magyar nyelv esetén kérdő mondatok prozódiájának modellezése egy kihívást jelentő feladat a különböző típusú kérdő mondatok (eldöntendő, kiegészítendő, ellenőrző, választó, befejezetlen típusok) következtében. Minden típus sajátos dallammenettel rendelkezik, valamint ez a dallammenet a mondat szótagszámának függvényében is változik.

A kutatás célja HMM alapú szintetikus beszéd minőségének javítása kérdő mondatok esetén. A kutatás során tisztán statisztikai alapú megközelítést, szabály alapú megközelítést, valamint ezek kombinációjával hibrid megoldásokat is vizsgálunk. A kutatás eredményei és az elvégzett szubjektív meghallgatásos tesztek eredményei alapján kijelenthető, hogy a különböző megközelítések mindegyikével növelhető az interrogatív mondatok prozódiájának természetessége a HMM keretrendszeren belül. A tisztán statisztikai parametrikus megoldás előnye, hogy képes a célbeszélő hangkarakterének sajátosságainak modellezésére, beszélőfüggetlenül alkalmazható, azonban limitált tanító anyag megléte esetén a szintetikus prozódia minősége romlik. Tisztán szabály alapú megközelítés kiküszöböli a limitált tanító anyag esetén fellépő problémát, azonban nem alkalmazkodik a célbeszélő hangkarakteréhez, így a célbeszélő hangjának felismerhetősége romolhat. Előbbiek miatt célszerű hibrid megoldások alkalmazása, mely alkalmas lehet a különböző megoldások előnyeinek ötvözésére az esetleges hiányosságok kiküszöbölésére.

Kutatásvezető: Nagy Péter

A PaeLife projekt („Personal Assistant to Enhance the Social Life of the Seniors”, azaz „Szociális életet támogató személyes eszköz időseknek”) 8 partnert fog össze Portugáliából, Franciaországból, Magyarországról, és Lengyelországból. A kutatás azokra fókuszál, akik nemrégiben vonultak vissza, valamilyen szinten hozzászoktak a technológia használatához, és szeretnének aktívak, produktívak, és szociálisan elkötelezettek maradni. A projekt fő célja, hogy harcoljon az elszigeteltség és kirekesztettség ellen, hogy lehetőséget teremtsen az idősek számára egy hatékonyabb, független, társadalmilag aktívabb és kiteljesedettebb életre egy személyes életvezetési asszisztens segítségével, amely társadalmi kommunikációt, tanulást és szórakozást támogató virtuális jelenléten alapul.

Honlap: https://paelifehu.wordpress.com

Elkészült alkalmazás: AALFred

• Budapesti Műszaki és Gazdaságtudományi Egyetem, Magyarország
• Bay Zoltán Alkalmazott Kutatási Közhasznú Nonprofit Kft., Magyarország
• Microsoft Corporation, Portugália
• INESC-ID, Portugália
• University of Aveiro, Portugália
• Troyes University of Technology, Franciaország
• Genitech, Franciaország
• Knowledge Society Association, Lengyelország