Egyedülálló magyar fejlesztés:
http://nol.hu/tud-tech/tolmacskesztyuvel-hangos-a-jel-1480037
Az írás a Népszabadság
2014. 08. 14. számában
jelent meg.

Egyedülálló segédeszközt, különleges tolmácskesztyűt fejleszt jelnyelven kommunikáló siketek számára az MTA Számítástechnikai és Automatizálási Kutatóintézetének (MTA SZTAKI) fiatal szakemberekből álló csoportja az Euronet Zrt. munkatársaival karöltve.

Sokszor okoz gondot a hallássérültek számára, hogy megértessék magukat a társadalom többi részével. Ugyan egymás között a jelnyelv segítségével képesek kommunikálni, ám ezt az ép hallásúak nem ismerik. A velük történő kommunikációban segít az a most augusztus végén záruló kétéves, az NFÜ támogatását elnyert kutatási program, melynek eredményeként elkészült egy nemzetközi viszonylatban is párját ritkító eszköz prototípusa.

A kutatási projekt résztvevői egy olyan, feszesen a bőrre simuló kesztyűt alkottak, melyen 12 érzékelő (szenzor) figyeli a kéz összes mozdulatát.

Minden szenzor egy bizonyos térbeli pozícióért felelős, a 12 szenzor együttes munkája pedig kiadja a jelnyelv mozdulatait. Ezt egy különleges szoftver bluetooth segítségével átviszi a felhasználó okostelefonjára, mely a jeleket betűkre fordítja, azokat mondatokká alakítja, és végül egy másik – a legújabb mobilokba már beépített – program a szöveget hangosan felolvassa a szemben álló embernek.

A Harry Potter-könyvek alapján készítettek szoftvert a szó- és szópárgyakorisági adatbázishoz

Ez így roppant egyszerűen hangzik, mégsem találkozunk ilyen eszközökkel. Mint Mátételki Péter, a projekt MTA SZTAKI-beli felelőse lapunknak elmondta, volt már néhány ilyen irányú próbálkozás a világban, de használható eszközt eddig sehol nem sikerült készíteni. Jórészt a szenzortechnika nem volt még elég fejlett, hogy megfelelő szoftvert lehessen hozzá konstruálni – teszi hozzá.

Nekik sem volt könnyű dolguk, a működő modell már a sokadik verzió. Hol a vezetékezéssel volt gond, hol a szenzorok vezérlésével, hol a kesztyű anyagával. Próbálkoztak bőrrel, műanyaggal, végül a szerelőkesztyű textilanyagánál maradtak. A kesztyű a telefonnak másodpercenként 30-szor közvetíti a kéz gesztusait, és ezekből egy okos algoritmus válogatja ki az értékeseket, amiket betűkre kell lefordítani.

A felhasználónak alapesetben semmi dolga nincs, a mobil a zsebében lapul és onnan „beszél” a másik emberrel. Ám ha annak arcán értetlenség látszik, a mobil képernyőjén különböző háttérszínek segítségével követni (és esetleg korrigálni) lehet, mi hangzott el eddig, hol tart a kommunikáció és mit fog még mondani.

Fontos az is, hogy míg hazánkban az általános jeleléshez mindkét kéz, a karok, sőt a mimika is társul, itt egy angolszász területekről jött és a fiatalabbak között mindinkább hódító egykezes – nemzetközi – jelnyelvet használnak betűzésre. Míg a hagyományos jelnyelv tízezer jelet használ, a betű ábécében 26 alap- és néhány kiegészítő jelet használnak.

Az MTA SZTAKI szoftvere úgy készült, hogy a gyakorlatban elsajátítható néhány száz gesztusjel megtanulására is legyen benne tartalék. Sőt a kesztyűt az alapbeállításban lévő jeleken túl, személyesen is „testre” lehet szabni, vagyis minden felhasználó megtaníthatja az eszközt saját jeleire. Ezeket a jeleket egy online közösségi portálon a társakkal meg is lehet osztani, böngészhetők és le is tölthetők a saját telefonra.

A fejlesztők csak az egyik irányú kommunikációt segítik a kesztyűvel, ugyanis a siketek képesek szájról olvasni. Egyelőre androidos és windowsos változat készült el, az iPhone-os bluetooth-kapcsolat megteremtésén jelenleg is dolgoznak. A termékig azonban még sok a teendő.

Most angol nyelven működik a rendszer, amelynek adatbázisát nem a maitól már idegen, múlt század eleji beszédre alapult Google Books szókészletére építették, hanem a Harry Potter-könyvek alapján készítettek szoftvert a szó- és szópárgyakorisági adatbázishoz, de a felhasználók saját szokásaikhoz igazodva olyan szövegállománnyal taníthatják be a telefont, ami nekik jólesik.

Az algoritmus azonban nyelvfüggetlen, tehát bármilyen szöveg adatbázisa felhasználható, most már csak a magyar felolvasó program hiányzik, de vélhetően, mire a kesztyű a hazai boltokba kerül, ez sem lesz gond.

Válasz