Pszichológia Doktori Iskola (Kognitív Tudomány)  

BME TTK Kognitív Tudományi Tanszék

Témavezető: Dr. Tóth Brigitta

Tanulás és agyi plaszticitás a téri hallás fejlesztése során

A kutatási téma néhány soros bemutatása

Fejleszthető-e a téri hallás virtuális valóságban játszott tréninggel, és ha igen, milyen agykérgi folyamatok kísérik a fejlődést? Ezek azért lényeges kutatási kérdések, mert a hangok helyének megállapítása – a hanglokalizáció – fontos készség a mindennapokban, a hallássérült emberek viszont problémákba ütközhetnek e téren. Kutatásunkban megvizsgáljuk a téri hallás fejlesztésének lehetőségeit a pszichológia és az idegtudomány eszközeivel.

 

A kutatóhely rövid bemutatása

A téri hallás fejlesztését és az ezt kísérő agyi plaszticitást egy elektrofiziológiai laborban vizsgáljuk. A helyiség amellett, hogy hangszigetelt, a külső elektromos jeleket is leárnyékolja, így az agyi elektromos aktivitás zavartalanul vizsgálható. A kutatás legfontosabb eszközei a VR-szemüveg, a hangszórók és az elektroenkefalogram (EEG; 1. ábra).

1. ábra: EEG és VR a kutatás helyszínén.

 

A kutatás történetének, tágabb kontextusának bemutatása

A téri hallás alapvető fontosságú készség az emberek mindennapjaiban. Segítségével megállapítjuk a hangforrások helyét – például egy közeledő járművet –, és elkülönítjük egymástól a különböző hangokat – például beszédpartnerünk mondandóját a háttérzajtól (Bregman, 1994). A hallássérült embereknek életminőség-romlást okoz téri hallásuk sérülése. Hallásuk javítására használatosak például az ún. cochleáris implantátumok, amelyek a belső fülbe ültetett hangfeldolgozó eszközök. Az implantátumok nagy sikerrel állítják vissza a hallásküszöböt közel egészséges szintre, azonban a téri hallás terén nem tudják utánozni az ép biológiai rendszerek pontosságát, hatékonyságát és rugalmasságát (Van Opstal, 2016). E probléma megoldása nem csupán a cochleáris implantátumok komputációs fejlesztésében rejlik, hanem ezzel párhuzamosan az implantátumok felhasználóinak az agyi plaszticitását is kiaknázhatjuk. Megfelelő tréninggel ugyanis az ember képes alkalmazkodni újszerű hallási helyzetekhez (Firszt és mtsai, 2015; Shinn-Cunningham és mtsai, 1998; Valzolgher és mtsai, 2020).

 

A kutatás célja, a megválaszolandó kérdések

Kutatásunk célja segíteni az embereknek abban, hogy téri hallási készségeiket otthonuk kényelmében fejleszthessék. Ezért vizsgáltuk meg, hogy egy virtuális valóságban (VR) végezhető, játékos hanglokalizációs tréning javítja-e a téri hallást, és ha igen, akkor ez a hatás a VR-környezet mellett valós térben elhelyezkedő hangforrások lokalizációjára is általánosítható-e. A későbbiekben pedig azt a kérdést is vizsgálni fogjuk, hogy egy hanglokalizációs tréningnek milyen hatása van az agykérgi működésre.

 

Módszerek

A kutatás jelenlegi fázisában ép hallású fiatal felnőtteket kérünk meg arra, hogy játsszanak hanglokalizációs tréningfeladatokkal virtuális valóságban a laborunkban, a tréning előtt és után pedig különböző tesztekkel mérjük meg résztvevőink téri hallási készségeit.

 

Az általunk használt VR-hanglokalizációs tréning a Both Ears Training Package (BEARS), amelyet a nagy-britanniai Országos Egészségügyi és Gondozási Kutatóintézet szakemberei fejlesztettek ki. A programot nemzetközi együttműködés keretében teszteljük fiatal felnőtt mintán. A tréning során a résztvevők különböző irányokból érkező virtuális hangokat hallanak, és meg kell állapítaniuk a hangforrások helyét, miközben pontosságukért és gyorsaságukért pontokat és jutalmakat gyűjthetnek a virtuális környezetben (2. ábra). A játékélményt ez a videó is illusztrálja.

 

2. ábra. A hanglokalizációs tréning virtuális környezete.

 

A hanglokalizációs készségeket teszteljük a tréning előtt és után, mind virtuális valóságban, mind pedig valós térben. A VR-teszthez más programot használunk, mint a tréninghez: a tesztben fehér zaj ingerek helyét kell megállapítani mindenféle, a hang helyére utaló vizuális inger hiányában, a válaszhelyességre kapott visszajelzés nélkül. A valós térben végzett teszthez pedig három hangszórót használunk: a résztvevőnek rövid hangingerekről kell eldöntenie, hogy mely hangszóró játszotta le őket (3. ábra). Ebben a feladatban fehér zajt és rövid beszédingereket is alkalmazunk.

 

3. ábra. A hangszórók elrendezése a kutatási helyen.

 

Távlati célunk szerint a tréningprogram elsődleges célközönsége a cochleáris implantátumok felhasználóiból állna, első lépésként azonban ép hallású résztvevők segítségével készítjük elő és próbáljuk ki a programot. A cochleáris implantátumot gyakran csak egy oldalra ültetik be, így egy sajátos hallási helyzet jön létre: az egyik fülben akut módon megváltozik a hallás, és ehhez a felhasználónak hozzá kell szoknia. Ezt a hallási helyzetet egy egyszerű módszerrel modelláljuk ép hallású résztvevőinkben: jobb fülükbe füldugót helyezünk, amelyet mind a tréning, mind a tesztalkalmak során viselnek.

 

Minden résztvevő két egymás utáni napon látogat el a laborunkba (4. ábra). Az első napon végzik el az előteszteket és 30 perc VR-tréninget, a második napon pedig még 30 perc VR-tréninget és az utóteszteket. Hogy árnyaljuk a rálátásunkat a hanglokalizációban bekövetkező változásokra, a legelső alkalomkor füldugó nélkül is elvégezzük a két előtesztet, majd rögtön megcsináljuk füldugóval is. Innentől az összes feladatnak része a füldugó. Ezután a 30 perc VR-tréning során 3 különböző, előre kijelölt feladattal játszanak a résztvevők, mindegyikkel 10–10 percig. A VR-ban végzett lokalizációs tesztet rögtön a tréning után ismét elvégezzük, ami megmutatja, van-e gyors, rövidtávú változás a virtuális hangok lokalizációjában a tréning első fele után.

 

4. ábra. Kísérleti elrendezés.

 

A második napon nem rögtön a tréninggel kezdünk, hanem újra a VR-hanglokalizációs teszt következik, mert így azt is látni fogjuk, hogy az alvási konszolidáció után történt-e változás a téri hallási készségekben az előző naphoz képest, további tréning nélkül. (A második nap feladatait mind füldugóval végezzük.) Ezt követi a második harminc perc tréning, végezetül pedig az utóteszt két feladata.

 

Eddigi eredmények

Előzetes eredményeink azt mutatják, hogy VR-hanglokalizációs tréninggel javulás érhető el a téri hallásban, bár a javulás általánosíthatóságának kérdése ennél bonyolultabbnak bizonyult.

 

A hallássérülés füldugóval történő modellezése nem minden embernél volt hatásos: voltak, akik féloldali füldugóval is remekül teljesítettek a VR-teszten. Ezért két csoportra bontottuk a résztvevőinket: akiknél hatásos volt a hallássérülés-modell (tehát füldugó hatására csökkent a hanglokalizációs teljesítményük), és akiknél nem.

 

A virtuális hallási térben végzett teszt azt méri, hogy mekkora szöget zárt be egymással a hangforrás valós és vélt helye – vagyis milyen messze volt egymástól a tényleges hangforrás és a hallgató válasza. A tréning hatására ez a távolság közelít a 0-hoz azoknál, akiknél a hallássérülést sikerült modellezni, vagyis a hanglokalizáció a tréning során egyre javul (5A ábra). Nagyok azonban az egyéni különbségek: különböző emberek máshogy reagálnak a tréningre, a rövid távú hatások nem mindenkinél azonosak.

 

A valós hallási térben, hangszórókkal végzett teszten azt mértük, hogy milyen arányban találták el helyesen a hangok helyzetét a résztvevők három választási lehetőség közül. Ezen a feladaton a teljesítmény egyik csoportban sem javult igazán jelentősen, akár fehér zajt, akár beszédhangokat kellett lokalizálni (5B ábra). Ez utalhat arra, hogy a VR-tréning nem hat ki a valós térben történő hanglokalizációs készségekre – de arra is, hogy az általunk használt teszt nem jó mércéje a változásnak, mert nem elég érzékeny, vagy túlságosan mesterséges. Mielőtt további következtetéseket vonunk le, felül kell vizsgálni ezt a tesztet.

5. ábra. Eddigi eredmények.

 

Várható impakt, további kutatás

A kutatási téma számos további lehetőséget rejt. Először is meg kell válaszolni azt a kérdést, hogy a virtuális térben elért hanglokalizációs javulás általánosítható-e a valós térre. Emellett a további kutatásokban a hanglokalizációs tréning hatására létrejövő agykérgi változásokat fogjuk feltárni EEG segítségével, hogy megtudjuk, milyen neurális mechanizmusok állnak a téri hallás plaszticitása mögött. Az is célunk, hogy megvizsgáljuk, milyen hatással van a tréning összetettebb kognitív folyamatokra, konkrétan a zajban vagy több beszélő jelenlétében történő beszédfeldolgozásra. Ez a készség a különböző hangforrások szétválasztásán alapul, ezért a hanglokalizációs tréning feltételezhetően elősegíti a hatékony beszédértést a mindennapokban gyakran tapasztalható zajos szituációkban. Távlati célunk pedig, hogy cochleáris implantátumot használó embereknek biztosítsunk lehetőséget téri hallásuk fejlesztésére a tréninggel.

 

Saját publikációk, hivatkozások, linkgyűjtemény

Kapcsolódó saját publikációk listája

 

Kapcsolódó folyóiratcikkek:

Kovács, P., Szalárdy, O., Winkler, I., & Tóth, B. (2023). Two effects of perceived speaker similarity in resolving the cocktail party situation–ERPs and functional connectivity. Biological Psychology, 182, 108651. 10.1016/j.biopsycho.2023.108651

Kovács, P., Tóth, B., Honbolygó, F., Szalárdy, O., Kohári, A., Mády, K., Magyari, L., & Winkler, I. (2023). Speech prosody supports speaker selection and auditory stream segregation in a multi-talker situation. Brain Research, 148246. https://doi.org/10.1016/j.brainres.2023.148246

 

Válogatás kapcsolódó konferencia-prezentációkból:

Kovács, P., Tóth, B., Szalárdy, O., Winkler, I. (2023. január 13). Speech processing in multi-talker situations: The role of speaker similarity [poszter]. Speech in Noise Workshop, Split, Horvátország.

Kovács, P., Tóth, B., Szalárdy, O., Winkler, I. (2023. január 31). Speech processing in multi-talker situations: The role of speaker similarity [poszter és lift-beszéd]. HunDoC, Budapest.

Kovács, P., Tóth, B., Szalárdy, O., Winkler, I. (2022. július 14). Speech processing in multi-talker situations: The role of speaker similarity [poszter]. Salzburg Mind-Brain Annual Meeting (SAMBA 2022), Salzburg, Ausztria.

Kovács, P., Tóth, B., Szalárdy, O., Honbolygó, F., Kohári, A., Mády, K., Magyari, L., & Winkler, I. (2022. január 20–21). The role of speech prosody in stream segregation and selective attention in a multi-talker situation [poszter]. Speech in Noise Workshop. https://2022.speech-in-noise.eu/?p=home

Kovács, P., Tóth, B., Szalárdy, O., Honbolygó, F., & Winkler, I. (2021. november 18–19). How prosody helps auditory stream segregation and selective attention in a multi-talker situation [prezentáció]. Felelős nyelvészet – Alkalmazott Nyelvészeti Konferencia. http://resling.elte.hu/

 

Linkgyűjtemény

●     A felhasznált VR-tréningprogram (BEARS): https://www.guysandstthomasbrc.nihr.ac.uk/microsites/bears/

●     Videó a tréningkörnyezetről: https://youtu.be/iV7HnEmCfV8?si=GcDiCwtww5E2Zsh5

●     A Hang- és Beszédészlelés Kutatócsoport weboldala: https://www.ttk.hu/kpi/hang-es-beszedeszlelesi-kutatocsoport/

 

Hivatkozások listája

Bregman, A. S. (1994). Auditory scene analysis: The perceptual organization of sound. MIT Press.

Firszt, J. B., Reeder, R. M., Dwyer, N. Y., Burton, H., & Holden, L. K. (2015). Localization training results in individuals with unilateral severe to profound hearing loss. Hearing Research, 319, 48–55.

Shinn-Cunningham, B. G., Durlach, N. I., & Held, R. M. (1998). Adapting to supernormal auditory localization cues. I. Bias and resolution. The Journal of the Acoustical Society of America, 103(6), 3656–3666.

Valzolgher, C., Campus, C., Rabini, G., Gori, M., & Pavani, F. (2020). Updating spatial hearing abilities through multisensory and motor cues. Cognition, 204, 104409.

Van Opstal, J. (2016). The auditory system and human sound-localization behavior. Academic Press.