Pszichológiai Doktori Iskola

Kognitív Tudományi Tanszék

Témavezető: dr. Babarczy Anna

A hangok és a nyelv határterülete: konkrét és absztrakt hangot kódoló mondatok feldolgozása

A kutatási téma néhány soros bemutatása

Hangképeknek nevezzük egy hangesemény auditoros tapasztalatát, amely a hosszú távú memóriából anélkül hívódik elő, hogy közvetlenül beindítaná egy ilyen tapasztalat. Kutatási témánk a konkrét (például „A fiú a harangot megkongatta”) és absztrakt (például „A sajtó a vészharangot kongatta”) hangeseményeket kódoló mondatokhoz köthető hangesemények vizsgálata. Az absztrakt hangeseményeket kódoló mondatok reprezentációja a kognitív nyelvészet kevéssé kutatott, de időszerű területe. Kutatásunk fő célja a konkrét és absztrakt hangeseményeket kódoló nyelvhasználat összehasonlítása a hangképek aktivációjának szempontjából. A hangkép aktivációja azt jelenti, hogy a mondatban leírt hangról egy hangreprezentációt hozunk létre. Kutatásunk során azt is vizsgáljuk, hogy milyen körülmények között hoznak létre a nyelvhasználók ilyen hangképeket, amikor a nyelv által közvetített hangeseményeket mélyebben dolgozzák fel.

A kutatóhely rövid bemutatása

A kutatóműhelynek a Kognitív Tudományi Tanszék ad otthont. Elsődleges feladatai közé tartozik a  pszicholingvisztika, a gyermeknyelv, illetve az emlékezet és a tanulás kutatása. Ezek mellett a tanszék választható kurzusok, BA-szintű kurzusok és mesterszakos kognitív tudományi kurzusok oktatását is végzi.

A kutatás történetének, tágabb kontextusának bemutatása

A kogníció ún. modalitásspecifikus elméletei szerint a hangeseményeket kódoló nyelvi feldolgozás bizonyos körülmények között (pl. egy kísérleti feladatban) hangképeket aktiválhat (Barsalou, 1999). Ezt számos vizsgálat igazolta (Kemmerer et al., 2008; Kiefer et al., 2008). Az ideg- és kognitív diszciplínákban sokat szereplő Radikális Testesültség (Radical Embodiment) elmélet szerint a konkrét és az absztrakt fogalmak az agy szenzomotoros rendszereiben vannak tárolva (Lakoff és Johnson, 1999). Két kérdés viszont megválaszolatlan marad: (1) pontosan milyen feladatokban konstruálnak a nyelvhasználók hangképeket és (2) van-e különbség a konkrét és absztrakt hangot kódoló nyelvhasználat között a hangképek aktivációját illetőleg?

A kutatás célja, a megválaszolandó kérdések

A kutatás két fő célja: (1) annak feltárása, hogy milyen feladatkörülmények között aktiválódik hangkép konkrét és absztrakt hangot kódoló nyelvhasználat során (2) a konkrét hangreprezentációk hozzáférhetőségének vizsgálata az absztrakt hanggal kapcsolatos szituációs modellekben a mély feldolgozás szintjén (Barsalou, 1999; Louwerse és Jeaniaux, 2008). A mély feldolgozás olyan nem nyelvi mentális szimulációk aktivációjára utal, amelyeket egy bizonyos feladat vált ki.

Módszerek

Konkrét és absztrakt nyelvhasználatra irányuló számítógépes reakcióidő-kísérlet az E-Prime szoftver használatával történt. A következő részben (Eredmények) bemutatott kísérletek különböző típusú hanghatásokat teszteltek: kongruens (egybevágó, egyező), inkongruens (eltérő) és nem kapcsolódó (kategórián kívüli) hangok. A három kísérleti csoport (kongruens, inkongruens, nem kapcsolódó hangfeltételek) független csoport volt (személyközi változó). Az Eredmények részben közölt három kísérletben a személyek más kísérleti feladatokat végeztek: az első kísérletben a kísérleti személyek értelmességi ítéleteket hoztak vizuálisan megjelenített mondatokról, a második kísérletben egy másik csoport hangmintákról hozott döntést egy mondat-hang összehasonlítási feladatban, a harmadik kísérletben pedig a kísérleti személyek szavanként olvastak mondatokat önütemezett módon.

Hangingerek: mindennapi tárgyak, állathangok vagy hangszerek hangjai voltak. A hangfájlokat Marcell, Borella, Greene, Kerr és Rogers (2000) használták másik kutatásban.

Mondatok: az első kísérletben használt mondatokra alább láthatunk néhány példát. A második és a harmadik kísérletben is az első kísérlet mondatai szerepeltek apró módosításokkal. A kongruens, inkongruens és a nem kapcsolódó hangokra példákat találunk a mondatok mellett.

Kísérleti eljárás:

Az alábbiakban a hang-nyelv határterületét vizsgáló három kísérletet mutatok be. Az első és a harmadik kísérlet azt vizsgálta, hogy a hangingerek befolyásolják-e a nyelvi feldolgozást. A második egy explicitebb feladatot tartalmazott: a személyeknek tudatosan össze kellett hasonlítaniuk a nyelvi ingereket a hallott hangokkal.

Első kísérlet: a résztvevőket arra kértük, hogy mondatokat olvassanak el, és amennyiben értelmesnek gondolják a mondatot, nyomják le az ENTER billentyűt, a SPACE billentyűt pedig akkor, ha értelmetlennek tartják azt. Arra is felhívtuk a figyelmüket, hogy ne figyeljenek a mondatok olvasása közben hallott hangokra. A mondatok egymás után jelentek meg véletlenszerű sorrendben a képernyő közepén, a hangokkal egyidejűleg. A hangokat mindkét fülben hallották mindaddig, amíg választ nem adtak az egyik billentyű lenyomásával. Nem volt időkorlátozás a válaszadásnál, vagyis annyi időt tölthettek a mondatok olvasásával, amennyire szükségük volt, de kértük őket, hogy a lehető leggyorsabban válaszoljanak a mondatokra.

Második kísérlet: a résztvevők itt szóról-szóra, előre meghatározott ütemben (250 ms/szó) olvastak mondatokat, és nem tudtak a már olvasott szavakra visszatérni. A mondatok végén (vagyis az utolsó szó bemutatásával együtt) hallottak egy hangot. A feladatuk szerint el kellett dönteniük, hogy kiválthatta-e a hangot az olvasott mondat eseménye. A résztvevőknek az absztrakt mondatoknál a kongruens hangokról is negatív döntést kellett hozniuk, mivel elvont események nem válthatnak ki hangokat (pl. „A sajtó kongatta a vészharangot” nem foglalja magában a harang kongását, ezért a személyeknek „nem”-mel kellett dönteniük ilyen mondatoknál). Ennek betanítására egy előzetes gyakorló fázist iktattunk be.

Harmadik kísérlet: ebben a kísérletben a résztvevők szavanként olvasták a mondatokat úgy, hogy a következő szó olvasásához le kellett nyomniuk egy billentyűt (önütemezett olvasás). A résztvevők ebben az esetben sem tudtak visszatérni a már olvasott szavakra. A mondatok végén az utolsó szóval együtt hallottak mindig egy hangot. A feladat az volt, hogy olvassák el a mondatokat, és minden mondat után válaszoljanak egy kontrolkérdésre. A hangingereket a kísérleti személyek a válaszadásig hallották itt is.

Résztvevők: minden kísérleti személy a BME hallgatója volt. A részvevőknek a kísérletek teljesítése a jegyszerzés előfeltétele volt.

Eredmények

vö. Fekete és Babarczy (beküldve, 2010): A psycholinguistic analysis of 'fictive' sound events,  Lingua.

Az első kísérletben értelmességi ítéleteket mértünk. Eredményeink azt mutatják, hogy a mondatokat gyorsabban dolgozták fel a résztvevők a kongruens feltételben, mint az inkongruensben mindkét almintában (konkrét és absztrakt). A nem kapcsolódó hangokhoz tartozó feltételben az olvasási idők nem különböztek szignifikánsan a hang nélküli feltételben vett olvasási időktől. Az alábbi ábra a kritikus mondatok átlagos olvasási idejét mutatja milliszekundumban mérve. Az összekötő vonalak szignifikancia szinteket jelölnek.

A második kísérletben hangok átlagos verifikációs idejét mértük. A résztvevők szignifikánsan gyorsabban reagáltak a nem kapcsolódó hangokra, mint a kongruensekre vagy inkongruensekre (ún. fordított facilitációs hatás). A konkrét mondatok almintájában az inkongruens hangokra szignifikánsan lassabban reagáltak, mint a kongruensekre. Az absztrakt mondatoknál viszont nem találtunk szignifikáns különbséget ebben az összehasonlításban. Az inkongruens hangokat konkrét mondatoknál szignifikánsan lassabban verifikálták a résztvevők, mint az inkongruens hangokat az absztrakt esetben. Az alábbi ábra a kritikus hangok átlagos verifikációs idejét mutatja milliszekundumban mérve.

A harmadik kísérletben az igék régiójában mértünk olvasási időt (az utolsó szó pontján). A kongruens feltételben a mondatok olvasási ideje nem különbözött szignifikánsan az inkongruens feltételben mértektől. A nem kapcsolódó (kategórián-kívüli) hangok szignifikánsan gátolták a nyelvi feldolgozást a kapcsolódó (kategórián belüli) hangokhoz képest. A hangokra referáló nyelvhasználat tehát nem vált ki automatikusan specifikus hangreprezentációkat ezen olvasási feladatban az ún. kongruenciahatás (a kongruens elemek gyorsabb feldolgozása az inkongruensekkel szemben) hiányából következtetve. A kategórián belüli elemek kompatibilisek a nyelvi feldolgozással egy ún. terjedő aktivációs modellben (vö. Anderson, 1983; Neely, 1991). Az alábbi ábra az igék átlagos olvasási idejét mutatja milliszekundumban mérve.

Ez az eredmény nem feleltethető meg azon elképzelésekkel, melyek szerint a modalitásspecifikus reprezentációk fogalmi alkotók az auditoros tartományban (Kiefer et al., 2008). Adataink inkompatibilisek a Radikális Testesültség szemléletével (Lakoff és Johnson, 1999). Megmutattuk, hogy a (sekélyes – „shallow") nyelvi feldolgozás még a konkrét tartományban is (a nyelvi rendszerbe ágyazott) nyelvi formákon alapszik, ahelyett, hogy a nem nyelvi mentális modellekhez férne hozzá.

A jövőbeni kutatás alapjául szolgál a második kísérlet megismétlése az alábbi négy módosítással:

1.) személyen belüli kísérleti elrendezés a potenciális stratégiahasználat kiküszöbölése érdekében

2.) a feladatkövetelmény csökkentése az absztrakt almintában a kongruens feltételben: a személyeket arra kérjük, hogy az idiómákat szó szerint vegyék, és kezeljék úgy őket, mint a konkrét mondatokat (egy hasonló instrukciót követve, vö., Mashal, 2008)

3.) a konkrét feltételben használt igékkel megegyező igék használata az absztrakt feltételben is az igék „pontonkénti” statisztikai összehasonlítása érdekében

4.) a nyelvi ingerek és a hangok aszinkron bemutatása, vagyis a hangok prezentációja a nyelvi ingerek után.

Várható impakt, további kutatás

A kutatás az absztrakt szituációs modellekben aktivált konkrét reprezentációk státuszát világítja meg. Megmutattuk, hogy absztrakt mondatok „mély-feldolgozása” közben az irreleváns jelleg (a konkrét hangreprezentáció) aktivitása csökken, tehát nem (i) ugyanolyan mértékben aktivált mint a konkrét esetben, (ii) gátlódik vagy (iii) egyáltalán nem aktiválódik. Kutatásunk más tartományokban lévő absztrakt szituációs modellekre is kiterjeszthető, többek között a motoros reprezentációkra (metaforák, amelyek motoros cselekvéseket írnak le, például megragadja a lehetőséget) vagy téri reprezentációkra (például az árak felmentek).

Saját publikációk, hivatkozások, linkgyűjtemény

Anderson, J.R., 1983: A spreading activation theory of memory. Journal of Verbal Learning and Verbal Behavior 22, 261–295. oldal

Barsalou, L.W., 1999: Perceptual symbol systems. Behavioral and Brain Sciences 22. 577–660. oldal

Fekete, I., Babarczy, A. (submitted, 2010): A psycholinguistic analysis of 'fictive' sound events, Lingua

Kemmerer, D., Castillo, J.G., Talavage, T., Patterson, S., Wiley, C., 2008: Neuroanatomical distribution of five semantic components of verbs: evidence from fMRI. Brain and Language 107 (1), 16–43. oldal

Kiefer, M., Sim, E.J., Herrnberger, B., Grothe, J., Hoenig, K., 2008: The sound of concepts: four markers for a link between auditory and conceptual brain systems. The Journal of Neuroscience 28 (47), 12224–12230. oldal

Lakoff, G., Johnson, M., 1999: Philosophy in the flesh: The embodied mind and its challenge to western thought, New York, NY: Basic Books

Louwerse, M.M., Jeaniaux, P., 2008: How fundamental is embodiment to language comprehension? Constraints on embodied cognition. In: B.C. Love, K. McRae, & V.M. Sloutsky (Eds.), Proceedings of the 30th Annual Conference of the Cognitive Science Society (1313–1318. oldal). Austin, TX: Cognitive Science Society

Marcell, M.M., Borella, D., Greene, M., Kerr, E., Rogers, S., 2000: Confrontation naming of environmental sounds. Journal of Clinical and Experimental Neuropsychology 22. 830–864. oldal

Mashal, N., Faust, M., Hendler, T., Jung-Beeman, M., 2008: Hemispheric differences in processing the literal interpretation of idioms: Converging evidence from behavioral and fMRI studies. Cortex 44 (7), 848–860. oldal

Neely, J.H., 1991: Semantic priming effects in visual word recognition: A selective review of current findings and theories. In: D. Besner & G. Humphreys (Eds.), Basic processes in reading: Visual word recognition (236–264. oldal), Hillsdale, NJ: Erlbaum

Saját Egyéb Publikációk

Babarczy Anna, Bencze Ildikó, Fekete István, Simon Eszter (2010): A metaforikus nyelvhasználat egy korpuszalapú elemzése, Általános Nyelvészeti Tanulmányok

  

Fekete, I., Pléh, Cs. (megj. előtt): Bidirectional and Unidirectional Comitative Constructions in Hungarian: a Psycholinguistic Investigation at the Interface of Argument Structure and Semantics, Acta Linguistica Hungarica

Fekete, I. (2010): A nyelvi szemantika a kognitív tudomány perspektívájából, Magyar Pszichológiai Szemle, 65. kötet (2), 383–416. oldal

Fekete, I., Babarczy, A. (megj. előtt): Főnévi fogalmak konkrétsági, elképzelhetőségi és definiálhatósági értékeinek összefüggései, Magyar Pszichológiai Szemle

Fekete, I., Pléh, Cs. (2010): „Ne viccelődj a rendőrökkel”: egy- és kétirányú társas viszonyok a nyelvben, Magyar Pszichológiai Szemle

Fekete, I., Pléh, Cs. (2008): A nyelvi relativizmus és az idegrendszeri plaszticitás, Magyar Pszichológiai Szemle, 63. kötet (1), 181–211. oldal

Fekete, I., Pléh, Cs. (2008):. A nyelvi relativizmus és az idegrendszeri plaszticitás, In Pléh, Csaba (szerk.). A fejlődési plaszticitás és az idegrendszer, Akadémiai Kiadó, Budapest, 181–211. oldal

Fekete, I. (2007): Könyvismertetés Melvyn A. Goodale és A. David Milner: Sight Unseen: An Exploration of Conscious and Unconscious Vision c. könyvéről (Oxford University Press, 2004) Magyar Pszichológiai Szemle, 62. kötet (4), 571–573. oldal (2007)

Fekete, I. (2007). Könyvismertetés Diane Pecher és Rolf A. Zwaan (szerk.): Grounding Cognition: The Role of Perception and Action in Memory, Language, and Thinking  c. könyvéről (Cambridge University Press, 2005) Magyar Pszichológiai Szemle, 62. kötet (2), 253–256. oldal (2007)