 |
BMe Kutatói pályázat |
|
Pszichológia Doktori Iskola
BME TTK, Kognitív Tudományi Tanszék
Témavezető: Dr. Pléh Csaba, egyetemi tanár
Metaforák és jobbféltekei nyelvfeldolgozás
A kutatási téma néhány soros bemutatása
A metaforikus kifejezések agyi feldolgozásának megértése nem pusztán az egyik meghatározó emberi képesség, a nyelv megismerése szempontjából lényeges. A gépi nyelvfeldolgozás - és ezáltal például jelentéstartalom és nem kulcsszó alapján történő keresés - számára komoly kihívást jelentenek a metaforikus, nem szó szerinti, kétértelmű nyelvi rétegek. Kutatásomban arra keresem a választ, hogy a metaforikus kifejezések mely nyelvi dimenziói kapcsolják be a feldolgozásba a jobb agyféltekét annak ellenére, hogy az elsődleges beszédközpontok a balféltekében találhatóak. Az agyi nyelvelemzés mélyebb megértése hatékonyabb nyelvtechnológiai- és tartalomelemzést tehet lehetővé.
A kutatóhely rövid bemutatása
A BME Kognitív Tudományi Tanszékén az agy és megismerés kutatói egy valóban interdiszciplináris közegben dolgozhatnak: a kognitív tudomány keretei között a természettudományos kísérleti módszerek mérnöki szempontokkal egészülnek ki az agyműködés átfogó megértése érdekében. A nyelvi labor egyik fontos kutatási területe a metaforikus illetve absztrakt nyelvi működés és gondolkodás vizsgálata.
A kutatás történetének, tágabb kontextusának bemutatása
A számítógépes nyelvelemzés számos eszköze áll rendelkezésre magyar (mint a szógyakorisági mutatók vagy szintaktikai elemzők) és idegen nyelveken is, például a több mint 150 nyelven elérhető együttjárási szótáraktól kezdve, az asszociációs normákon át, a szemantikai viszonyok kontextuális, illetve egyéb pszicholingvisztikai mutatóit tömörítő szótárakon keresztül, a szinonimákkal operáló lexikai adatbázisokig. Mindazonáltal a többértelmű, illetve nem szó szerinti kifejezések továbbra is láthatatlanok a gépek számára.
A figuratív nyelv agyi feldolgozása feltehetően különleges erőforrásokat igényel, hiszen értelmezésében az elsődleges, balféltekei beszédközpontok (mint a Broca és Wernicke területek) mellett jobbféltekei hálózatok is részt vesznek. Az évtizedekig “némának” tekintett jobbfélteke [1] az elmúlt évtizedek idegkutatási eredményei alapján meghatározó szerepet tölt be a pragmatika [2], a kontextus [3], az indirekt kérések [4], a lexikai bizonytalanság [5], a viccek [6], az irónia [7] és a metaforák feldolgozásban is [8].
A mélyebb jelentésrétegek kibontásával foglalkozó agyi (al)rendszerek megértése révén közelebb kerülhetünk a kérdés mérnöki oldalához is: milyen nyelvi dimenziók és milyen lépések során születik meg az emberi agyban a jelentésértelmezés?
A kutatás célja, a megválaszolandó kérdések.
A legfontosabb elméleti keretek a metaforikus kifejezések jobb agyféltekei feldolgozását a szokatlan szemantikai viszonyokkal kötik össze [9, 10]. Jelenleg úgy tűnik, hogy csak az újszerű metaforák aktiválják a jobb agyféltekét, mivel a konvencionálisak (mint például “viharos kapcsolat” vagy “virágzó üzlet”) annak ellenére, hogy nem szó szerint értendőek, gyakori előfordulásuknak köszönhetően lexikalizálódtak, és így a balfélteke hatáskörébe tartoznak.
A kutatás fő kérdése az, hogy az újszerű metaforákhoz hasonlóan az újszerű, ám szó szerinti kifejezések is jobbféltekei feldolgozási előnyt váltanak-e ki. A lépcsőzetesen kiugró jelentés elmélete szerint (graded salience hypothesis, [9]) nem, hiszen a szó szerinti jelentés mindig kiugró, amit a balfélteke dolgoz fel. A jobbféltekét csak az újszerű kifejezések metaforikus, nem kiugró jelentésrétege aktiválja. A durva szemantikai kódolás elmélete szerint (coarse semantic coding theory, [10]) azonban minden újszerű kifejezés (a szó szerintiek is) a jobbféltekét aktiválják, mivel csak a jobbfélteke durva, elnagyolt kódolása teszi lehetővé a nagy szemantikai távolság feldolgozását. A balfélteke finomabb kódolása a közelebbi asszociációs viszonyban lévő fogalmak feldolgozásában vesz részt.
1. Ábra. A durva szemantikai kódolás elmélete: balfélteke szűkebb szemantikai mezőket finomabban, míg a jobbfélteke tágabb szemantikai mezőket durvábban kódol [10].
A kutatás nem csak a két jobbféltekei nyelvfeldolgozási modell összevetését teszi lehetővé, de az agyműködés alaposabb megértésén keresztül a nem szó szerinti nyelv (de)kódolásának mérnöki vonatkozásaira is rávilágíthat.
Módszerek
A jobbféltekei nyelvfeldolgozás vizsgálatára egy fMRI és egy osztott látómezős kísérlet keretében került sor. Az fMRI kísérlet a németországi Freie Universität Berlin kutatócsoportjával folytatott együttműködésben valósult meg. Ez a módszer az agyi véroxigén szint közvetett mérése révén lehetővé teszi az agyi aktivitásváltozás nagy pontosságú lokalizációját. Ugyanakkor a feldolgozás pontos idői lefutására nem érzékeny, ezért a BME Kognitív Tudományi Tanszékén elvégzett osztott látómezős ingerbemutatást alkalmazó kísérlet egészítette ki. Ebben az elrendezésben a jobb, illetve a bal látómezőbe vetített szavak – a nazális látóidegek kereszteződése folytán – először az ellenoldali agyféltekébe jutnak. Habár az információ viszonylag gyorsan átkerül a másik oldalra, a kis időkülönbség elegendő ahhoz, hogy viszonylag megbízható következtetéseket lehessen levonni a két félteke közötti kognitív eltéréseket illetően. A lateralizált ingerbemutatást egy szemmozgáskövető rendszer ellenőrizte.
3. Ábra. Az osztott látómezős paradigma idegrendszeri háttere.
2. Ábra. Szemmozgás követő rendszer.
Alanyok
A németországi kísérletben 40 felnőtt önkéntes (20 nő), míg a magyarországiban 45 felnőtt önkéntes (23 nő) vett részt. Mivel balkezes személyeknél a beszédközpont kisebb eséllyel található a balféltekében (73%), mint jobbkezeseknél (96%), a vizsgálatban kizárólag jobbkezes, anyanyelvi beszélők vehettek részt (Németországban német, Magyarországon magyar), akik semmilyen neurológiai vagy pszichiátriai kórtörténettel nem rendelkeztek. Az alanyok a kísérletben való részvételért kreditet kaptak. A vizsgálatok az egyetemek etikai engedélyeivel futottak le.
Ingeranyag
A jobbfélteke nyelvi érzékenysége miatt az ingeranyagnak számos feltételnek kellett megfelelnie. A kontextuális hatások kiszűrése érdekében a metaforikus (és szó szerinti) kifejezések önmagukban jelentek meg. A német nyelv egy különleges konstrukciója, a rendkívül szabadon kombinálható főnév-főnév összetett szavak lehetőséget biztosítottak a metaforikus kifejezések lehető legegyszerűbb, egyszavas ingerbemutatási elrendezésének létrehozására. Az összetett szavak a következő négy kategóriába tartoztak: konvencionális metaforák („székláb”), konvencionális szó szerinti kifejezések („vészjel”), újszerű metaforák („gumieskü”), és újszerű szó szerinti kifejezések („fapohár”). A szavak érzelmi töltése, felkavaró jellege illetve képszerűsége – az esetleges jobbféltekei hatások miatt – mind kontrollálva volt. A magyar nyelvű kísérlet ingeranyaga melléknév-főnév szópárokból állt, a fenti négy kategóriában (a fenti sorrendben: „ragyogó ötlet” / „fodros szoknya” / „kopott eszme” / „rajzolt hinta”), azonos pszicholingvisztikai változók mentén illesztve.
|
Konvencionális metafora
ragyogó ötlet sötét titok savanyú pofa világos beszéd zuhanó árak borús hangulat süket duma heves vita borsos összeg törékeny nő |
Újszerű metafora
csúszós téma kegyetlen épület törött pompa kopott eszme ködös parancs rideg törvény poros vers selymes homok hamvas bor pezsgő buli |
Szószerinti közeli
fodros szoknya híres festő rakott tészta havas hegy buta gyerek foltos kutya zacskós leves mérges gomba bolti lopás aszalt szilva |
Szószerinti távoli
konzerv retek földes vonat átlós födém rugós cipő bordó szentély bordás csempe forralt kóla felnőtt hangya rácsos kunyhó dohos köpeny |
1. Táblázat. Néhány példa a magyar nyelvű ingeranyagból.
Kísérleti elrendezések
Az fMRI kísérlet során a Freie Universität Berlin D.I.N.E. laborjának szkennerjében egy szemüveg-monitoron a szavakat egyesével, az agyi véráramlás dinamikájához igazítva véletlenszerűen 6-10 másodperces eltéréssel jelentek meg, 2 másodperc hosszan.
A szemmozgás-követéses kísérlet során, az osztott látómezős paradigmának megfelelően, a melléknevek középen jelentek meg (400 ms), majd rövid szünetet követően (400 ms) a főnevek a középső fixációs kereszttől véletlenszerűen jobbra illetve balra 1,6° látószög távolságra, a perifériás látómezőben villantak fel 180 ms hosszan.
Eddigi eredmények
Mindkét kísérlet meglepő eredményre vezetett. Úgy tűnik, hogy a számos pszicholingvisztikai változó kontrollálása esetén a jobbféltekei feldolgozási előny még újszerű metaforák esetében sem mutatható ki. A korábbi kutatások feltehetően nem a vizsgálni kívánt faktorok hatását mérték, hanem valamely nem kontrollált dimenziót. A jobbféltekei nyelvfeldolgozás elméletei pedig minden valószínűség szerint elsősorban nem fogalmi, hanem kontextuális szinten értelmezendőek. Továbbá a metaforikus kifejezések esetében a szemantikai távolság feldolgozása másodlagos a fogalmi két- illetve többértelműség feloldásához képest.
4. Ábra. Az újszerűség fMRI kontrasztja: konvencionális összetett szavak (meleg színek) vs. újszerű összetett szavak (hideg színek) által aktivált agyterületek.
Az fMRI kísérlet
Érdekes módon minden konvencionális főnév-főnév összetett szó bal helyett jobb temporoparietetális területeket aktivált. Ha tekintetbe vesszük, hogy a durva szemantikai kódolás elmélete [10] szerint a balféltekei finomkódolás közeli asszociációs viszonyban lévő szavaknál lép működésbe, az eredmény nem meglepő. Az összetett szavak második tagja nem közeli asszociátuma az első tagnak (például a „szék” szónak nem közeli asszociátuma a „láb”), vagyis a két szó kombinatorikus szemantikai feldolgozására volt szükség – az aktivált terültek pedig éppen effajta műveletekért is felelősek [11]. Az újszerű kifejezések elsősorban bal inferior frontális (LIFG) területeket aktiváltak, feltehetően azért, mert a két szó szokatlan összekapcsolása jelentésük finomkódolását [12] és morfoszintaktikai egyesítését [13] igényelte. A konvencionális metaforák – a konvencionális szó szerinti kifejezésekhez képest – meglepő módon szintén a LIFG területeket aktiváltak, vagyis úgy tűnik hiába konvencionalizálódnak a metaforikus kifejezések, értelmezésük így is alaposabb szemantikai feldolgozást és nagyobb erőfeszítést igényel, mint a szó szerintieké. A legérdekesebb eredmény szerint az újszerű szó szerinti kifejezésekhez képest az újszerű metaforikus összetett szavak szintén balféltekei területek aktiváltak, többek között a temporális pólust és a poszterior STS-t. Vagyis ezek a területek kizárólag a metaforikusság feldolgozásáért felelnek – és a bal agyféltekében találhatóak. A metaforikus kifejezések egyik tagjának fogalmi elemzése során a szemantikai tulajdonságok közül ki kell emelni egyet az absztrakt jelentések közül, míg számos másik konkrétat ki kell szűrni. Minden valószínűség szerint ez a magas szintű nyelvi elemzés veszi intenzíven igénybe a balfélteke nyelvi erőforrásait.
5. Ábra. A metaforikusság fMRI kontrasztjai. A, B, C kép: Minden metaforikus kifejezés (meleg színek) vs. minden szó szerinti kifejezés. D kép: konvencionális metaforák (meleg színek) vs. konvencionális szó szerinti kifejezések. E, F kép: újszerű metaforák (meleg színek) vs. újszerű szó szerinti kifejezések (hideg színek). A radiológiai konvenciónak megfelelően az agy bal oldala az ábrák jobb oldalán látható.
Az osztott látómezős kísérlet
Az eredmények szerint minden melléknév-főnév szópárt a balfélteke dolgoz fel gyorsabban és pontosabban. Vagyis a számos, a jobbfélteke számára komputációs terhet jelentő pszicholingvisztikai változó körültekintő kontrollálása esetén nem mutatható ki jobbféltekei előny a szemantikailag távoli fogalmak és az újszerű metaforák feldolgozása esetében sem. A legtöbb olyan kísérlet, amely jobbféltekei hatásokat mutatott ki, nem tette szükségessé a két szó egy új fogalmi egységgé történő összekapcsolását. A durva kódolásnál feltehetően sokkal komolyabb komputációs kihívást jelent a két szó értelmes egységgé történő integrálása, ami balféltekei erőforrásokat igényel.
Várható impakt, további kutatás
Amennyiben az eredmények további megerősítést nyernek, egy több évtizedes kutatási trendet fordíthatnak meg, mivel megkérdőjelezik a metaforák jobbagyféltekei feldolgozásának elméletét, és tovább árnyalják mind a jobbfélteke nyelvi kompetenciáiról, mind a nem szó szerinti nyelvről alkotott képünket. A metaforikus kifejezések kutatása eddig feltehetően túlságosan mélyen összefonódott a kontextuális hatásokkal, miközben olyan kulcsfontosságú szemantikai tényezők, mint az absztrakt-konkrét dimenzió, vagy kategorizációs folyamatok kevés figyelmet kaptak. Valójában ez utóbbiak kulcsfontosságúak lehetnek az agyi feldolgozás, illetve hosszabb távon a számítógépes algoritmizálás szempontjából, hiszen a kontextus számtalan jellegzetességéhez képest viszonylag jól körülhatárolható tényezők. Az eredmények jelenleg nemzetközi szaklapokban várnak publikálásra.
Saját publikációk, hivatkozások, linkgyűjtemény
Kapcsolódó saját publikációk listája.
Forgács, B., Bohrn, I., Baudewig, J., Hofmann, M. J., Pléh, Cs., & Jacobs, A. M. (submitted, under review). Neural Correlates of Combinatorial Semantic Processing of Literal and Figurative Noun Noun Compound Words.
Forgács, B., Bohrn, I., Pléh, Cs., & Jacobs, A. M. (2011). Long Distances within Single Words: Bridging the Metaphor Gap. Poster presented at the workshop on Processing and appreciating creative figurative language in Heidelberg. Heidelberg University, Németország, május 11-12.
Forgács, B. (2010). Is it really semantic distance that turns the right hemisphere on? Paper presented at the 8th International Conference on Researching and Applying Metaphor (RaAM8), Amsterdam, Hollandia, június 30 - július 3.
Forgács, B. (2010). Metaphors in Conversations: A Conceptual or a Pragmatic Trick? Poster presented at DUCOG II. (2nd Dubrovnik Conference on Cognitive Science), Dubrovnik, Horvátország, május 6-9.
Linkgyűjtemény.
http://en.wikipedia.org/wiki/Language_technology
http://en.wikipedia.org/wiki/Content_analysis#Uses_of_content_analysis
http://corpora.informatik.uni-leipzig.de/
http://w3.usf.edu/FreeAssociation/Intro.html
http://hu.wikipedia.org/wiki/Broca-ter%C3%BClet
http://en.wikipedia.org/wiki/Wernicke%27s_area
http://hu.wikipedia.org/wiki/Pragmatika
http://hu.wikipedia.org/wiki/Funkcion%C3%A1lis_m%C3%A1gneses_rezonancia-vizsg%C3%A1lat
http://en.wikipedia.org/wiki/Eye_tracking
http://www.languages-of-emotion.de/en/dine/home.html
http://en.wikipedia.org/wiki/Temporoparietal_junction
http://en.wikipedia.org/wiki/Inferior_frontal_gyrus
http://en.wikipedia.org/wiki/Temporal_pole
http://en.wikipedia.org/wiki/Superior_temporal_sulcus
Hivatkozások listája.
[1] Sperry, R. W. (1985). Consciousness, personal identity, and the divided brain. In D. F. Benson, & E. Zaidel (Eds.), The Dual Brain: Hemispheric Specialization in Humans (pp. 11-26). New York, Guilford Press.
[2] Van Lancker Sidtis, D. (2006). Does functional neuroimaging solve the questions of neurolinguistics? Brain and Language, 98, 276-290.
[3] Vigneau, M., Beaucousin, V., Hervé, P.-Y., Jobard, G., Petit, L., Crivello, F., Mellet, E., Zago, L., Mazoyer, B., & Tzourio-Mazoyer, N. (2011). What is right-hemisphere contribution to phonological, lexico-semantic, and sentence processing? Insights from a meta-analysis. NeuroImage, 54, 577–593.
[4] Weylman, S. T., Brownell, H. H., Roman, M., & Gardner, H. (1989). Appreciation of indirect requests by left and right damaged patients. The effects of verbal context and conventionality of wording. Brain and Language, 36, 580–591.
[5] Faust, M., & Chiarello, C. (1998). Sentence context and lexical ambiguity resolution by the two hemispheres. Neuropsychologia, 3, 827–83.
[6] Marinkovic, K., Baldwin, S., Courtney, M. G., Witzel, T., Dale, A. M., & Halgren, E. (2011). Right hemisphere has the last laugh: neural dynamics of joke appreciation. Cognitive, Affective, & Behavioral Neuroscience, 11, 113–130.
[7] Eviatar, Z., & Just, M. A. (2006). Brain correlates of discourse processing: An fMRI investigation of irony and conventional metaphor comprehension. Neuropsychologia, 44, 2348-2359.
[8] Schmidt, G. L., & Seger, C. A. (2009). Neural correlates of metaphor processing: The roles of figurativeness, familiarity and difficulty. Brain and Cognition, 71(3), 375-386.
[9] Giora, R. (2003). On our mind: Salience, context and figurative language. New York: Oxford University Press.
[10] Beeman, M. J. (1998). Coarse semantic coding and discourse comprehension. In Beeman, M. & Chiarello, C. (Eds.), Right hemisphere language comprehension: Perspectives from cognitive neuroscience (pp. 255-284). Mahwah, NJ: Erlbaum.
[11] Graves, W. W., Binder, J. R., Desai R. H., Conant, L. L., & Seidenberg, M. S. (2010). Neural correlates of implicit and explicit combinatorial semantic processing. Neuroimage, 53, 638-646.
[12] Jung-Beeman, M. (2005). Bilateral brain processes for comprehending natural language. Trends in Cognitive Sciences, 9(11), 512-518.
[13] Hagoort, P. (2005). On Broca, brain, and binding: A new framework. Trends in Cognitive Sciences, 9(9), 416-423.