每日熱門:中科院心理所研究揭示言語理解中存在對語音信息的預測

2023-01-13 14:56:10


(資料圖)

哲學家克拉克提出,“大腦在本質(zhì)上是一個預測機器”。根據(jù)當前情境和言語信息,對將要出現(xiàn)的信息進行預測是人類重要的認知智能。在日常交流中,我們常常遇到一方話音未落,另一方已經(jīng)猜到對方想要表達什么的情況。無論是日常生活經(jīng)驗抑或?qū)嶒炞C據(jù),均表明人們能夠?qū)ρ哉Z信息進行預測。當前,關(guān)于言語預測的一個關(guān)鍵研究問題是語言預測內(nèi)容,即人們能夠預測哪些層級的語言信息。目前研究揭示,言語理解中存在對句法、語義信息的預測。但是,關(guān)于語音特征能否被預測研究較少且爭議較大。

為了考察人們在言語理解中能否預測語音信息,中國科學院行為科學重點實驗室李興珊研究組的青年特聘研究員屈青青及同事在一項最新研究中采用視覺情境眼動范式,以漢語作為研究材料,開展了兩項實驗研究。漢語可以更好地分離語音與字形信息,以考察更純凈的語音預測效應。

實驗一考察了漢語言語理解中的語義和語音預測。實驗中,被試聽到含有高預測性目標詞的句子,例如“要放學了,我把鉛筆盒和本子裝進了書包里準備回家。”在預測目標詞出現(xiàn)前2秒,屏幕呈現(xiàn)圖片刺激,圖片刺激包括一個關(guān)鍵物和三個干擾物。關(guān)鍵物包含以下條件:目標物(如“書包”)、語義相關(guān)項(如“橡皮”)、語音相關(guān)項(如“梳子”),以及作為基線條件的無關(guān)物(如“漏斗”)。在此過程中記錄被試的眼動軌跡。實驗預期,如果在預測目標詞呈現(xiàn)前,被試已經(jīng)更多注視屏幕中的語義相關(guān)項、語音相關(guān)項,表明被試預先激活了目標詞的語義和語音信息。

研究結(jié)果發(fā)現(xiàn),與無關(guān)物相比,被試更多地注視語義相關(guān)項、語音相關(guān)項。更重要的是,這種注視偏好開始于被試聽到目標詞之前(見圖1)。結(jié)果表明,被試在目標詞呈現(xiàn)之前預先激活了目標詞的語義、語音信息。實驗二采用新的實驗材料以及更短的預視時長(1秒)開展了重復性驗證實驗,結(jié)果重復了實驗一的語音預測效應。

上圖:實驗一、實驗二實驗條件下注視比例圖。藍色線表示目標物條件,黃色線表示語音相關(guān)項條件,紅色線表示語義相關(guān)項條件,灰色線表示無關(guān)物條件,橫軸表示預測目標詞呈現(xiàn)時間(時間0代表預測目標詞開始呈現(xiàn)),縱軸表示注視比例,誤差線表示標準誤;下圖:實驗一、實驗二預測時間窗口內(nèi)實驗條件生長曲線分析圖。橫軸表示預測目標詞呈現(xiàn)時間,縱軸表示經(jīng)驗邏輯轉(zhuǎn)換后注釋比例,曲線表示模型擬合情況

綜上所述,該研究考察了言語理解中的預測內(nèi)容,揭示了言語理解中對下文語義與語音信息的預測,該成果有助于加深對預測內(nèi)容與加工機制的理解,將為構(gòu)建更完整的語言理解模型提供科學證據(jù),為自然語言處理和語言類腦智能提供重要啟示。

該研究受國家自然科學基金面上項目(31771212)、中國科學院青年創(chuàng)新促進會人才項目、中國科協(xié)青年人才托舉項目、國際(地區(qū))合作與交流項目(62061136001)的資助。

該研究成果已在線發(fā)表于Journal of Experimental Psychology: Human Perception and Performance,文章的第一作者為碩士生李欣晶,通訊作者為心理所青年特聘研究員屈青青。

相關(guān)論文信息:

Li, X., Li, X., & Qu, Q.* (2022). Predicting phonology in language comprehension: Evidence from the visual world eye-tracking task in Mandarin Chinese. Journal of Experimental Psychology: Human Perception and Performance, 48(5), 531–547. https://doi.org/10.1037/xhp0000999

標簽:

關(guān)閉
新聞速遞