口は口ほどにモノを言う　～マガーク効果～

“人は見た目が9割”？

このごろ，コロナ禍でマスク着用の時間も長く続き，口元が見えないコミュニケーションにもなんとなく慣れ切ってきました。

ですが，「目は口ほどにものを言う」といったことわざにもあるように，コミュニケーションは音声情報だけで完全に行われるわけではありません。

目の動きや表情，身振りをはじめとした，身体的な動き（non-verbal）も何かを伝えるには重要な要素です。

人とコミュニケーションをするには，視覚的な情報がかなり重要なんですよね。

例えば，不機嫌な顔で「ありがとう」と言われると，言葉よりも視覚情報を優先し「この人機嫌悪いのかな」と認識してしまう，という傾向を示唆した実験もあったりします。

そんなに視覚情報が認知に影響を与えるなら常に見えていた方がいいじゃないか，と思いきや，口元の情報が誤解を生むこともあるようです。

 論文紹介

McGurk, H., & Macdonald, J. (1976). Hearing lips and seeing voices. Nature 264, 746–748.

問題の所在

人と会話をする際は，発話している人物の顔など，声以外の情報も認識できます。

そのような場合，聞き手が無意識に話し手に関する視覚情報を認知し，それが音声の聞こえ方に影響している可能性が考えられます。

今回は，話し手の発話中の口の動きが，聞き手側の発話内容の知覚にどう影響しているかを検討します。

手続き

参加者は3-4歳（幼児：21名），7-8歳（児童：28名），18-54歳（成人：54名）です。

1. 統制群：音声のみを聞く
2. 視覚聴覚群：音声と一致しない口の動きを映像で見ながら音声を聞く

のどちらかに割り振られ，どのような音が聞こえたかを答えます。

音声は[da] [ga] [pa] [ka]の4種類，音声と口の動きの組み合わせは[da-ga][pa-ka]の2種類を用いました。

結果・考察

①統制群では，どの年代でも90%以上の正答率だったにも関わらず，
②視覚聴覚群での平均正答率は，幼児：41％，児童：48％，成人：8％でした。

誤答の多くは，音声が[ba]・映像が[ga]であれば，[da]と聞こえてしまう という
音声でも映像でも提示されない「中間の音声」でした。

 

[ba]は破裂音のため，発音する際に唇どうしが触れる必要があります。しかし，映像は[ga]のため，視覚情報と聴覚情報の間に矛盾が生じます。 そこで，唇を閉じずとも発音でき，かつどちらの音にも近い中間の音[da]と認識してしまう，と考えられます。

よって，聞き手は意識せずとも唇の動きを読み取りながら音声を聞き取るため，音声知覚は視覚情報に影響されやすい可能性が示されました。また，その傾向は特に成人で顕著であることも示唆されます。

やっかいなこともある9割

口元が見えていた方が絶対にいい！というわけではないんですね。

各感覚器官から入ってくる情報が矛盾しているとき，人は視覚的な情報に引っ張られやすい，という傾向がよくわかります。個人的には，音声だけ/映像だけ　に近づくのではなく，中間の音声（daなど）を知覚するのが面白いな～と思いました。

実験で音声を認識するとき，本人はまったく無意識でも「この口の動きからはこの音声が出ることはないから…」といったかなり複雑な補完が自動的に働いていると考えると，「自分が何をどう知覚しているか」なんて全然理解できていないものだ，と感じます。

ただ，そういった自分の認知をすべて把握するのはキャパオーバーになるので，ある程度「何を認知しているか，についての認知を怠ける」ことが必要なんですね。そういう，脳の自動的なON/OFFによって，我々の日常は穏やかに成り立っています。ヒトの認知体系はうまくできているものです。

この論文，実は超絶インパクトファクターで知られる学術誌「Nature」に掲載されています！心理学だけでなく，様々な分野に示唆を与える内容であることが評価されているのでしょうか。たった３ページ？と思われる方もいるかもしれませんが，母語の違いや，音声の長さなど，後続研究によってさらに色々な可能性が示されています。気になった方はぜひ調べてみてください！