PR

マガーク効果とは？口の動きで聞こえる音が変わる不思議な錯覚のしくみ

心理学
この記事は約11分で読めます。

はじめに

「音は耳で聞くもの」と、多くの人が当たり前のように考えています。ところが、話している人の口の動きを見るだけで、耳に届いている音そのものが別の音に聞こえてしまう現象があります。それが「マガーク効果」です。目の錯覚はよく知られていますが、目が耳をだますこの錯覚は、知っていても防げないほど強力です。

👇 本記事でわかる3つの重要ポイント 👇

  • 【テーマ1】マガーク効果のしくみと発見の歴史
  • 【テーマ2】マガーク効果が起こりやすい人・起こりにくい人の違い
  • 【テーマ3】マガーク効果を自宅で体験する方法

この記事を読めば、私たちの脳が「見る」と「聞く」をどのように組み合わせているのかがわかり、毎日の会話やテレビの見え方が少し違って感じられるはずです。まずは、有名な実験の中身から見ていきましょう。

マガーク効果とは？「バ」が「ダ」に聞こえる錯覚

マガーク効果とは、口の動き（見た情報）と声（聞いた情報）が食い違うと、そのどちらでもない第三の音が聞こえてしまう現象です。脳が目と耳の情報を自動的に混ぜ合わせているために起こります。

有名な実験：「ガ」の口に「バ」の声を重ねる

代表的な実験では、「ガ、ガ」と言っている人の顔の映像に、「バ、バ」という声を重ねた動画を見てもらいます。すると多くの人は、「ガ」でも「バ」でもなく「ダ、ダ」と聞こえたと答えます。

不思議なのは、目を閉じて同じ動画を聞くと、ちゃんと「バ」と聞こえることです。目を開けて口元を見た瞬間に、また「ダ」に戻ってしまいます。音声データは一切変わっていないのに、見るか見ないかで聞こえ方が切り替わるのです。

「融合」と「組み合わせ」という2つのパターン

マガーク効果には、大きく分けて2つのパターンがあることが知られています。

パターン 聞かせる声 見せる口の動き 聞こえ方の例
融合（ゆうごう） バ ガ ダ（第三の音に混ざる）
組み合わせ ガ バ 「バガ」「ガバ」など（両方の音が並ぶ）

1976年の最初の論文でも、声と口を逆にした組み合わせでは、多くの人が「バグバ」や「ガバ」のように聞こえたと報告されています。どちらのパターンでも、脳が目と耳の情報を「両方とも使って」答えを出している点は共通しています。

マガーク効果の発見の歴史

マガーク効果は、1976年に英国の心理学者ハリー・マガーク（Harry McGurk）と、共同研究者のジョン・マクドナルド（John MacDonald）によって報告されました。名前は発見者のマガークにちなんでいます。

赤ちゃんの研究から偶然見つかった

二人はもともと、英国のサリー大学で、乳児が言葉をどのように受け取っているかを研究していました。実験のために、話している顔の映像に別の音声を重ねたところ、本来の音とは違う音に聞こえることに気づいたといわれています。いわば、研究の準備中に見つかった「偶然の発見」でした。

この成果は、科学誌『Nature（ネイチャー）』に「Hearing Lips and Seeing Voices（唇を聞き、声を見る）」という印象的なタイトルで掲載されました。マクドナルドが2017年に書いた振り返りの論文によると、この論文は4,800回を超えて引用されており、目と耳の関係を調べる研究に大きな影響を与えています。

大人の98％が「ダ」と答えた

最初の実験では、未就学児、小学生、大人を対象に調べました。「バ」の声と「ガ」の口を組み合わせた映像では、大人の98％が「ダ」と聞こえたと答えたと、のちの研究でも紹介されています。

一方、子どもは大人ほど強く影響を受けませんでした。百科事典ブリタニカによると、10歳未満の子どもは話し言葉を聞くときに見た目の情報にそれほど頼らないため、この効果を体験しにくいとされています。成長とともに、口元の情報を使う力が育っていくと考えられます。

なぜ聞こえ方が変わるのか？脳のしくみ

マガーク効果が起こるのは、脳が「目から入った情報」と「耳から入った情報」を、聞こえとして意識される前の早い段階で一つにまとめているからです。私たちは、どこまでが目の情報で、どこからが耳の情報なのかを区別できません。

「ダ」はちょうど中間の音

なぜ「ダ」になるのかは、口の動きを考えるとわかりやすくなります。「バ」は上下の唇を閉じて出す音なので、見た目ではっきりわかります。一方、「ガ」は口の奥（のどに近い所）で作る音なので、外からはほとんど見えません。

「ガ」の口の映像を見ると、脳は「唇が閉じていないから、バではない」と判断します。ところが耳からは「バ」に近い音が届いています。この矛盾を解決するため、脳は唇を閉じずに出せて、音も比較的近い「ダ」を答えとして選ぶと考えられています。「ダ」は、舌先を歯ぐきの裏に当てて出す音で、唇と口の奥のちょうど間で作られます。

脳の「上側頭溝」が音と映像をまとめる

脳の研究では、耳の上あたりにある「上側頭溝（じょうそくとうこう）」という部分が、声と口の動きをまとめる中心の一つだと考えられています。米国の研究者ナスとボーシャンの研究（2011年）では、この部分の反応が強い人ほどマガーク効果を体験しやすいことが示されました。

さらに、磁気で脳の働きを一時的に弱める方法（経頭蓋磁気刺激、TMS）で左側の上側頭溝を刺激すると、マガーク効果が大きく減ったという報告もあります。目と耳の情報を混ぜ合わせる「交差点」のような場所が、脳の中に実際にあるということです。

知っていても防げない錯覚

マガーク効果は非常に強い錯覚で、しくみを知っていても聞こえ方はほとんど変わりません。一部の目の錯覚は、からくりがわかると見え方が変わることがありますが、マガーク効果はそうはいきません。何度体験しても、口元を見ると「ダ」に聞こえてしまうのです。

マガーク効果の起こりやすさには個人差・言語差がある

マガーク効果は誰にでも同じように起こるわけではなく、人によって、また使っている言語によって起こりやすさが大きく違うことがわかっています。

人によって大きく違う

2018年に科学誌『PLOS ONE』に掲載された研究では、グループ全体で見るとマガーク効果ははっきり再現されるものの、一人ひとりの起こりやすさには非常に大きなばらつきがあると報告されています。ほぼ毎回錯覚する人もいれば、ほとんど錯覚しない人もいます。

興味深いことに、この個人差は、一般的な認知能力や知覚能力の高さではうまく説明できないとされています。また、同じ人を何度調べても結果が似ていることから、マガーク効果の起こりやすさは、その人に比較的安定した「特徴」のようなものだと考えられています。

日本人は起こりにくい？

日本人は、英語を母語とする人に比べてマガーク効果が起こりにくいことが、積山薫さんらの研究で繰り返し報告されています。科学研究費の研究報告によると、日本人ではアメリカ人ほど強い視覚の影響が見られず、中国語を母語とする人も日本人と同じように起こりにくい傾向がありました。

2016年の熊本大学の発表では、その理由の手がかりも示されました。英語を母語とする人は、声が出る前から視線が話し手の口に集中していたのに対し、日本語を母語とする人は視線が分散し、口への集中が見られませんでした。また、英語母語の人は口の動きがあると音の判断が速くなったのに対し、日本語母語の人では逆に遅くなりました。日本人は「耳を澄ませて声を聴く」スタイルで話を聞いている、ということです。

さらに、日本人を含めて多くの人は、母語よりも外国語の音声のほうがマガーク効果が強く出る傾向があると報告されています。また、日本に長く暮らしている中国人留学生ほどマガーク効果が強いという相関も見つかっており、言葉の環境によって聞き方が変わる可能性が示されています。

雑音が多いと起こりやすくなる

耳からの情報が聞き取りにくいと、脳は目からの情報に頼る割合を増やします。そのため、音声に雑音（ノイズ）を加えるとマガーク効果は起こりやすくなり、逆に映像を見えにくくすると起こりにくくなることが、国内外の研究で確かめられています。脳は、そのときに信頼できそうな情報を重く扱っているのです。

日常に潜むマガーク効果と仲間の錯覚

マガーク効果は実験室の中だけの話ではありません。私たちは毎日の会話の中で、気づかないうちに口元の情報を使って言葉を聞いています。

騒がしい場所での会話と口元

にぎやかな店や駅のホームで話すとき、相手の顔を見ていると聞き取りやすくなった経験はないでしょうか。研究では、雑音の中でも口の動きが見えると聞き取りが良くなる「視覚による上乗せ効果」があることが知られています。マスクで口元が隠れると会話がしにくく感じるのも、この情報が使えなくなるためと考えられます。

吹き替えや音ずれの違和感

映像と音がずれた動画や、口の動きと合っていない吹き替えを見ると、なんとなく落ち着かない気持ちになります。マクドナルドも、大人が下手な吹き替えや音ずれの映像に「居心地の悪さ」を感じることに触れています。脳が目と耳の情報を合わせようとして、うまく合わないときに違和感が生まれるのです。

目と耳が影響し合う仲間の錯覚

目と耳の情報を組み合わせることを「視聴覚統合（しちょうかくとうごう）」と呼びます。マガーク効果のほかにも、次のような仲間の現象があります。

現象 何が起こるか 影響の向き
マガーク効果 口の動きによって、聞こえる音の種類が変わる 目 → 耳
腹話術効果 腹話術師の声が、人形の口から出ているように聞こえる 目 → 耳（音の場所）
音で動いて見える映像 左右の耳に交互に音を出すと、止まっている光が左右に動いて見える 耳 → 目

最後の現象は、東北大学と産業技術総合研究所などのグループが2009年に発表したものです。目が耳をだますだけでなく、耳が目をだますこともあるとわかり、目と耳がお互いに影響し合っていることがよくわかります。

英語学習への応用の試み

口元の情報が聞こえを変えるなら、それを学習に生かせないかという研究もあります。東京大学のグループは、日本人が聞き分けにくい英語の「R」と「L」の音について、口元の動きを強調した映像を加えて学ぶ方法の効果を調べています。英語のリスニングでも、音だけでなく話し手の口元を見ることにはヒントがありそうです。

マガーク効果を自宅で体験する方法

マガーク効果は、インターネット上の動画を使えば自宅で簡単に体験できます。次の手順で試してみてください。

  1. 動画サイトで「McGurk effect」または「マガーク効果」と検索し、話している顔が大きく映った実験動画を選びます。
  2. まずは画面の口元をしっかり見ながら、音を聞きます。
  3. 次に、目を閉じて同じ部分をもう一度聞きます。
  4. 最後に、もう一度目を開けて口元を見ながら聞き、聞こえ方がどう変わるかを比べます。

目を開けたときと閉じたときで音が違って聞こえたら、あなたの脳はしっかり目と耳の情報を統合しています。ただし、前に述べたように個人差や言語差が大きいため、あまり変化を感じなくても問題はありません。日本語の動画と英語の動画で比べてみるのも面白い方法です。

よくある質問

マガーク効果は誰にでも起こるのですか？

多くの人に起こりますが、起こりやすさには大きな個人差があります。ほぼ毎回錯覚する人もいれば、ほとんど錯覚しない人もいます。また、日本語を母語とする人は、英語を母語とする人に比べて起こりにくいという研究結果があります。

しくみを知っていれば、だまされなくなりますか？

ほとんど変わりません。マガーク効果は、しくみを知っていても聞こえ方が変わりにくい、とても強い錯覚です。目を閉じれば本来の音が聞こえますが、口元を見ると再び錯覚が起こります。

マガーク効果が起こらないのは、耳や脳に問題があるからですか？

起こらないこと自体は、珍しいことではありません。研究では、起こりやすさは一般的な認知能力などではうまく説明できず、人それぞれの特徴のようなものと考えられています。ただし、普段の会話で聞こえにくさを感じるなど聞こえに不安がある場合は、個人の状況によって異なるため、耳鼻咽喉科などの専門家にご相談ください。

マガーク効果は何の役に立っているのですか？

騒がしい場所など、耳からの情報が不十分なときに、口元の情報で聞き取りを助けてくれる働きがあると考えられています。マガーク効果は、普段は役に立っている「目と耳の協力」が、わざと食い違う情報を与えられたときに表に現れたものといえます。

まとめ

マガーク効果は、「ガ」の口の動きに「バ」の声を重ねると「ダ」に聞こえてしまう錯覚で、1976年にマガークとマクドナルドによって報告されました。脳は目と耳の情報を早い段階で一つにまとめているため、私たちは自分が「見て聞いている」ことに気づきません。

  • 口の動きと声が食い違うと、第三の音が聞こえることがある
  • 脳の上側頭溝などが、目と耳の情報をまとめる役割を担っている
  • 起こりやすさには個人差や言語差があり、日本人は起こりにくい傾向がある
  • 雑音が多いほど、目からの情報に頼る割合が増える

まずは実験動画を一本選び、目を開けたときと閉じたときで聞こえ方を比べてみてください。「耳だけで聞いている」という思い込みが、きっと気持ちよく裏切られるはずです。

参考リスト

スポンサーリンク
タイトルとURLをコピーしました