このサイトは、ほんの入り口です

ここにあるのは、だれかが実際に調べ、考え、作ってきたことを集めたメモです。気になったら、ページの下の「参考にした情報源」から、もとの本や記事、それを生み出した人たちに、直接ふれてみてください。このメモには書ききれないおもしろさが、そこにあります。

ことばの おとが ひとつ きえても、どうして きこえた きが するの?

咳に置きかえた音に気づかない人もいる:耳と脳が声を聞き分けるしくみ

音韻修復から声の感情認識まで:聴覚は届いていない音を補い、声から笑顔と感情を読む

分野:からだ

ことばの なかの おとを ひとつだけ、せきの おとに かえた ろくおんを きかせた じっけんが あります。この じっけんでは、20人のうち 19人が、おとが ぬけて いることに きづきませんでした[1]。

みみに とどいて いない おとが、どうして きこえた ことに なるのでしょう。この メモでは、のうが おとを おぎなう ことと、にぎやかな ところで きく こえを えらぶ ことと、こえから きもちを よみとる ことが わかります。

文の中の音をひとつだけ咳の音に置きかえた録音を聞かせると、20人のうち19人が、音が欠けていることに気づかなかった。そんな実験が紹介されています[1]。数字にすると、95%です。耳に届く音が雑音に置きかわっているのに、人はどうして、そこに音を聞いたと感じるのでしょうか。

この記事では、脳が欠けた音を補うこと、にぎやかな場所で聞きたい声を選ぶこと、声の調子から笑顔や気持ちを読み取ることが、どんな実験で調べられてきたのか、またどこまで言えるのかが分かります。

1970年のWarrenの実験を紹介した資料によれば、文中の音ひとつ(約120ミリ秒)を咳に置きかえた録音を20人に聞かせたところ、この実験では19人が音の欠落に気づかなかった(音韻修復)[1]。この数字は二次資料の紹介による。それでも、聞こえは耳に届いた音そのままではないという出発点にはなる。

この記事では、音韻修復を脳の記録から調べた2016年の研究、雑音の中で声を選ぶ「カクテルパーティー問題」、声の調子から笑顔や感情を当てる実験を、人数と条件を見ながら並べ、聴覚が音そのものにない情報までどう扱うか、その限界とともに分かる。

読み方を切り替えられます。画面の上にある「よみかた」のボタンで、小学校低学年むけ・小学校高学年むけ・中学生むけの3つの書き方に切り替わります。むずかしいと思ったら、いつでもやさしい方に戻ってください。選んだ読み方はブラウザが覚えているので、次に別の記事を開いたときも同じ読み方で始まります。

1. はなしの なかの おとが ぬけても、どうして きづかないの?

1. 咳で消した音を、人はなぜ「聞いた」と感じるのか

1. 音韻修復:欠けた音は、脳の中で補われるのか

1970年に、ウォーレンという人が じっけんを しました。ことばの なかの おとを ひとつだけ、せきの おとに かえた ろくおんを つくったのです。ぬけた おとの ながさは、0.12びょうほどと つたえられて います[1]。

きいた 20人の うち、おとが ぬけて いると きづかなかった 人は 19人でした[1]。ひゃくにんで いえば 95人ぐらいです。

これは「おんいんしゅうふく」と よばれます。ただし、ここに のせた 数字は、あとから しょうかいした しりょうに よる ものです。

では、のうの なかでは、ほんとうに ぬけた おとが つくられて いるのでしょうか。

2016年に、のうの ひょうめんに でんきを はかる どうぐを つけた 5人の きろくを しらべた けんきゅうが ありました。たんごの おとを ざつおんに かえても、みみの おくの のうの うごきは、その 人が「きこえた」と こたえた おとに ちかい ものでした[2]。けんきゅうした 人たちは、ぬけた おとが のうの なかで おぎなわれて いると かんがえました。

ちがいが わかるのは、おとが はじまって 0.15びょうほど あとでした[2]。ただし 5人の しらべですから、「みんなの のうが かならず そうだ」とまでは いえません。

1970年、Warrenは「legislatures(議会)」という英語の単語の最初の「s」の音(約120ミリ秒)を、咳の音に置きかえた録音を聞かせました。20人のうち、音が欠けていることに気づかなかったのは19人でした[1]。120ミリ秒は0.12秒、19人は95%にあたります。この数字は二次資料で紹介された値です。

この現象は「音韻修復」と呼ばれます。では、欠けた音は、頭の中の思い込みで「聞いたつもり」になっているだけなのでしょうか。それとも、脳が実際に音を作り直しているのでしょうか。

2016年の研究は、脳の表面に電極をつけた5人の記録で、これを調べました。単語の一音を雑音に置きかえても、聴覚野の活動は、本人が「聞こえた」と答えた音のほうに対応していました。論文は、聴覚野で音声の復元が起きたと解釈しています[2]。音の差が活動にはっきり表れたのは、音の始まりから約150ミリ秒(0.15秒)後です[2]。日本語の紹介記事も、聴覚野が雑音で隠れた音を、リアルタイムで補っていると伝えています[3]。

ただし、記録を取ったのは5人です。人の脳がみなこうだと言い切ることはできません。それでも、「聞く」ことが耳に届いた音の受け身の記録ではなく、脳の仕事でもあることは分かります。では、その脳は、音がたくさん重なる場所で、どうやって聞きたい音を選んでいるのでしょうか。

Warrenの音韻修復の実験では、文中の音素ひとつ(約120ミリ秒)を咳に置きかえた録音を20人に聞かせ、19人(95%)が欠落に気づかなかったとされる[1]。ただし、この数値は二次資料の紹介による。ここから問いが生まれる。これは被験者の推測による後づけの補完なのか、それとも知覚の段階で音が復元されているのか。

Leonardらは、脳表面に電極を留置した5人の記録を用い、単語の一音を雑音で置きかえた刺激を聞かせた。この5人の記録では、雑音に置きかえた音への聴覚野の活動パターンが、被験者が「聞こえた」と答えた音に対応していた。論文は、欠けた音声が両側の聴覚野で音響・音韻のレベルで復元されたと解釈している[2]。この復元の前には、左の前頭葉に特有の活動が先行していた[2]。活動の差が読み取れるのは音の始まりから約150ミリ秒(0.15秒)後で、日本語の紹介記事も、聴覚野が雑音で隠れた音をリアルタイムで補っていることと、過去の言語経験が聞き取りを変えることを伝えている[3]。

ただし、対象は5人に限られ、一般化は慎重にすべきである。それでも、聴覚が受け身の録音ではないという点は、複数の資料の読みから支えられる。では、脳が音を補う力は、音が重なった場面で、聞きたい音を選ぶ力とどうつながるのか。

2. ざわざわした ところで、じぶんの なまえだけ きこえるのは ほんとう?

2. ざわざわした場所で、自分の名前が聞こえるのは本当か

2. カクテルパーティー問題:聞きたい声を選ぶ注意と、自分の名前に気づけるか

おおぜいが はなして いる へやで、ともだちの こえだけ ききとれる ことが あります。1953年に コリン・チェリーという人は、これを「カクテルパーティーもんだい」と なづけました[4]。

チェリーは、ふたつの こえを おなじ ときに きかせて、かたほうを くりかえして もらう じっけんを しました。こえの おとこと おんな、ほうこう、たかさ、はなす はやさが ちがうと、わけやすく なりました[4]。

じぶんの なまえは、きこえやすいと いわれます。でも、1959年の モーレイの じっけんでは、きかない ほうの みみに じぶんの なまえが ながれても、きづかない 人が たくさん いました[5]。きづく 人も いましたが、かならず では ありません。

「なまえは かならず きこえる」わけでは ありません。ききたい こえを えらぶ しくみは、のうが ちゅういを むける ところと、みみから くる ところの りょうほうが はたらくと せつめいされて います[6]。

パーティー会場のように、あちこちで人が話している場所でも、目の前の人の声は聞き取れます。この問題を、Colin Cherryは1953年に「カクテルパーティー問題」と名づけました[4]。Cherryは、2つの声を同時に聞かせて片方をくり返し言ってもらう実験をして、声の性別、方向、高さ、話す速さがちがうと、聞き分けやすくなることを見ました[4]。

よく言われるのが、「騒がしい中でも、自分の名前は聞こえる」という話です。たしかに、興味のある言葉がはっきり聞き取れることはあります[6]。ところが、1959年のMorayの実験では、聞かないほうの耳に自分の名前を流しても、気づかない人がたくさんいたと、教科書的なまとめは紹介しています[5]。気づく人もいましたが、必ずではありません。

「自分の名前は必ず聞こえる」わけではないのです。大学の講義では、脳は、前頭前野からの指令(注意を向ける側)と、耳から上がってくる信号の両方で、聞く音を選んでいるとされます。視床では、アセチルコリンという物質が、信号のタイミングをそろえる役割をするという説明です[6]。これは研究段階の説明で、すべてが決まった話ではありません。

音を選んで、補って、意味を取り出す。そこまでできる耳と脳は、声から、言葉の中身以外のことも読み取っているのでしょうか。

Cherryは1953年、騒がしい環境で特定の声を追う問題を「カクテルパーティー問題」と名づけた。2つの声を同時に聞かせ、一方を聞いた直後に復唱させる(シャドーイング)実験で、話し手の性別・方向・音の高さ・話す速さが、分離のしやすさに影響した[4]。

では、聞かない側の耳に流れた情報は、まったく捨てられるのか。よく引かれるのが、自分の名前の検出である。Morayの1959年の実験では、無視すべきメッセージに自分の名前を挿入しても、気づかない人が多かったと、教科書的なまとめは伝える[5]。名前に気づく人もいたが、「名前は必ず聞こえる」とは言えない。他方で、興味のある言葉がクリアに聞き取れることはあると、大学の講義は述べる[6]。

この選択の仕組みについて、同じ講義は、脳から注意を向ける指令と、耳から届く信号が協力して音を選ぶと説明する。視床ではアセチルコリンが信号のタイミングをそろえる役割をするとされる[6]。ただし「とされる」と留保がつく研究段階の説明である。聴覚は、補い、選んでいる。では、声そのものから、人は何を読み取っているのか。

3. こえだけで、えがおか どうか わかるの?

3. 声だけで、笑顔で話しているかどうかが分かるのか

3. 笑顔は声に出る:声の高さと共鳴周波数の変化(Tartter 1980)

でんわで はなして いる 人が、わらいながら はなして いるか、わかった ことは ありませんか。

1980年に、タータという人が、6人の 話し手を つかって しらべました。えがおで はなした こえと、まじめな かおで はなした こえを きかせて、どちらかを あてて もらったのです。29この ぶんを つかいました[7]。

こたえを きいた 人は、どの 話し手でも、でたらめより ただしく あてました[7]。えがおで はなすと、こえの たかさが すこし あがって いたからです[7]。

この けんきゅうを した 人は、「えがおは、みえるだけでなく きこえる ことも ある」と かんがえました。ただし、すべての えがおが きこえるわけでは ありません。

電話の向こうの人が、笑いながら話しているのが分かった。そんな経験はないでしょうか。

1980年のTartterの実験では、6人の話し手が、同じ文29個を、笑顔で話した場合と真顔で話した場合に録音しました。それを聞いた人に、どちらかを当ててもらうと、どの話し手の声でも、偶然より正しく当たりました[7]。笑顔で話すと、声の高さ(基本周波数)や、声の響きを決める共鳴の周波数が上がっていたのです[7]。笑うと声の通り道(声道)の形が変わって、声そのものが変わる、という考え方になります。

この研究の結論は、「笑顔は、見えるだけでなく、聞こえることもある」というものです[7]。ただし、これは話し手6人の実験で、どんな笑顔でも聞き分けられるという意味ではありません。それでも、音そのものには書かれていない「笑っている」という情報を、人が声から取り出せる場合があることは分かります。

では、笑顔よりもっと複雑な気持ちはどうでしょう。知らない外国の言葉でも、声から気持ちは伝わるのでしょうか。

Tartterは1980年、6人の話し手が笑顔で話した文と真顔で話した文(29文)を、聞き手に聞き分けさせた。結果は、どの話し手でも偶然より高い正答率だった。音響分析では、笑顔は基本周波数とフォルマント(共鳴)周波数をすべての話し手で上げており、著者は「笑顔は見えるだけでなく聞こえることもある」と結論した[7]。

ここでいう声の高さの変化は、口角を引き上げるなどによる声道の形の変化に伴うものだと解釈できるが、資料の要旨はその点まで述べていない。話し手が6人、文が29文という規模も、一般化に限界がある。正答率が具体的にどれくらいかは、ここでは書かない。

聴覚が読む情報は、笑顔のような表情の痕跡から、さらに感情そのものへと広がる。次は、知らない言語の声からも、感情を読み取れるのかを見ていく。

4. しらない くにの ことばでも、こえで きもちが わかるの?

4. 知らない国の言葉でも、声で気持ちは伝わるのか

4. 声の感情認識は母語に左右されるか:子どもと大人を比べた2つの研究

2018年に、えいごを はなす 子どもと 大人 あわせて 80人が さんかした しらべが ありました。えいご、スペインご、ちゅうごくご、アラビアごの こえを きいて、おこって いるか、うれしいか、かなしいか、こわいか、ふつうかを あてます[8]。

5つの なかから えらぶので、でたらめに こたえても 5かいに 1かい、2わりしか あたりません。

けっかは、どの ことばでも、でたらめより よく あたりました。ただ、じぶんの ことばの ほうが、もっと ただしく あたりました[8]。

にほんごで おなじ けっかに なるとは、いえません。この しらべは、えいごを はなす 人たちの ものだからです。

べつの しらべでは、5さいから 17さいの 225人と 大人 30人が さんかしました。おとなに ちかい せいせきに なるのは、14さいから 15さいごろだと いう けっかでした[9]。

この ふたつの しらべでは、ねんれいや ことばに よって、あたる ようすが ちがって いました。

2018年の研究では、英語を話す子ども(8〜13歳)と大人あわせて80人が、英語、スペイン語、中国語、アラビア語の声を聞き、「怒り・喜び・悲しみ・恐れ・ふつう」のどれかを答えました[8]。5つの選択肢があるので、でたらめに答えても正解は5回に1回、20%です。

結果は、どの言語でも、偶然より正確に当たりました。ただし、母語の英語のほうが、よく当たりました[8]。日本語での紹介記事も、怒りや悲しみの認識がより正確で、青年期から成人期にかけて大きく伸びると伝えています[10]。

この研究の対象は英語を話す人たちなので、日本の子も同じとは言えません。

別の2018年の研究では、5〜17歳の225人と大人30人が、短い声から怒り・恐れ・喜び・悲しみを選びました。大人並みの成績に近づくのは、14〜15歳ごろでした[9]。この2つの課題では、年齢や言語によって成績の伸び方が異なっていました。それぞれの参加者では、声の気持ちを読む力が年齢とともに伸びることを示しています。

こうして見ると、耳と脳は、欠けた音を補い、聞きたい声を選び、声の調子から気持ちまで読んでいます。では、それを自分の声で確かめるには、どうしたらよいでしょうか。

Chronakiらは、英語を母語とする子ども(8〜10歳・11〜13歳)と大人あわせて80人に、英語・スペイン語・中国語・アラビア語の声を聞かせ、怒り・喜び・悲しみ・恐れ・ふつうを選ばせた。5択なので当て推量の正答率は20%である。結果は、すべての言語で偶然を上回り、母語(英語)の声のほうが正確だった[8]。日本語の紹介記事も、外国語でも感情が認識でき、怒りと悲しみがより正確で、青年期から成人期に認識力が大きく伸びると伝える[10]。

これは英語話者の研究であり、日本の子どもに同じ結果が出るとは書けない。

発達については、別の研究が参考になる。Grosbrasらは、5〜17歳の225人と大人30人に、短い声から怒り・恐れ・喜び・悲しみ(4択、当て推量は25%)を選ばせ、大人並みの成績に近づくのは14〜15歳ごろとした[9]。ただし、これは要旨にもとづく紹介である。2つの研究は、題材も年齢の区切りも異なるので、数値を直接比べることはできない。この2つの課題では、年齢や言語によって成績の伸び方が異なっていた。

ここまでの4つの実験を並べると、聴覚が「音そのものにない情報」を扱う場面が、補完、選択、表情、感情という順で現れる。ただし人数は、5人、20人、6人、80人と小さい。結論を広く言い過ぎないことが大切になる。

5. こえで えがおを つたえられるか、ためして みよう

5. 自分の声で、笑顔が伝わるかを確かめる

5. 笑顔の声を、家で確かめる:実験の読み方と原典

うしろを むいて もらった 家の 人に、おなじ ことばを、まじめな かおと えがおで、おなじ かいすうずつ いって みましょう。「おはよう」でも「ありがとう」でも かまいません。

たとえば まじめな かおで 2かい、わらいながら 2かい、じゅんばんを かえて いいます。うしろの 人に、どちらが わらって いたか あてて もらいます。

あたるか、はずれるか。あたった ときは、どこが ちがって きこえたか きいて みましょう。はずれても、ふつうです。

こえに でるのは、わらった ときの くちの かたちかも しれません。わからない ことは、じぶんで ためして みると おもしろく なります。

家族か友だちに、後ろを向いてもらいましょう。同じ言葉(「おはよう」「ありがとう」など)を、真顔で言うのと、笑いながら言うのを、同じ回数(2回ずつ)、順番をかえて言い、どちらが笑顔だったかを当ててもらいます。

当たったら、「どこでそう思った?」と聞いてみてください。声の高さなのか、響きなのか、口調なのか、人によって答えがちがうかもしれません。外れたとしても、1回では、何も決まりません。Tartterの実験も、6人の話し手と29文を使って、はじめて偶然より当たることを示したものです[7]。

もう一つの楽しみ方は、テレビやラジオの声を、画面を見ずに聞いて、話している人がどんな顔をしていそうかを想像することです。

この記事の数字には、二次資料の紹介によるものがあります。もっと知りたくなったら、Leonardらの論文[2]や、ChronakiらとGrosbrasらの論文[8][9]を、出典欄から開いて、実験の人数や条件を、自分の目で確かめてみてください。

確かめ方の一例を示す。家族や友人に背を向けてもらい、同じ言葉を、真顔と笑顔の両方を、同じ回数だけ、順番を入れ替えて言って、どちらかを当ててもらう。1回の的中は偶然でも起こるので、回数を重ねて、正答の割合を見るとよい。2択なら偶然の正答率は50%である。Tartterの実験が、6人の話し手と29文という規模で、偶然を上回ることを示したことと比べて、自分の結果がどう見えるかを考えられる[7]。

原典に当たるなら、まずLeonardらの論文(Nature Communications 7:13619)から入るとよい。脳表面の電極記録で、補完がどの時間にどの領域で起こるのかが書かれている[2]。ChronakiらとGrosbrasらは、ともにScientific Reports 2018年で、年齢ごとの数字は原文の本文にある。本稿では要旨と紹介記事の範囲で述べた[8][9]。

ここで見た例では、耳と脳は、届いた音をそのまま受け取るだけでなく、音を補ったり、声から情報を読み取ったりしていた。聴覚が「音そのものにない情報」を作り、選び、読む仕組みを、人数と条件に注意して読むことが、次の研究への入り口になる。

しらべた もとの じょうほう

参考にした情報源

参考にした情報源と、その使い方

数字や人数は、下の資料にある内容をまとめたものです。二次資料の紹介による数字は、本文でもそう書きました。

  1. Wikipedia, Phonemic restoration effect(Warren 1970 の紹介)https://en.wikipedia.org/wiki/Phonemic_restoration_effect (咳に置きかえた音の実験の紹介)
  2. Leonard, M. K. ほか, Nature Communications 7:13619, 2016 https://pmc.ncbi.nlm.nih.gov/articles/PMC5187421/ (脳表面の記録による補完の確認)
  3. Nature Asia ハイライト https://www.natureasia.com/ja-jp/research/highlight/11492 (上の研究の日本語での紹介)
  4. Wikipedia, Cocktail party effect(Cherry 1953 の紹介)https://en.wikipedia.org/wiki/Cocktail_party_effect (カクテルパーティー問題の名づけと実験)
  5. CUNY, Sensation and Perception, Selective Attention https://pressbooks.cuny.edu/sensationandperception/chapter/selective-attention/ (Moray 1959 の名前の実験の紹介)
  6. 創価大学 川井秀樹教授の講義(telemail 進学情報)https://telemail.jp/shingaku/academics-research/lecture/g015292 (音を選ぶ仕組みの説明)
  7. Tartter, V. C., Perception & Psychophysics 27:24-27, 1980 https://link.springer.com/article/10.3758/BF03199901 (笑顔の声の実験の要旨)
  8. Chronaki, G. ほか, Scientific Reports 8:8659, 2018 https://cris.maastrichtuniversity.nl/en/publications/the-development-of-cross-cultural-recognition-of-vocal-emotion-du/ (4つの言語の声から感情を当てる実験)
  9. Grosbras, M.-H., Ross, P. D., Belin, P., Scientific Reports, 2018 https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6172235/ (5〜17歳の声の感情認識の発達)
  10. Nature Asia ハイライト https://www.natureasia.com/ja-jp/research/highlight/12557 (Chronakiらの研究の日本語での紹介)

なおした ところ

更新履歴

更新履歴(改版の記録)

  •  初版を公開。

このサイトでは、公開した記事の本文は原則として書き直しません。誤りが見つかったときや、内容が古くなったときだけ手を入れ、その理由をこの欄に残します。