1. 「こうしょう」は いくつ あるの?
1. 48語から、人はどうやって迷わず読んでいるのか
1. 48語の同音異義語を、人はなぜ迷わず読めるのか
「こうしょう」と 読む 言葉は、日本語の 中でも とくに 多い ほうだ と いわれます。「スーパー大じりん3.0」という 辞書では 48こ。辞書が かわれば、数も かわります[1]。
でも、私たちは ふだん まよいません。「あしたの 交渉」と あれば 話し合いの こと、「校章を つける」と あれば 学校の しるしの こと、と すぐ 分かります。
ある 研究では、前後の 文が その 言葉に 合って いれば、同じ 音の なかまが 多くても 少なくても、ふつうの 言葉と 同じように すらすら 読めた、と 報告されて います[2]。人は、言葉を ひとつだけ 見て いるのでは なく、まわりの 文ごと 見て いるのです。
では、機械は どうでしょう。じつは、機械にも 同じ なやみが ありました。
辞書で「こうしょう」を引くと、『スーパー大辞林3.0』では48語が見つかります。交渉、考証、高尚、公証、校章などで、同音異義語がもっとも多い熟語の一つとされています。数え方は辞書によって変わります[1]。
それなのに、「あしたの交渉」と書いてあれば、私たちは話し合いのことだと分かります。「校章をつける」なら学校のしるしです。日本語の読解を調べた実験では、意味に合う文脈があれば、同音異義語は仲間の数が多くても少なくても、ふつうの語と同じように円滑に処理されたと報告されています[2]。
人は一語だけを見て選んでいるのではなく、前後の文を手がかりにしています。この「文脈で選ぶ」という考え方を、機械にやらせようとした人たちがいました。
辞書を引くと、『スーパー大辞林3.0』では「こうしょう」に48語が当たる。交渉、考証、高尚、公証、校章などだ。数え方は辞書によって違う[1]。
これほど候補があっても、人は「あしたの交渉」と読めば迷わない。水野・松井(2018)は日本語の同音異義語の処理を調べ、意味に合う適切な文脈があれば、仲間(同音語)の多少にかかわらず、同音異義語でない語と同じように円滑に処理されると報告した[2]。ここから、同音語の多さそのものが問題なのではなく、文脈を使えるかどうかが効いている、と読める。ただし、これは人の読解の実験であり、機械の仕組みがこれと同じだと示す結果ではない。
それでも、「人は文脈で選ぶ」という事実は、機械に同音語を選ばせる方法を考えるときの出発点になった。では、最初にそれを機械にやらせた開発現場では、何が起きていたのか。
2. 一ばん さいしょの ワープロは、どう えらんだの?
2. 最初の日本語ワープロは、いちばんの難問をどう解いたのか
2. JW-10の開発で、同音異義語の選択はなぜ最大の課題だったのか
1978年、東芝が 日本語ワープロの 1ごうき 「JW-10」を 発表しました。売り出しは、その 次の 年の 1979年です[3]。
ひらがなで 打った 文を、あとから 漢字まじりの 文に かえる しくみでした。作る ときに いちばん むずかしかった ことは、同じ 読みの 漢字を どれに するか、でした[4]。
そこで 作った 人たちは、前後の 文と、よく 使う 度合いなどを 手がかりに する やり方に 決めました[4]。辞書には 8万語まで 入れられ、よく 使う 度合いは、使う 人ごとに べつべつに 数えて いました[5]。
人が 文を 読む とき 使う 手がかりを、機械にも 持たせようと した、と いえそうです。
1978年9月、東京芝浦電気(いまの東芝)が、日本語ワードプロセッサの第1号機「JW-10」を発表しました。発売は翌1979年です[3]。
かなで打った文を、あとから漢字まじりの文に変えるのが、この機械の仕事でした。その開発でいちばん難しかったのが、同じ読みをもつ漢字をどれにするか、つまり同音異義語の選択だったと、IPSJコンピュータ博物館の資料にあります。最終的には、文の文脈と使用頻度などをもとにする方式に決まりました[4]。
辞書は最大8万語まで持てました。よく使う度合いである使用頻度は、利用者ごとに別々に管理されていました。同音語の選び方には「一括選択」と「逐次選択」という2つの方式が用意され、開発には東芝の森健一さんらが関わっています[5]。
では、文脈と頻度は、具体的にどんな計算になっていたのでしょうか。細かい計算式は、いま見られる資料には出てきません。それでも、人が文を読むときの手がかりを、機械に持たせようとしたことです。
東京芝浦電気(現・東芝)は1978年9月、日本語ワードプロセッサの第1号機JW-10を発表した。発売は翌1979年である[3][4]。
この機械は、かなで打った文を後から漢字まじりの文に変換する。難しかったのは、日本語には同じ読みの語がきわめて多いことだ。IPSJコンピュータ博物館の資料は、開発でもっとも難しい課題が同音異義語の選択だったとし、最終的に文の文脈と使用頻度などをもとにする方式に決めたと述べる[4]。
仕様にも、その考え方が表れている。辞書は最大8万語まで持て、使用頻度は利用者ごとに別管理された。同音語の選び方には「一括選択」「逐次選択」の2方式があった[5]。頻度を利用者ごとに管理したのは、人によって使う言葉が違うことへの対応と考えられる。開発には東芝の森健一氏らが関わった。
JW-10の方式を、現在の統計的な変換と同じものとみなすことはできない。それでも、「前後の文」と「よく使われるか」という、人が使う2つの手がかりを最初から取り入れたことだ。では、なぜ日本語にはそこまで同音語が多いのか。
3. どうして 同じ 音の 言葉が こんなに 多いの?
3. 日本語には、なぜ同じ音の言葉がこんなに多いのか
3. 同音異義語が漢語に多いのは、なぜだと説明されているか
同じ 音の 言葉が 多いのは、とくに 中国から 来た 言葉に 目立つ、と いわれます。理由として、ふたつ あげられて います[1]。
ひとつは、もとの 中国語では 声の 高さや 上げ下げで 言葉を くべつ して いたのに、日本語に 入ると その くべつが なくなって、同じ 音に なった こと。もうひとつは、日本語に 入って から、音が 少しずつ かわり、べつべつだった 音が 同じに なった こと。たとえば 「しゅうしゅう」「しょうしょう」「そうそう」と 読まれる ように なった 言葉が あげられて います。
これは 本に のって いる 説明で、くわしい わけは、これからも しらべる 人が いる ところです。
同音異義語が多いのは、特に漢語だとされます。理由としては、大きく2つが説明されています[1]。
1つめは、中国語では声調(声の高低や上げ下げ)で区別されていた語が、日本語に入ると区別されなくなり、同じ音になったことです。2つめは、導入後に日本語の音が変化して、もとは別の音だった語が合流したことです。例として、収集・少将・葬送が、「しゅうしゅう」「しょうしょう」「そうそう」と読まれるようになったことが挙げられています。
つまり、日本語には、漢字で書き分けることを前提に、同じ音の言葉が増えていった面があります。紙の上なら字で区別できますが、かなで打つだけの入力や、声だけの会話では、その手がかりがありません。そこで、機械は別の手がかりを探すことになります。
同音異義語が多い理由は、とくに漢語について、次の2点で説明されている[1]。第一に、中国語では声調によって区別されていた語が、日本語に取り入れられると声調の区別を失い、同じ音になった。第二に、導入後の音の変化によって、もとは別の音だった語が合流した。収集・少将・葬送が、それぞれ「しゅうしゅう」「しょうしょう」「そうそう」と読まれるようになったことが例に挙げられる。
この説明は二次資料(百科事典)に拠るもので、個々の語について音の変化を一つずつ追った研究に当たったものではない。そのため、「〜とされる」という強さで受け取るのが妥当だ。
注目したいのは、この性質が入力方法と相性が悪いことだ。漢字を使えば字形で書き分けられるが、かなやローマ字で打つとき、あるいは声で話すときは、手がかりが音だけになる。かな漢字変換や音声認識が同音語の選択をひとつの中心課題としてきたのは、このためと考えられる。では、いまの変換は何を手がかりにしているのか。
4. 今の パソコンは、何を 見て えらぶの?
4. 変換ソフトは、文章の統計で候補の順番を決めているのか
4. 統計的かな漢字変換は、JW-10の考え方をどう引きついでいるのか
今の 入力ソフトには、たくさんの 文を 使って 作った 辞書を もつ ものが あります。たとえば Google日本語入力は、ウェブの 文章から 自動で 辞書を 作り、新しい 言葉や 人の 名前に 強い、と 紹介されて います[6]。
大きな 文の たばを 使って、どの 言葉が よく 使われるかを 統計で 数え、候補の 順番を 決める、と いう 考え方です。
2011年に 出た ものには、同じ 音の 言葉が いくつも あるとき、意味と 使い方の れいを 画面に 出す はたらきも くわわりました[7]。機械が えらぶだけでなく、まよった 人にも 意味を 見せて くれるのです。
1978年の 考え方は、パソコンで 漢字を 打つ ときの わざに 受けつがれた、と 資料は つたえて います[4]。
いまの変換ソフトの一つ、Google日本語入力(Mozc)は、ウェブの文章から自動で作った辞書を使っています。新しい言葉や専門用語、固有名詞に強いと説明されています。開発者の工藤拓さんらは、2011年の学会発表で、ウェブの大量の文章を使った統計的なかな漢字変換として、文節の区切り方や候補の並べ方、副作用の少ない学習のしかたを論じています[6]。
むずかしく聞こえますが、考え方は、大量の文章での言葉や言葉の並びの出やすさを、候補の順位に生かすことだと考えられます。
同じ2011年版には、同音異義語が複数あるとき、意味と用例をポップアップで見せる機能も加わりました[7]。機械がまず選び、迷う人には意味を見せる。選ぶ仕事を人と分け合う形です。JW-10で培われた技術は、その後のパソコンに広がったとIPSJの資料は述べています[4]。
では、文字ではなく声のときは、どうなるのでしょうか。
JW-10から約30年後の2011年に、工藤拓らは統計的かな漢字変換システムMozcを言語処理学会で報告した。Webから集めた文章(コーパス)を使い、文節分割、N-best候補の表示、副作用の少ない学習機能などを論じた内容だ。具体的な計算の中身は、ここでは扱わない[6]。
言い換えれば、この2011年時点のGoogle日本語入力(Mozc)は、Webの文章から自動で作った辞書をもち、新語・専門用語・固有名詞に強いと説明されていた。文脈と頻度という2つの手がかりを、大量の文章から数えた統計で表す方向に進んだ、とまとめるのが無理のない読み方だ。
2011年版では、変換候補に同音異義語が複数あるとき、その意味と用例をポップアップ表示するヘルプ機能も加わった[7]。機械の選択が常に正しいとは限らないことを前提に、最後の判断を使う人に返す工夫だ。IPSJの資料は、JW-10で培われた技術が標準化され、日本語を多くのコンピュータで扱えるようにしたと述べる[4]。ただし、携帯電話などへの継承は原文で確かめていないので、ここでは言わない。では、声のときは。
5. 声を 聞き取る ときも、同じように えらぶの?
5. 声を文字にするとき、似た音の文はどう見分けられるのか
5. 音声認識は、音の得点と文の得点をどう組み合わせるのか
声を 文字に する しくみも、にた 音の 候補から ひとつを えらびます。ここでも 手がかりは、「文として もっともらしいか」です。
英語の れいで 考えます。「recognize speech」(声を 聞き取る)と 「wreck a nice beach」(すてきな はまを こわす)は、音が にて います。ある 解説サイトでは、音だけで 見ると 後の ほうが ほんの 少し 高い 点数に なる、と 数字で 出して います。それでも、文として もっともらしいのは 前の ほうなので、前の 文が えらばれます[8]。
この 数字は 説明の ための れいで、本当に はかった 数では ありません。音と 文、ふたつの 点数を 合わせて、いちばん 高い ものを えらぶ、という 考え方が わかれば 十分です。
音声認識では、聞こえた音がどれだけ合うかを表す「音響モデル」の得点と、文としてどれだけもっともらしいかを表す「言語モデル」の得点を掛け合わせ、いちばん大きくなる単語の並びを選びます。解説サイトでは、英語の「recognize speech」(声を認識する)と「wreck a nice beach」(すてきな浜を壊す)が例に出ています[8]。
2つは音がとても似ていて、音だけの得点では、後者が0.88対0.85でわずかに高くなります。しかし、言語モデルは「recognize speech」のほうに高い確率を与えるため、掛け合わせた結果は前者が上になり、前者が選ばれます。この数字は説明のための例で、実際に測った値ではありません。
日本語の同音異義語でも、考え方は同じです。音だけで決まらないとき、どちらが文としてありそうかを、もう一つの得点として組み合わせます。かな漢字変換と音声認識は、別の道具のようでいて、「音が同じなら文脈で選ぶ」という根っこを共有しています。
では、この考え方を、私たち自身の手で確かめるには、何を見ればよいのでしょうか。
音声認識では、デコーダが音響モデルと言語モデルの両方の証拠を比べ、もっとも確からしい書き起こしを選ぶ。音響モデルの得点は「その音がどれだけ合うか」、言語モデルの得点は「文としてどれだけもっともらしいか」を表し、両者を掛け合わせて最大になる単語列が選ばれる[8]。
解説サイトの例では、「recognize speech」と「wreck a nice beach」は音が似ている。音響得点だけなら後者が0.88、前者が0.85とわずかに高い。ところが、言語モデルが前者に高い確率を与えるため、掛け合わせると前者が上回る。この数値は説明用の例示で、実測値ではなく、英語の例でもある。そのまま日本語の変換に当てはめることはできない。
それでも、日本語の同音語の選択と共通する構造は読み取れる。音(読み)が同じ、または似ているとき、候補の中から決め手になるのは、文脈にどれだけ合うかという別の得点だ。かな漢字変換が1978年にすでに文脈と使用頻度を取り入れていたこと、人が文脈で同音語を読み分けること(水野・松井)、そして音声認識が言語モデルを使うことは、別々の分野で同じ考え方が使われている例といえる。ただし、実際の計算が互いに同じとは限らない。
6. 自分の パソコンで、まよう ところを 見てみよう
6. 次に「こうしょう」と打つとき、画面で何を見るか
6. 変換候補の並びから、機械の「手がかり」を観察する
おうちの 人と いっしょに、パソコンや タブレットで ためせます。
やってみよう。「こうしょう」とだけ 打って、候補が いくつ 出るか 数えてみます。ソフトに よって 数は ちがいます。次に 「ねだんの こうしょう」「しゃしんの こうしょう」 のように 前に 言葉を つけて、いちばん 上に 出る 言葉が かわるか 見ます。
かわったら、パソコンが 前の 言葉を 手がかりの ひとつに しているのかも しれません。かわらなかったら、どんな 言葉を 前に つければ かわるのかを、さがしてみましょう。
家に 国語辞典が あれば、「こうしょう」の ページを ひらいて、何こ のって いるかも 数えられます。
家のパソコンやタブレットで、次のことを試せます。
まず、「こうしょう」とだけ打って、候補がいくつ出るか数えます。候補の数や並び順はソフトによって違い、辞書の48語とも一致しないはずです。次に、「値段のこうしょう」「資料のこうしょう」のように前に言葉をつけて変換し、先頭の候補が変わるかを見ます。変わったなら、ソフトが前の言葉を手がかりの一つにしているようです。
変わらない組み合わせもあります。どんな前置きなら変わるのかを探すのは、機械の「手がかり」を探ることでもあります。家に国語辞典があれば、「こうしょう」の項目を開いて、載っている語の数を数えて比べてみてください。
もっと知りたくなったら、JW-10を紹介したIPSJコンピュータ博物館のページ(英語)が原典の一つです。ただし、この記事を読むだけなら英語の資料は要りません。
観察は、家のパソコンでできる。「こうしょう」とだけ打ち、候補の数と並びを記録する。次に「値段の」「資料の」などの前置きを付けて変換し、先頭の候補が変わるかを調べる。変わるなら、ソフトが直前の語を手がかりの一つにしているようだ。変わらない組み合わせがあるなら、どんな語が手がかりとして強いのかを自分で探せる。
また、同じ読みを別のソフトや、辞書の見出しと比べると、数が揃わないことに気づく。辞書の48語は一つの辞書の数え方であり、変換ソフトの候補は辞書とは別に、文章から数えた頻度で並ぶ。記録を残すと、「同じ音の言葉が何語あるか」自体が、数える基準で変わることが分かる。
原典に当たるなら、IPSJコンピュータ博物館のJW-10の解説(英語)、水野・松井(2018)の論文、工藤らのMozc発表が出発点になる。英語の資料は出典欄に挙げるにとどめ、読めなくても、この記事の範囲は追える。
しらべた もとの じょうほう
参考にした情報源
参考にした情報源と、その使い方
出典について:百科事典、博物館の資料、論文の概要、報道、解説サイトを使った。工藤らの発表は紹介文の範囲で、PDF本文は読めていない。英語の資料は出典欄にだけ挙げた。何に使ったかは、それぞれの項目の最後に書いている。
- Wikipedia「同音異義語」。https://ja.wikipedia.org/wiki/%E5%90%8C%E9%9F%B3%E7%95%B0%E7%BE%A9%E8%AA%9E (「こうしょう」の語数と、同音語が多い理由。二次資料)
- 水野・松井(2018)『認知心理学研究』15巻2号 pp.31-38。https://www.jstage.jst.go.jp/article/jcogpsy/15/2/15_31/_article/-char/ja (文脈があれば同音異義語が円滑に処理される実験)
- 現代ビジネス「初の日本語ワープロが完成(1978年)」。https://gendai.media/articles/-/57588 (JW-10の発表日・価格・発売年。発売月は資料でずれる)
- IPSJコンピュータ博物館「JW-10」(英語)。https://museum.ipsj.or.jp/en/heritage/jw_10.html (最大の課題が同音語の選択だったこと、文脈と使用頻度の方式)
- IPSJコンピュータ博物館「かな漢字変換」(英語)。https://museum.ipsj.or.jp/en/computer/word/0049.html (辞書の大きさ、頻度の別管理、選択方式)
- 工藤ほか「統計的かな漢字変換システム Mozc」言語処理学会2011。https://www.anlp.jp/proceedings/annual_meeting/2011/pdf_dir/C4-3.pdf (Web文章による辞書と統計的変換。紹介文で内容を把握した)
- 窓の杜「Google日本語入力」ニュース。https://forest.watch.impress.co.jp/docs/news/481372.html (同音異義語の意味と用例を表示する機能)
- apxml「How language models improve accuracy」(英語)。https://apxml.com/courses/introduction-to-speech-recognition/chapter-4-language-modeling/how-language-models-improve-accuracy (音響モデルと言語モデルの得点の組み合わせ。数値は例示)
なおした ところ
更新履歴
更新履歴(改版の記録)
- 初版を公開。
このサイトでは、公開した記事の本文は原則として書き直しません。誤りが見つかったときや、内容が古くなったときだけ手を入れ、その理由をこの欄に残します。