スマホの キーボードで、文字を うちはじめると、つぎに くる ことばの こうほが 出て くる ことが ありますね。文章を つくる AIは、あれを ものすごく かしこく した ものだと おもって ください。

インターネット上の たくさんの 文章を 読んで、「この ことばの あとには、こういう ことばが つづく ことが 多い」という パターンを おぼえます。そして、いま までの ぶんしょうに つづく、いちばん それらしい ことばを、1こずつ つぎつぎに えらんで いくのです［1］。

予測変換のもっと賢いもの

スマホのキーボードで文字を打ちはじめると、つぎに来る言葉の候補が出てくることがありますね。文章を作るAIは、あれをものすごく賢くしたものだと考えてください。

2017年に生まれた新しい仕組み

インターネット上の膨大な文章を読みこみ、「この言葉のあとには、こういう言葉が続くことが多い」というパターンを学習します。そして、それまでの文章に続く、もっともそれらしい言葉を、1つずつ順番に選んでいくことで、文章全体を作り出しています。このしくみは、2017年にGoogleの研究者たちが発表した「Transformer」という技術を使っています。文中のどの言葉とどの言葉が関係しているかを見わける「Attention（注意）」という仕組みによって、離れた場所にある言葉どうしの関係もうまくとらえられるようになりました［1］。

スマートフォンの予測変換を、けた違いに高度にしたものが、文章生成AIの基本的な仕組みです。インターネット上の膨大なテキストデータを学習し、「ある言葉の並びのあとに、どの言葉が続く可能性が高いか」を確率として推定し、その確率にもとづいて言葉を1つずつ選択していくことで、文章全体を生成しています。

この仕組みには、2017年6月12日にGoogleの研究者らが発表した論文「Attention Is All You Need」で提案された「Transformer」という深層学習モデルが使われています。Transformerの核となる「Attention（注意機構）」は、文中の各単語が、離れた位置にある他の単語とどれだけ関連しているかを重みづけして計算する仕組みです。これにより、離れた場所にある関連語どうしの関係もとらえやすくなりました。ただし、一度に扱える文章の長さには限りがあります［1］。

2017年に Transformerと いう ぎじゅつが 生まれたあと、 この しくみを つかった AIが、どんどん つくられました。

2022年11月30日、「ChatGPT」という サービスが 世の中に 出されると、だれでも かんたんに つかえる ことから、 世界中で いっきに ひろまりました［2］。

GPTシリーズの積み重ね

2017年にTransformerという技術が生まれたあと、この仕組みを使ったAI「GPT」シリーズが、少しずつ規模を大きくしながら作られていきました。

2022年、ChatGPTが世界に広まった

2022年11月30日、GPT-3.5という言語モデルをもとにした「ChatGPT」というサービスが公開されると、専門知識がなくても会話するように使えることから、わずか数日でユーザー数が100万人を超え、世界中で一気に広まりました［2］。

Transformerが発表されたあと、この仕組みをもとに作られた「GPT（Generative Pre-trained Transformer）」シリーズが、OpenAIによって開発されました。学習データの規模とモデルの大きさを段階的に拡大しながら、GPT、GPT-2、GPT-3と改良が重ねられました。

2022年11月30日、GPT-3.5を基盤とする対話型サービス「ChatGPT」がプロトタイプとして公開されました。教師あり学習に加え、人間の評価者がAIの答えを比べてどちらがよいかを評価し、その結果を使ってAIの答え方を調整するという、人間のフィードバックを取り入れた訓練も行われています。この使いやすさが評価され、公開から数日でユーザー数が100万人を突破し、急速に普及しました［2］。

テレビの ざらざらした「ざつおん」の がめんを 見た ことが ありますか。絵を つくる AIは、あの ざつおん（ノイズ）だらけの がめんから スタートします。

そして、すこしずつ ノイズを けして いくと、さいごには ちゃんとした 絵に なるのです。どんな 絵に すればよいかは、 「ねこの絵」のような 文章の しじで きめます ［3］。

まっさらなノイズから始まる

テレビの砂嵐のような、ざらざらしたノイズ画面を見たことがあるでしょうか。絵を作るAI（拡散モデル）は、あのノイズだらけの画像からスタートします。

少しずつノイズを消していく

そこから、少しずつノイズを取り除いていくと、最後にはちゃんとした1枚の絵になります。どんな絵にするかは、「ねこの絵」のような文章の指示によって決められます［3］。

このAIは、学習のときには逆のことをしています。もとになる本物の写真やイラストに、少しずつノイズを加えていき、「どれだけノイズが加わったか」を正しく言い当てられるように練習します。この練習によって、ノイズを取りのぞく方向を正しく判断できるようになるのです［3］。

画像生成AIの多くは「拡散モデル（ディフュージョンモデル）」という手法にもとづいています。生成のプロセスは、ランダムなノイズ画像から始まり、そこから段階的にノイズを除去していくことで、最終的に1枚の画像を作り出します。どのような画像を生成するかは、テキストプロンプト（指示文）によって条件づけられます［3］。

学習の段階では、この逆の過程が使われます。実在する画像に対して段階的にガウス雑音（ノイズ）を加えていく「順方向拡散過程」を設定し、ニューラルネットワークに、画像に加えたノイズを予測させる訓練を行います。この訓練で、モデルは画像に加わったノイズを予測できるようになります。その予測を使って、生成時にはランダムノイズから段階的にノイズを取り除き、画像を作り出します［3］。

2022年4月、「DALL-E 2」という 絵を つくる AIが、 アメリカの OpenAIという 会社から 出されました ［4］。

そして 2022年8月には、だれでも つかいやすい「Stable Diffusion」という べつの 絵せいせいAIも 出され、絵を つくる AIが 一気に みぢかな ものに なりました［5］。

OpenAIの「DALL-E 2」

2022年4月6日、絵を作るAI「DALL-E 2」が、ChatGPTと同じアメリカの会社OpenAIから発表されました［4］。

だれでも使える「Stable Diffusion」

そして2022年8月には、Stability AIが大学の研究グループなどと共同で「Stable Diffusion」という画像生成AIを公開しました。仕組みを広く公開したことで、多くのサービスやアプリに組みこまれ、画像生成AIが一気に身近なものになりました［5］。

2022年4月6日、OpenAIは画像生成AI「DALL-E 2」を発表しました。テキストの特徴と画像の特徴を対応づけるCLIPというモデルを組みこんだ拡散モデルを採用しており、テキストプロンプトの内容に忠実な画像を生成できることが特徴でした［4］。

同年8月には、Stability AI、CompVis（ミュンヘン大学）、Runwayが共同で「Stable Diffusion」を公開しました。画像を低次元の潜在空間へ圧縮してから拡散処理を行う「潜在拡散モデル（LDM）」という手法を採用することで計算量を大幅に削減し、モデルの重み自体を公開したことで、個人のパソコンでも動かせる画像生成AIとして急速に普及しました［5］。

せいせいAIが かしこく なるには、ものすごい 数の 文章や 絵を 「読んで」 おぼえる ひつようが あります。この りょうが おおいほど、いろいろな パターンを おぼえられます。

そのあと、人間が AIの こたえを 見て、「これは いい こたえ」 「これは よくない こたえ」と てんすうを つけて、もっと じょうずに こたえられるように そだてて いきます ［2］。

まず、大量のデータを読みこませる

生成AIが賢くなるには、ものすごい数の文章や画像を学習する必要があります。学習するデータの量が多いほど、より多くのパターンを身につけられます。

そのあと、人間が評価して調整する

ただし、量をこなしただけでは終わりません。そのあと、人間の評価者がAIの答えを見て、「これは良い答え」「これは良くない答え」とランクをつけ、そのランキングをもとにAIをさらに調整する、という工程が加えられます。この工程によって、AIはより役に立つ答えを返せるように育てられていきます［2］。

生成AIの性能は、学習に使うデータの量と質に大きく左右されます。インターネット上の膨大なテキストや画像を使った「事前学習」によって、言語や画像の幅広いパターンを獲得します。

しかし、事前学習だけでは、有害な内容や不適切な受け答えをしてしまうことがあります。そこで、人間の評価者がモデルの応答をランク付けし、そのランキングから「報酬モデル」を作成し、強化学習（Proximal Policy Optimizationという手法など）によってモデルをさらに調整する「人間のフィードバックによる強化学習（RLHF）」という工程が行われます。この工程によって、モデルはより自然で、指示に忠実な応答を返せるようになります［2］。

せいせいAIは、「つぎに くる ことばとして それらしい もの」を えらんで いるだけで、その ことが ほんとうに 正しいかを しらべて いるわけでは ありません。

だから、じしんまんまんな 言い方で、まちがった ことを こたえて しまう ことが あります。これを「ハルシネーション」 と よびます［6］。だいじな ことは、 せいせいAIの こたえだけで しんじずに、もとの しりょうで たしかめる ことです。このサイトの きじも、そう やって つくられて います。

「それらしさ」と「正しさ」は別物

生成AIは、「つぎに来る言葉として、それらしいもの」を選んでいるだけで、その内容が本当に正しいかどうかを確認しているわけではありません。

自信満々に間違える「ハルシネーション」

そのため、自信満々な言い方で、事実とは違うことを答えてしまうことがあります。これを「ハルシネーション」と呼びます［6］。文章が長くなるほど、小さな間違いが積み重なっていくこともあります。大事なのは、生成AIの答えだけを信じず、もとになる資料で確かめることです。このサイトの記事も、そうやって作られています。

文章生成AIは、直前までの文脈をもとに、統計的にもっともそれらしい言葉を選び続けているだけで、その内容が事実と一致しているかを検証する機構を内部に持っているわけではありません。

そのため、生成AIは、事実に反する内容を、確信度の高い自然な文章として生成してしまうことがあります。この現象は「ハルシネーション」と呼ばれます。生成AI自身が生成した単語列に基づいて次の単語を予測するため、応答が長くなるほど誤りが連鎖的に積み重なっていく可能性も指摘されています［6］。このサイトの記事も生成AIの力を借りて書かれているため、事実確認のための検索・出典の確認を工程に組みこんでいます。

スマホや パソコンの せいせいAIサービスは、多くが 大人と いっしょに つかう ことに なって います。おうちの 人と そうだんして みましょう。

きょう できる こと

• 予そくへんかんを かんさつして みる。 スマホの キーボードで、つぎに どんな ことばが すすめられるか、おうちの人と いっしょに ためして みましょう。
• ハルシネーションを さがして みる。 せいせいAIが こたえた ことを、べつの しりょうで ほんとうか たしかめて みましょう。

スマホやパソコンの生成AIサービスの多くは、年齢制限や保護者の同意が必要です。使うときはおうちの人と相談しましょう。

今日できること

• 予測変換を観察してみる。スマホのキーボードで、つぎにどんな言葉が候補として出てくるか、おうちの人といっしょに試してみましょう。
• ハルシネーションを探してみる。生成AIが答えたことを、別の資料（辞典や公式サイトなど）で本当かどうか確かめてみましょう。

生成AIサービスの多くは年齢制限が設けられており、利用規約を確認し、必要であれば保護者の同意を得て利用してください。

一次情報にあたる

「Attention Is All You Need」の原論文や、各企業の技術ブログは、専門用語こそ多いものの、図解が豊富で仕組みを追いやすいものがあります。興味があれば、日本語の解説記事と見比べながら読んでみてください。

手を動かして確かめる

• 同じ質問を何度か投げかけてみる。生成AIに同じ質問を何度か投げかけて、答えがどれくらい変わるかを比べてみましょう。「もっともらしい予測」を積み重ねている以上、まったく同じ質問でも答えが変わることがある、という性質を実感できるはずです。