スマホの キーボードで、文字を うちはじめると、つぎに くる ことばの こうほが 出て くる ことが ありますね。文章を つくる AIは、あれを ものすごく かしこく した ものだと おもって ください。

インターネット上の たくさんの 文章を 読んで、「この ことばの あとには、こういう ことばが つづく ことが 多い」という パターンを おぼえます。そして、いま までの ぶんしょうに つづく、いちばん それらしい ことばを、1こずつ つぎつぎに えらんで いくのです［1］。

予測変換のもっと賢いもの

スマホのキーボードで文字を打ちはじめると、つぎに来る言葉の 候補が出てくることがありますね。文章を作るAIは、あれをものすごく 賢くしたものだと考えてください。

2017年に生まれた新しい仕組み

インターネット上の膨大な文章を読みこみ、「この言葉のあとには、 こういう言葉が続くことが多い」というパターンを学習します。 そして、それまでの文章に続く、もっともそれらしい言葉を、1つずつ 順番に選んでいくことで、文章全体を作り出しています。この しくみの土台になっているのが、2017年にGoogleの研究者たちが 発表した「Transformer」という技術です。文中のどの言葉と どの言葉が関係しているかを見わける「Attention（注意）」 という仕組みによって、離れた場所にある言葉どうしの関係も うまくとらえられるようになりました［1］。

スマートフォンの予測変換を、けた違いに高度にしたものが、文章 生成AIの基本的な仕組みです。インターネット上の膨大なテキスト データを学習し、「ある言葉の並びのあとに、どの言葉が続く 可能性が高いか」を確率として推定し、その確率にもとづいて 言葉を1つずつ選択していくことで、文章全体を生成しています。

この仕組みの土台になっているのが、2017年6月12日にGoogleの 研究者らが発表した論文「Attention Is All You Need」で提案 された「Transformer」という深層学習モデルです。Transformerの 核となる「Attention（注意機構）」は、文中の各単語が、離れた 位置にある他の単語とどれだけ関連しているかを重みづけして 計算する仕組みです。これにより、文章が長くなっても、離れた 場所にある関連語どうしの関係を的確にとらえられるようになり ました［1］。

2017年に Transformerと いう ぎじゅつが 生まれたあと、 この しくみを つかった AIが、どんどん つくられました。

2022年11月30日、「ChatGPT」という サービスが 世の中に 出されると、だれでも かんたんに つかえる ことから、 世界中で いっきに ひろまりました［2］。

GPTシリーズの積み重ね

2017年にTransformerという技術が生まれたあと、この仕組みを 使ったAI「GPT」シリーズが、少しずつ規模を大きくしながら 作られていきました。

2022年、ChatGPTが世界に広まった

2022年11月30日、GPT-3.5という言語モデルをもとにした 「ChatGPT」というサービスが公開されると、専門知識がなくても 会話するように使えることから、わずか数日でユーザー数が 100万人を超え、世界中で一気に広まりました［2］。

Transformerが発表されたあと、この仕組みを土台にした「GPT （Generative Pre-trained Transformer）」シリーズが、OpenAIに よって開発されました。学習データの規模とモデルの大きさを 段階的に拡大しながら、GPT、GPT-2、GPT-3と改良が重ねられ ました。

2022年11月30日、GPT-3.5を基盤とする対話型サービス 「ChatGPT」がプロトタイプとして公開されました。教師あり学習 に加え、人間の評価者が応答の良し悪しをランク付けし、その ランキングをもとに強化学習（PPOという手法）でモデルを調整する という、人間のフィードバックを取り入れた訓練が行われています。 この使いやすさが評価され、公開から数日でユーザー数が100万人を 突破し、急速に普及しました［2］。

テレビの ざらざらした「ざつおん」の がめんを 見た ことが ありますか。絵を つくる AIは、あの ざつおん（ノイズ）だらけの がめんから スタートします。

そして、すこしずつ ノイズを けして いくと、さいごには ちゃんとした 絵に なるのです。どんな 絵に すればよいかは、 「ねこの絵」のような 文章の しじで きめます ［3］。

まっさらなノイズから始まる

テレビの砂嵐のような、ざらざらしたノイズ画面を見たことが あるでしょうか。絵を作るAI（拡散モデル）は、あのノイズ だらけの画像からスタートします。

少しずつノイズを消していく

そこから、少しずつノイズを取り除いていくと、最後にはちゃんと した1枚の絵になります。どんな絵にするかは、「ねこの絵」の ような文章の指示によって決められます［3］。

このAIは、学習のときには逆のことをしています。もとになる 本物の写真やイラストに、少しずつノイズを加えていき、 「どれだけノイズが加わったか」を正しく言い当てられるように 練習します。この練習によって、ノイズを取りのぞく方向を 正しく判断できるようになるのです［3］。

画像生成AIの多くは「拡散モデル（ディフュージョンモデル）」 という手法にもとづいています。生成のプロセスは、ランダムな ノイズ画像から始まり、そこから段階的にノイズを除去していく ことで、最終的に1枚の画像を作り出します。どのような画像を 生成するかは、テキストプロンプト（指示文）によって条件 づけられます［3］。

学習の段階では、この逆の過程が使われます。実在する画像に 対して段階的にガウス雑音（ノイズ）を加えていく「順方向拡散 過程」を設定し、ニューラルネットワークに、各段階でどれだけの ノイズが加わったかを推定させる訓練を行います。この訓練に よって、モデルはノイズを段階的に取り除く「逆拡散過程」を 習得し、これが生成時にランダムノイズから画像を作り出す能力の もとになります［3］。

2022年4月、「DALL-E 2」という 絵を つくる AIが、 アメリカの OpenAIという 会社から 出されました ［4］。

そして 2022年8月には、だれでも つかいやすい「Stable Diffusion」という べつの 絵せいせいAIも 出され、絵を つくる AIが 一気に みぢかな ものに なりました［5］。

OpenAIの「DALL-E 2」

2022年4月6日、絵を作るAI「DALL-E 2」が、ChatGPTと同じアメリカ の会社OpenAIから発表されました［4］。

だれでも使える「Stable Diffusion」

そして2022年8月には、Stability AIが大学の研究グループなどと 共同で「Stable Diffusion」という画像生成AIを公開しました。仕組みを 広く公開したことで、多くのサービスやアプリに組みこまれ、 画像生成AIが一気に身近なものになりました［5］。

2022年4月6日、OpenAIは画像生成AI「DALL-E 2」を発表しました。 テキストの特徴と画像の特徴を対応づけるCLIPというモデルを 組みこんだ拡散モデルを採用しており、テキストプロンプトの 内容に忠実な画像を生成できることが特徴でした［4］。

同年8月には、Stability AI、CompVis（ミュンヘン大学）、 Runwayが共同で「Stable Diffusion」を公開しました。画像を 低次元の潜在空間へ圧縮してから拡散処理を行う「潜在拡散 モデル（LDM）」という手法を採用することで計算量を大幅に 削減し、モデルの重み自体を公開したことで、個人のパソコンでも 動かせる画像生成AIとして急速に普及しました［5］。

せいせいAIが かしこく なるには、ものすごい 数の 文章や 絵を 「読んで」 おぼえる ひつようが あります。この りょうが おおいほど、いろいろな パターンを おぼえられます。

そのあと、人間が AIの こたえを 見て、「これは いい こたえ」 「これは よくない こたえ」と てんすうを つけて、もっと じょうずに こたえられるように そだてて いきます ［2］。

まず、大量のデータを読みこませる

生成AIが賢くなるには、ものすごい数の文章や画像を学習する 必要があります。学習するデータの量が多いほど、より多くの パターンを身につけられます。

そのあと、人間が評価して調整する

ただし、量をこなしただけでは終わりません。そのあと、人間の 評価者がAIの答えを見て、「これは良い答え」「これは良くない 答え」とランクをつけ、そのランキングをもとにAIをさらに 調整する、という工程が加えられます。この工程によって、AIは より役に立つ答えを返せるように育てられていきます ［2］。

生成AIの性能は、学習に使うデータの量と質に大きく左右されます。 インターネット上の膨大なテキストや画像を使った「事前学習」 によって、言語や画像の幅広いパターンを獲得します。

しかし、事前学習だけでは、有害な内容や不適切な受け答えを してしまうことがあります。そこで、人間の評価者がモデルの 応答をランク付けし、そのランキングから「報酬モデル」を 作成し、強化学習（Proximal Policy Optimizationという手法 など）によってモデルをさらに調整する「人間のフィードバック による強化学習（RLHF）」という工程が行われます。この工程に よって、モデルはより自然で、指示に忠実な応答を返せるように なります［2］。

せいせいAIは、「つぎに くる ことばとして それらしい もの」を えらんで いるだけで、その ことが ほんとうに 正しいかを しらべて いるわけでは ありません。

だから、じしんまんまんな 言い方で、まちがった ことを こたえて しまう ことが あります。これを「ハルシネーション」 と よびます［6］。だいじな ことは、 せいせいAIの こたえだけで しんじずに、もとの しりょうで たしかめる ことです。このサイトの きじも、そう やって つくられて います。

「それらしさ」と「正しさ」は別物

生成AIは、「つぎに来る言葉として、それらしいもの」を選んで いるだけで、その内容が本当に正しいかどうかを確認している わけではありません。

自信満々に間違える「ハルシネーション」

そのため、自信満々な言い方で、事実とは違うことを答えて しまうことがあります。これを「ハルシネーション」と呼びます ［6］。文章が長くなるほど、 小さな間違いが積み重なっていくこともあります。大事なのは、 生成AIの答えだけを信じず、もとになる資料で確かめることです。 このサイトの記事も、そうやって作られています。

文章生成AIは、直前までの文脈をもとに、統計的にもっとも それらしい言葉を選び続けているだけで、その内容が事実と一致 しているかを検証する機構を内部に持っているわけではありません。

そのため、生成AIが学習データのどの部分とも一致しない、事実に 反する内容を、確信度の高い自然な文章として生成してしまう ことがあります。この現象は「ハルシネーション」と呼ばれます。 生成AI自身が生成した単語列に基づいて次の単語を予測するため、 応答が長くなるほど誤りが連鎖的に積み重なっていく可能性も 指摘されています［6］。このサイト の記事も生成AIの力を借りて書かれているため、事実確認のための 検索・出典の確認を工程に組みこんでいます。

スマホや パソコンの せいせいAIサービスは、多くが 大人と いっしょに つかう ことに なって います。おうちの 人と そうだんして みましょう。

きょう できる こと

• 予そくへんかんを かんさつして みる。 スマホの キーボードで、つぎに どんな ことばが すすめられるか、おうちの人と いっしょに ためして みましょう。
• ハルシネーションを さがして みる。 せいせいAIが こたえた ことを、べつの しりょうで ほんとうか たしかめて みましょう。

スマホやパソコンの生成AIサービスの多くは、年齢制限や保護者の 同意が必要です。使うときはおうちの人と相談しましょう。

今日できること

• 予測変換を観察してみる。 スマホのキーボードで、つぎにどんな言葉が候補として出て くるか、おうちの人といっしょに試してみましょう。
• ハルシネーションを探してみる。 生成AIが答えたことを、別の資料（辞典や公式サイトなど）で 本当かどうか確かめてみましょう。

生成AIサービスの多くは年齢制限が設けられており、利用規約を 確認し、必要であれば保護者の同意を得て利用してください。

一次情報にあたる

「Attention Is All You Need」の原論文や、各企業の技術ブログは、 専門用語こそ多いものの、図解が豊富で仕組みを追いやすいものが あります。興味があれば、日本語の解説記事と見比べながら 読んでみてください。

手を動かして確かめる

• 同じ質問を何度か投げかけてみる。 生成AIに同じ質問を何度か投げかけて、答えがどれくらい 変わるかを比べてみましょう。「もっともらしい予測」を 積み重ねている以上、まったく同じ質問でも答えが変わる ことがある、という性質を実感できるはずです。