むかしばなしの 「オズの まほうつかい」では、おおきな まほうつかいの 正体は、カーテンの うしろに かくれた 一人の 人でした。これと 同じ やり方で、サービスを ためした チームが います。

Aardvarkという サービスは、はじめ、コンピューターの かわりに、人が かげで 人びとの しつもんを 行き先へ とどけて いました［1］。

どうして そんな ことを したのでしょう。まだ ほんとうの しくみを 作らない うちに、つかう 人が 何を ほしがるのかを 見る ためです。作る まえに 見て おけば、ほしがられて いない ものを 作る しっぱいを へらせます。

この やり方は、「オズの まほうつかい」の 名前を とって、「ウィザード・オブ・オズ」と よばれて います。

童話『オズの魔法使い』では、大きな魔法使いの正体は、カーテンの裏にいる一人の人でした。この話にちなんで「ウィザード・オブ・オズ」と呼ばれる試し方があります。

Aardvarkというサービスは、技術の土台を作る前に、コンピューターの代わりに人が裏で利用者の質問を回す形で始めました。目的は、利用者がほんとうに何を求めるのかを、作り込む前に観察することです［1］。

ここに、題名の問いの答えの要点があります。本物の仕組みは、作るのに時間もお金もかかります。ところが、誰もそれを使わなければ、全部が無駄になります。先に人の手で代わりを務めれば、安く早く「使われるのか」「何を求められるのか」を見られるのです。

では、なぜそこまで「作る前」にこだわるのでしょうか。次の章で、失敗の中身を見ます。

童話『オズの魔法使い』では、巨大な魔法使いの正体は、カーテンの裏で装置を動かす一人の人間だった。この構図にちなんで、「ウィザード・オブ・オズ」と呼ばれる検証の手法がある。利用者から見えない裏側で、コンピューターの代わりに人間が処理を担う方法である。

Aardvarkはこの方法で始まった。ハーバード・ビジネス・スクールの記事によれば、チームは、コンピューターではなく人間が「カーテンの裏」で利用者の質問を振り分ける形でサービスを公開した。技術基盤を築く前に、利用者が何を求めるのかを観察するためである［1］。

ここに、題名の問いの答えの要点がある。本物の仕組みは、開発に時間と資金を要する。それを作ってから「誰にも使われない」と分かれば、投じた分がすべて無駄になる。ところが、人力で代わりを務めれば、同じ問い、つまり「使われるのか、何を求められるのか」を、仕組みの完成よりずっと前に確かめられる。

ただし、これは一つの事例である。人が裏で動かせる題材と、そうでない題材があり、この方法がどんな分野にも通用するとは、この資料からは言えない。では、そもそも小さく試す必要はどこにあるのか。次に、失敗の中身を見る。

ハーバード・ビジネス・スクールの 記事には、こう あります。あたらしく はじめた 会社の 多くが しっぱいするのは、作れなかったからでは ありません。まちがった ものを 作りつづけて、お金を つかい はたして しまうからです［1］。

だから、本物を 作る まえに、小さな ものを 早く 出して、人の 気もちを 見ます。「ちがう」と わかったら、早く なおせます。

この 考え方の 「リーン」は、トヨタの 作り方に ルーツが ある ことばです。時間と お金の むだを へらす、と いう いみです［1］。

ためしに 出す いちばん 小さい 形は、MVPと よばれます。さいしょの 人たちから 感想を もらえる だけの 力だけを もった、せいひんの ことです。

ハーバード・ビジネス・スクールの記事は、こう説明します。新しく始めた会社の多くが失敗するのは、作ろうとした物を作れないからではありません。間違った物を作ってしまうからです［1］。腕のいい人たちが、時間とお金を使って、誰も求めていない物を磨き続ける。それが典型的な失敗の形だというのです。

この考え方の名前「リーン（lean）」は、トヨタ生産システムにルーツがあります。時間とお金の無駄を避けることを大事にする、という意味です［1］。

無駄を避けるために使う最初の道具が、MVP（最小限の実行可能な製品）です。早く使ってくれる人たちから役に立つ感想をもらえる、必要最小限の機能だけを持つ製品のことです［1］。Aardvarkの人手による運営も、最小限の形で早く反応を見るという向きは同じです。

では、小さく出すだけで、本当に人は集まるのでしょうか。有名な例を見ます。

小さく試す理由は、失敗の原因にある。ハーバード・ビジネス・スクールの記事は、新規事業の多くが失敗するのは、作ろうとした製品を作れないからではなく、間違った製品を作ってしまうからだと述べる［1］。技術力があっても、求められていない物を長く作り続ければ、資金は尽きる。したがって、課題は「正しく作ること」より先に「作るべき物を見極めること」にある。

この発想の名前、リーンスタートアップの「リーン」は、トヨタ生産システムに根を持ち、時間と資金の無駄を避けることを核にする［1］。無駄を避ける最初の手段がMVP、すなわち最小限の実行可能な製品である。初期の利用者から有用なフィードバックを得るのに足りる機能だけを備えた製品を指す［1］。完成度の高さではなく、学べる量を基準に製品の大きさを決めるのが要点である。

前章のAardvarkの人力運営も、最小限の形で早く反応を見る点で同じ向きにある。ただし、MVPという言葉が資料で指すのは製品の最小形であり、人力運営との関係は、ここでは筆者の読み方である。

では、最小の形で出すと、実際にどれほど反応が得られるのか。広く知られる例を見る。

Dropboxは、ファイルを あずける サービスです。作った 人たちは、できあがる まえに、はたらきを しぼった さいしょの 形を ウェブサイトの Hacker Newsに 出しました［1］。

15か月の あいだに、つかう 人は 10万人から 400万人に ふえました［1］。40ばいです。

ただし、ふえた ぶんが 全部 その 形の おかげだとは、この 記事は 言って いません。小さく 出す ことで、早く 人の ようすを 見られた、と いう おはなしとして のって います。

大学も、小さく ためす ことを おうえんして います。ハーバード・ビジネス・スクールは、学生の チームが ためしの 作品を 早く 作れるように、1チームに 出す お金を 多くても 1万ドルまでと する しくみを 作りました［2］。

MVPの例としてよく挙がるのが、ファイルを預けて共有するサービスのDropboxです。ハーバード・ビジネス・スクールの記事は、Dropboxがウェブサイト Hacker News で機能を絞った初期版を発表し、15か月で利用者を10万人から400万人に増やした、と紹介しています［1］。

400万÷10万＝40なので、利用者は約40倍です。これは増えた人数をそのまま割った計算で、15か月という期間の途中経過までは分かりません。また、この記事は、増えた分がすべてこの初期版のおかげとは述べていません。小さな形で早く出し、反応を見ながら育てた例として挙げられているのです。

小さな試作を後押しする仕組みもあります。ハーバード・ビジネス・スクールは、学生の起業家チームが素早く試作品を作れるように、基金（MVP Fund）を作りました。目標は10チームに5,000ドルずつ渡すことで、1チームへの上限は1万ドルです［2］。小さく試すには、大金は要らないという前提がうかがえます。

反応が集まったとき、次の問題が出ます。「画面をこうしたほうがよいか、ああしたほうがよいか」を、どうやって決めるのでしょうか。

MVPの例として知られるのが、Dropboxである。ハーバード・ビジネス・スクールの記事は、同社がウェブサイトHacker Newsで機能を絞った初期版を発表し、15か月で利用者を10万人から400万人へ増やしたと紹介する［1］。400万÷10万＝40、すなわち約40倍である。

この数字には限界がある。割り算で出せるのは期間全体の倍率だけで、月ごとの伸び方は分からない。さらに、記事は、増えた分が初期版の発表だけで生まれたとは述べていない。初期版の発表と利用者の増加は、同じ記事の中に並んで書かれた事実であり、因果の大きさは、この資料からは読み取れない。この例が示すのは、機能を絞った形で早く公開すれば、早く反応を観察できるという点である。

制度の側にも、同じ発想がある。ハーバード・ビジネス・スクールが学生の起業家チーム向けに作った基金（MVP Fund）は、10チームに5,000ドルずつ渡すことを目標とし、1チームの上限を1万ドルとした［2］。迅速な試作を支えるための資金で、最初から大規模に作らせない設計である。

だが、反応が集まれば新しい問題が生まれる。画面の案がAとBの二つあるとき、どちらが良いかを、印象ではなく根拠で決められるのか。

おみせの ホームページに、ボタンの 色を 赤にした 画面Aと、青にした 画面Bが あるとします。どちらが よく おされるでしょうか。

やり方は こうです。ほとんど 同じ 数の 人に、AかBを わりふって 見せます。そして、おされた 数を くらべます。これを A/Bテストと よびます［3］。

その 前に、「もし 赤に したら、おす 人が ふえるだろう。なぜなら 目立つから」と、先に 予想を 書いて おきます。予想と りゆうを 決めて おくと、あとで 何を たしかめたのかが はっきり します［3］。

だれに Aを 見せるかは、くじで きめるのが 大じです。見せる 人を かたよらせないためです。

A/Bテストは、二つ以上の画面を作り、アクセスしてきた人に、どの画面を見せるかを無作為に分け、統計の分析でどちらがよいかを決める方法です。イギリス政府の公開資料も、ウェブページの異なる版を作り、トラフィックを振り分けるやり方として説明しています［3］。

この資料は、先に仮説を「もし〇〇を変えたら、△△になるだろう、なぜなら□□だから」の形で書くよう勧めています［3］。たとえば「もしボタンを赤くしたら、押す人が増えるだろう、なぜなら目立つから」です（この例は筆者が作りました）。理由まで書くのは、結果が出たとき、予想が外れた理由まで考えられるからです。

誰にAを見せるかは、無作為に決めます。NISTの統計の手引きでは、実験の順番や割り当てを偶然で決めることを無作為化と呼び、ふつうはコンピューターのプログラムで行うと書かれています［6］。また、比べる条件ごとの回数や人数は同じにするのが原則です［6］。

ただ、これは見た目ほど簡単ではありません。Microsoftなどの研究者は、ウェブでの対照実験では、無作為な割り当て方法やハッシュ法が一般に思われているほど単純ではないと述べています［7］。対照実験は、原因と結果の関係を確かめるための最良の科学的な設計だとされるので、割り当ての精度が大切なのです。

Microsoftは、実験を信頼できるものにする専用の基盤（ExP）を作りました［4］。その中には、実験が始まる前の期間について、二つのグループで同じ数字を計算し、最初から差がないかを調べる分析（Retrospective-AA）もあります［5］。実験の前に「同じはずの二組」が本当に同じかを確かめるのです。

こうして実験をしても、仮説が外れることがあります。そのとき、やめるべきなのでしょうか。

A/Bテストとは、ウェブページなどの異なる版を二つ以上作り、利用者に無作為に見せ分け、統計分析で優れたほうを判定する方法である。イギリス政府のデータ分析担当者向けの公開資料が、この定義を示している［3］。

同資料は、実験の前に、仮説を「もし[変更点]なら、[結果]になるだろう、なぜなら[根拠]だから」の形で書くことを求める［3］。たとえば「もしボタンを赤にしたら、押す率が上がるだろう、なぜなら目立つから」である（筆者の例）。根拠まで書く意味は、結果が仮説と食いちがったとき、どの前提が誤っていたかを後から検討できる点にある。

次に問題になるのが、誰にどの版を見せるかである。NIST/SEMATECHの統計手引きは、完全無作為化計画において、実験単位を試す順番を無作為に決めると説明し、実際にはふつうコンピューターのプログラムで行うとする。また、比べる各条件の繰り返し数は同じにするのが原則で、総実験回数は因子数×水準数×繰り返し数で決まる［6］。ところが、Kohaviらの論文は、ウェブの対照実験では、無作為な割り当て方法やハッシュ法が、一般に思われているほど単純ではないと述べる。同じ論文は、対照実験は因果関係を確かめる最良の科学的な設計だと位置づけ、検出力、標本数、分散を減らす技術に焦点を当てている［7］。

実験の信頼性を守る取り組みとして、MicrosoftはExP（Experimentation Platform）を、信頼できる実験を通じて革新を速めるために作った［4］。その手法の一つ、Retrospective-AA分析は、実験開始前の期間について、処置群と対照群で同じ指標を計算し、割り当ての段階で偏りが生じていないかを確かめる［5］。比べる前に、比べる二組が同じだったかを検査するのである。

ただし、仮説が否定される実験もある。そのときは、実験自体が失敗したのか、それとも次の一手が見えたのか。

よそうが はずれた とき、それは しっぱいだけでは ありません。まちがいを 早く 見つけられた、と いう ことでも あります。

むきを 大きく かえる ことを、ピボットと よびます。はずれたと はっきり わかる テストの あとで、だれに 売るのか、何を 売るのか、お金の もうけ方を かえる ことです［1］。

ピボットを 考える とき 大じなのは、人に 話を きく ことです。アメリカの 国の 科学を おうえんする 組しきが 進める プログラムでは、しらべた 人たちが、じぶんの わざを つかいたい 人が だれで、何に こまって いるのかを、聞いて まわります［10］。そのとき、さいしょの 思いこみを すてる 気もちが 大切だと されます［9］。

この プログラムは 10年たった とき、出た 人たちが 1000を こえる 会社を 作った と 発表して います［11］。

ものづくりの 世界でも、考えて、作って、ためして、なおす ことを、答えが 見つかるまで くりかえします［12］。

実験の結果、仮説が外れることがあります。リーンスタートアップでは、これは失敗というより、方向を変える合図になります。ピボットとは、仮説を否定する決定的なテストのあとで行う、顧客層や製品、ビジネスモデルなどの大きな変更のことです［1］。

ピボットを考えるときに大切なのが、顧客発見という作業です。アメリカの国立科学財団（NSF）のI-Corpsというプログラムは、研究者が顧客に直接話を聞き、技術の商業的な機会を評価し、起業につなげることを支援します［10］。関連する用語集では、顧客発見は「市場は誰で、何を必要とするかを仮説にする過程」、ピボットは、顧客発見で得た反応を分析して別の市場を追うと決めることと説明されています［8］。

心構えも大事です。カリフォルニア大学サンディエゴ校の紹介記事は、顧客の話を深く聞き、自分の最初の思い込みを手放す覚悟を持つことを求めています［9］。

NSFが10周年に出した記事によると、その時点でI-Corpsをきっかけに1000社を超えるスタートアップが生まれ、その後の資金調達は累計7億6,000万ドル以上でした［11］。これは、小さく試して向きを変える方法が、研究の世界でも使われていることを示します。

この考え方はウェブサービスだけのものではありません。NASAの研究所JPLの教育資料は、エンジニアリングデザインの手順として、問題の特定、解決策の案出、設計の選択、試作品づくり、テストと評価を挙げ、答えが見つかるまで繰り返すとしています［12］。外れたら終わりではなく、また一周するのです。

仮説が否定されたとき、取るべき行動は、撤退か修正か。リーンスタートアップの枠組みでは、ピボットは、仮説を否定する決定的なテストのあとで行う、顧客層、製品、ビジネスモデルなどの大きな変更とされる［1］。重要なのは、ピボットが思いつきでなく、検証の結果を受けて行う変更として定義されている点である。

その検証の中心にあるのが顧客発見である。NSFのI-Corpsは、研究者が顧客発見を通じて技術の商業的な機会を評価し、起業を支援する枠組みで、参加者は実地の経験を積む［10］。バージニア大学の用語集は、顧客発見を「市場は誰で、何を必要とするかを仮説にする過程」と説明し、ピボットを、顧客発見で得た反応を分析して別の市場を追うと決めることとして整理する［8］。つまり、ここでの顧客発見は、実験の入口であり、方向転換の根拠にもなる。

この過程では心理的な条件も要る。カリフォルニア大学サンディエゴ校の記事は、顧客に話を聞き、深く耳を傾け、最初の思い込みを手放す用意を持つことを求める［9］。アイデアの妥当性に偏った見方に挑むことが目的だとされる。手法だけでなく、結果を受け入れる態度が、実験を意味あるものにする。

NSFの10周年記事によれば、その時点でI-Corpsの参加者は1000社を超えるスタートアップを立ち上げ、その後の資金調達は累計7億6,000万ドル以上に上る［11］。ただし、これは参加者全体の合計額で、1社あたりの水準や、成功率を示すものではない。

同じ構造は、工学の設計にも見られる。NASAのJPLの教育資料は、問題の特定、解決策の案出、設計の選択、モデルまたは試作品づくり、テストと評価という手順を示し、解決策が見つかるまでこの循環を繰り返すとする［12］。仮説を立て、小さく作り、確かめ、直す。この循環が、分野をこえて共通している。

では、この循環を、家にあるもので回してみるには、どうすればよいか。

きょう できる こと

紙ひこうきを 二つ 作ります。たとえば、はねが 大きい Aと、はねが 小さい Bです。まず、予想を 書きます。「もし はねを 大きく したら、とおくへ とぶだろう。なぜなら 空気を うけるから」。

おなじ 大きさの 紙で 作り、おなじ 人が、おなじ ばしょから 投げます。AとBを 5回ずつ 投げます。どちらから 投げるかは、紙に A、Bと 書いた くじで きめます。とんだ 場所は、足の 大きさで なんぽ分か 数えて、ノートに かきます。

終わったら、AとBの 数を くらべます。予想と ちがっても、だいじょうぶです。「どうして ちがったのかな」と 考えるのが、つぎの 一歩です。

気を つける こと

人や、こわれやすい ものに むけて 投げません。ともだちや かぞくに 投げて もらう ときは、「やってもいい？」と 聞きます。「いや」と 言われたら、やめます。

紙飛行機で試す

同じ折り方で、羽の大きさだけを変えた紙飛行機を二つ作ります。羽が大きいA、小さいBです。まず、仮説を「もし羽を大きくしたら、遠くまで飛ぶだろう、なぜなら空気を受けるから」の形で書きます。

条件をそろえるために、同じ大きさの紙を使い、同じ人が同じ場所から投げます。AとBを5回ずつ、全部で10回投げます。この回数は、比べる要素1つ×条件2つ×繰り返し5回という考え方で決めたものです［6］。投げる順番は、A・Bと書いたカードを混ぜて引くくじで決めると、一方だけ最後に疲れた手で投げる、という偏りを防げます。飛んだ距離は、床のタイルの数や足の歩数で記録します。

結果は、AとBの平均を出して比べます。1回ごとのばらつきも見てください。平均に差があっても、5回の記録が大きく散らばってAとBの範囲が重なるなら、差があるとは決めにくいのです。外れたら、仮説の理由を見直して、また作り直します。

人にお願いするときの約束

友だちや家族に投げてもらう場合は、必ず本人に確かめます。子どもを対象にした研究の指針には、同意とは本人の積極的な賛成のことで、反対しなかっただけでは同意とみなさないこと、幼い子が「いや」と言ったらその意思を尊重すべきことが書かれています［13］。

資料を読むなら

10回の記録を見て、次に変える条件を一つだけ決めてみましょう。たとえば羽の形はそのままで、折り目の角度だけを変える、といった具合です。A/Bテストの考え方は、イギリス政府の公開資料［3］に書かれています。

家で再現する

同じ折り方で、羽の大きさだけを変えた紙飛行機を二つ作る。仮説は「もし羽を大きくしたら、飛距離が伸びるだろう、なぜなら空気を受けるから」と書く。紙の大きさ、投げる人、場所をそろえ、AとBを5回ずつ、計10回投げる。NISTの考え方では、総実験回数は因子数×水準数×繰り返し数なので、1×2×5＝10回になる［6］。各条件の繰り返し数をそろえるのは、回数の差が結果に混ざるのを避けるためである。

投げる順番は、AとBを書いたカードのくじで決める。無作為化は、疲れや慣れなど、時間とともに変わる条件が一方に偏るのを防ぐ。飛距離は、床のタイルの数か歩数で記録する。平均を出し、1回ごとのばらつきも見る。平均の差がばらつきの幅より小さいときは、差があると言い切れない。10回だけでは、たまたまの差と本当の差を見分けにくいことがある。

人に頼むときの約束

家族や友だちに投げてもらう場合は、必ず本人に確かめる。子どもを対象にした研究の指針は、同意（assent）を本人の積極的な賛成と定義し、反対しなかっただけでは同意とみなさない。また、幼い子が「いや」と言ったら、研究者はその意思を尊重すべきだとする［13］。

資料を読むなら

仮説の書き方と定義は、イギリス政府のデータ分析担当者向け資料［3］、無作為化と繰り返し数はNISTの統計手引き［6］、ウェブでの落とし穴はKohaviらの論文［7］とMicrosoftの資料［4］［5］にある。ピボットと顧客発見は［1］［8］［9］で読める。まず、10回の記録から次に確かめることを一つ決めてみるとよい。大きな実験を立てなくても、家で10回投げるだけで、同じ骨組みが再現できる。