なぜ私たちはスタートアップの成功を予測するのが下手なのか？

スタートアップと下手くそな予測

今年の私のお気に入りの一冊は、“なぜ多くの予測は外れるのに、外れないものがあるのか？”というサブタイトルが付いているネイト・シルバーの『The Signal and the Noise』（註：ネイト・シルバーは昨年の米国大統領選で50州の予測を的中させたことで有名になった注目の統計家）だ。この本は、天気から政治やギャンブルに至るまでたくさんの異なるトピックを取り上げているが、スタートアップ/テックの観点を持ってそれを読まずにはいられなかった。

結局、テクノロジースタートアップ業界は、予測が全てだ―私たちは、自分の予測に基づいて“イタレート”や“ピボット”をするため、何が良い市場となり、何が良い製品となるのかを予測しようとする。そしてもちろん、ベンチャーキャピタルのビジネスは、勝者を選ぶ方法を知ることについてもっと直接的だ―特に、シードおよびシリーズA投資がそうだ。

しかし、私たちは皆、何が機能し何が機能しないかを予測することがあまりにも下手だ。私自身、Facebookに関する自分の恥ずかしい懐疑的態度（日本語）について書いたことがあるが、私は単なるその辺にいるテック野郎にすぎない。職業として勝者を選ぶことを仕事にしている人達やベンチャーキャピタリストに関しても、彼らはあまり上手くやっていない。ベンチャーキャピタルのアセットクラスは公開市場から遅れを取っていると広く言われてきた―あなたはインデックス・ファンドを購入すべきなのかもしれないのだ。

スタートアップ例外論者＝希薄なデータセット＝ひどく劣った予測モデル

次にブレイクするスタートアップを予測することにおいて最も難しい点の1つが、そういうスタートアップがほとんど存在しないということだ。年間で10～14のスタートアップがテックにおける利益の97％を生み出し、それぞれが著しい例外のように見える。そして、1つの業界として、私たちはそれらの一つ一つに近視眼的に集中する。

ベン・ホロウィッツがハッとするような統計データについて詳しく説明しているのを見てみよう。38:00分から始まる：

このような確率があるため、私たちの脳はパターンマッチングのせいで頭がおかしくなる。今後数年間、Googleのような一世代に一度あるかないかのスタートアップがやって来れば、私たちは皆、“OK、でもあなたのチームにはPhDがいますか？あなたの製品の‘PageRank’は何ですか？”と聞く。そして、AirBnbのおかげで、私たちは、デザイナー主導の企業に懐疑的な状態から彼らの大ファンになった。あまりに数少ないデータポイントのせいで、私たちがコミュニティとして生み出す予測モデルはあまり良くない―それらは単純すぎるし、注目度の高い見出しとサウンドバイトの渦で増幅されている。

これらの単純すぎるモデルは、一般的なスタートアップアドバイスを招く。前に書いたように、アドバイスの自動操縦をし続けて状況に関係なく同じアドバイスをするアドバイザーと、コンサルタントと、プレスと、ベンダーのエコシステム全体があるのだ。優れたUXに投資をしろ、すぐにユーザーにお金を請求しろ、素早くイタレートしろ、全てのことを測定しろ、早くローンチしろ、長時間働け、もっと資金調達をしろ、資金調達は少なくしろ―これら全ての考えは、全くの新人にとっては役に立つが、全ての状況に無謀に適用される時は危ない。

私たちは皆、この共通認識をオウムのように繰り返す方法を知っているが、悪いアドバイスに対して良いアドバイスをいつ聞いているのかどうやって分かるのだろうか？ブレイクする企業が毎年10～15社あるというアイディアについて考えた場合、どれくらいの人が、ブレイクする企業を始めたり作ったりするための適切な決断をして本当に直接的な体験をするのだろうか？

ハリネズミと評論家

私は、ネイト・シルバーが彼の本の中でハリネズミとキツネについて、そして彼らの予測を生み出す際のアドバイスについて書いている時に、自分が一般的なスタートアップアドバイスを嫌っていることに気付かされた―このコンセプトに関するWikipediaの定義は以下の通りだ：

2つのカテゴリがある：1つの決定的なアイディアのレンズを通して世界を見るハリネズミと、幅広い様々な経験を活用し、その世界は1つのアイディアに要約されることができないキツネ。

シルバーは明確にキツネと名乗り、自分のアプローチをテレビやラジオの政治的なトーク番組を支配する頭でっかちの評論家と比較した。評論家にとっては、よりアグレッシブに、コントラリアンに、確信しているように見えれば見えるほど、より多くの注目を集めることになる。それは、人々が“[ホットな企業]が[新しい製品]によってダメになる10の理由”のような見出しを書くことによって報われるブロゴスフィアで私たちが目にしていることに似ている。もしくは、“全てスタートアップは[メトリックX]に注意を払うべきだ”とかなんとか。

このハリネズミ的な行動は、市場で何が起きているのかについてはっきりと主張を述べるプレッシャーが常にあるという事実によって増幅される。マスコミの人間はいつも、トレンドを見つけようとしたり、複雑なアイディアを要約しようとしたりするし、投資家たちは、“どんな種類のスタートアップに投資していますか？どうしてですか？”といつも聞かれる。そして、起業家はいつも、自分のビジネスを市場の幅広いトレンドに合わせることを強いられ、人目を引くライバルを見つけることを強いられ、何が起こっているのかを説明する簡単な物語を見つけることを強いられる。

この全てに対する解決策は簡単ではない―キツネになることは、もっと幅広いデータのセットを利用し、複数の視点から問題を見て、それら全てのデータ点を組み合わせた結論に達することを意味する。Upennのフィリップ・テトロックによる予測の科学に関する偉大な業績がある。彼は、ここで良い予測を研究するためのオープンコンテストを開いた。EDGEによる彼のインタビューもあるし、以下に彼らの学術研究をいくつか説明している動画もある：

見る価値がある。

私の個人的体験

5年にわたるシリコンバレー生活の中で、私がスタートアップを予測しようとすることから学んだ最大の教訓は、キャリブレーション（註：一般的な意味としては、標準値と比較しながら調整していくこと）だ。上の動画の中でもそれについて話しているが、それを説明する手短な方法は、自分が知らないことに対して自分が知っていると思うことに気を付けることだ。私は、自分が良い決断をすることができる専門知識の領域は実際にはとても狭いということが分かった―オンライン広告、アナリティクス、コンシューマー・コミュニケーション/パブリッシングの分野で多くの仕事をしてきたため、私の判断はそこではかなり良いが、それ以外の分野ではもっと揺らぐと考えている。

私がアナリティクスを実施する時には、自分が提出する物と自分がどれくらい知っていると思っているかを一致させることを試みる―近頃、それは、私が初めてサンフランシスコにやって来た頃の若くがむしゃらな私よりもずっとためらいがちに聞こえることを意味する。さらに私は、“アドバイスの自動操縦”を採用しないようにしている―もし私が起業家と会って、自分が同じことを何回も言っていることに気が付いたら、そのアイディアを再定義して、その製品のニュアンスや具体的なことを考慮に入れようとする。同じことを何度も繰り返し言うのは簡単だが、それは怠けであり、役に立たない。

ハリネズミではなく、キツネになろう。

この記事は、@andrewchenに掲載された「Why are we so bad at predicting startup success?」を翻訳した内容です。