統計的有意性をマスターして広告効果測定・A/Bテストを正確に行おう！

無料で資料をダウンロード

SEOサービスのご案内
専門のコンサルタントが貴社サイトのご要望・課題整理から施策の立案を行い、検索エンジンからの流入数向上を支援いたします。

無料ダウンロードする　＞＞

「統計的有意性」の概念は、検索マーケティングで最も誤解されている概念の一つに数えられる。私は、2つのクリッスルー率の差が“統計的に有意”なのかどうか査定しても欲しいと頼まれることがある。そんな時、誰もが大きな差を確信した顔で尋ねてくる。

「金曜日のクリックスルー率（CTR）は2%だった。でも、土曜日は3%だった。と言うことは50%アップしたことになるんですよね？50%は大きな進歩ですよね？」と訊かれるのだ。所得税率だったら確かに大きな差になるが、CTRの差に関しては必ずしも大きな変化とは言えない。もし、金曜日に100回のインプレッションのうち2回クリックされ、土曜日に100回のインプレッションのうち3回クリックされていたらどうだろうか？これでも大きな差と言えるだろうか？

数回のインプレッションでは、2.5%のCTRなのか（そして、片方は2回しかクリックされておらず、もう片方は3回しかクリックされていなかったのか）、それとも、実際に大幅にCTRが異なるのかを判断することが出来ないため、このような問題が起きるのだ。

もっと極端なケースを想像してもらいたい。ある広告のCTRが2%で、別の広告のCTRが100%だっと仮定する。インプレッションは4回で、すべてクリックされていた。これはCTRが2%の広告からみると、どのようなデータだと言えるだろうか？

もしこれがCTRが2%の広告のデータだとすると、最初のインプレッションがクリックを生む可能性は2%となる。これは、トランプをよくきった後に、スペードのエースをランダムに引き当てる可能性とほぼ同じである。そして、次のインプレッションがクリックを生む可能性は2%であり、トランプを再びシャッフルし、再びスペードのエースを引き当てる可能性と変わらない（イカサマなしで）。

そのため、2%のCTRに対して4回のインプレッションから4回のクリックが生まれる可能性はとても低い。しかし、（当然ではあるが）可能性はゼロではない。たったCTR2%の広告であっても、4回のインプレッションから4回のクリックを発生させることが出来るのだ。繰り返そう、可能性は低いものの、不可能ではない。

だからこそ、2つの広告のCTRには差があるのかどうかを問われた際に、統計学者がすぐに答えを出さないのだ。“統計的有意性”はイエスorノーで答えるものではなく、偶然に発生することのないある一連のイベント（スペードのエースが連続で出る可能性など）が起きる可能性に過ぎない。インプレッションが増えれば答えの確率も上がるが、確実な答えを出すのに十分な情報量は存在しない。

慣習により、統計学者は、差が“統計的有意性”か否かを特定するために、ランダムの一言で説明がつく確率を5%に区切ることが多い。そのため、マジシャンが一組のトランプから狙ったカードを引き当てると宣言し、実際にお目当てのカードを引き当てると、平均的なギークが、“統計的にありえない！”と喜びの声を上げて興奮する。当該のカードが幸運によって引き当てられる可能性は5%以下だと知っているからだ。

次に、私たちが2つの広告を持っていると仮定しよう。広告AのCTRは2%で、広告BのCTRは下のグラフのX軸で表される。このグラフは、2つの広告のCTRが異なる確率が95%になるインプレッションの回数（1つの広告につきの回数）を表示している。

もし、広告Aに対する100回のインプレッションのうち2回クリックされており（CTR2% ）、広告Bが同じくインプレッション100回中に14回クリックされていたら（CTR14% ）、95%の確率で、広告BのCTRがAのCTRよりも高いと言える。広告BのCTRが3%であったなら、広告BのパフォーマンスがAを上回ることを95%の確率で確証を持つためには、4,000回近くのインプレッションが必要になる。そのため、金曜日と土曜日の広告のパフォーマンスの間に確認されたCTRの差が、インプレッションが200回のみだった場合は、大きな差だとは言い難い。

広告BのCTRが2%に近づくと、2つの広告を区別するためのデータがさらに必要になる。CTRが2.00%の広告とCTRが1.95%（もしくは2.05%）の広告を区別するためには、それぞれ100万回以上のインプレッションが必要になる。また、2つの広告が共にCTR 2.00%で同じようなパフォーマンスを見せている場合、どんなにデータが豊富でも両者を区別することは出来ない。

上述したコンセプトを理解してもらえたとは思うが、残念ながらCTRの差を調べるウェブベースのツールの中にはこの点を完全に無視しているものもあるようだ。

例えば、ある広告が25%のCTRで1回クリックされ（インプレッションは4回）、もう1つの広告は100%のCTRで2回クリックされた場合（インプレッションは2回）、ブライアン・ティズリー氏とペリー・マーシャル氏が提供するスプリットテスタードットコムは、“約99%の確率でこの2つの広告が長期的に異なる反応を示す”と言う答えを出す。たった6回のインプレッションで99%？！私には信じられない。コインを4回トスして、1回“表”が出て、もう1つのコインを2回トスして2回とも“表”が出たからと言って、いずれかのコインの表の出る確率が50%から外れることを99%の確率で確信することなど出来ない。

（恐らく）グレン・リビングストン博士が提供するスーパースプリットテスタードットコムも同様のサイトで、同じような欠陥を抱えている。広告Aが4回のインプレッションで1回クリック（CTR 25%）され、コンバージョンは1（100% CR）であり、広告Bは2回のインプレッションで2回クリックされ（CTR 100%）、コンバージョンが1（50% CR）の場合、スーパースプリットテスターは、“広告Bは広告AよりもCTRが高く（99%のコンフィデンス・レベル）”、“広告Aは広告Bよりもコンバージョン率が高い（80%のコンフィデンス・レベル）”と言う答えを出す。

正直に言わせてもらうと、私が99%の確証を持って言えることは、ティズリー氏、マーシャル氏、そして、リビングストン氏は、コンピュータのコードを見直し、何が誤りをもたらしているのかを確認した方がいいだろう、と言うことだ。

マッキンゼー・クォータリーで、グーグルのチーフエコノミストのハル・バリアン博士が、「私は今後10年間のお薦めの職業は、統計学者だと言い続けています。私が冗談を言っているのだ思っている人もいるようですが、コンピュータのエンジニアが1990年代に魅力的な職業になると予想することが出来た人はいたでしょうか？」と述べている。

その通りだ。1990年、“ホームページ”もしくは“eメール”が何かを知っているのは、少数のギークだけだった。10年後、知らない人の方が少なくなった。同様に、現在、検索マーケティング業界では、統計的有意性を特定する信頼区間を確定する等の基本的なコンセプトさえも難解だと思われている。しかし、この業界は、このような計算を行えるのは、もはやギークだけではないことを急速に理解しつつある。

この記事は、Search Engine Landに掲載された「Statistical Significance: Not Just For Geeks Anymore」を翻訳した内容です。

This article on Features: Analysis first appeared on Search Engine Land.
© Copyright Third Door Media, Inc. Republished with Permission.