A/Bテストと多変量解析テストの成功事例 – Conversion Conference 2011

スピーカーはSiteSpectのエリック・J・ハンセンとWingifyのパラス・チョプラ。SiteSpectは有名なLPOツールの会社です。Wingifyは簡単LPOで最近話題のビジュアルサイトオプティマイザーの会社なんですね。

まずはWingifyのパラス・チョプラ。

僕らのクライアントの結果は平均50%コンバージョンがあがった、といきなり宣言。常に保障はできないけどね、と笑いを取ってセッション開始。

A/Bテストと多変量解析テストのどっちが効果的か？

多変量解析テストはテクノロジーも優れているし、魅力的だがA/Bテストでも効果を十分に上げることができる。

A/Bテストはディテールでは無く、様々なユーザー体験をテストすることができる。例えばページ全体のデザイン。メッセージング。A/Bテストで効果的なデザインテンプレートを発見した後、多変量解析テストでさらに効果を上げることができる。

Test Among Good Options（TAGO)

テストすべき要素はほんの一部しかない。無駄なテストはしない。100%の中の極数%。逆にいうと間違ったテストをしない。

（ここでデザインが良いサイトと悪いサイトを見せる）

どっちのコンバージョンが高いと思う？80%がデザインが良いサイトに挙手。

何故か？画像が多い。デザインが綺麗で信頼性がある。ブランド認知度が高い。ナビゲーションが簡単。などなど。

実際に大半の人がデザインが良かったサイトが良いと思う。

その決断は一瞬でなされる。1/20秒以下で決まる。

ファーストインプレッションは重要。

最初の決断は、最後のコンバージョンに大きな影響がある。様々な調査で証明されている。

コンバージョン・ファンネルのボトムから変える。

ショッピングサイトの決済ページのユーザビリティ。サイト内の利用率自体はホームページや商品ページに比べ必然的に低くなるが、改善することでのコンバージョン改善率は極めて高い。サイトのデザインは色々手を加えるのに決済ページの改善をやってないサイトが多すぎることに、いつもイライラする 笑

例えば決済ページに、購入完了までのステップ数を表示したり、セキュリティ証明の画像を張るだけでも効果がある。とある事例では（lumensという照明家具の通販サイト）決済ページのコンバージョン率が50%も上がった。

他にも例えば登録ユーザーのログインページ。新規ユーザーの登録リンクを目立たせていない、登録ユーザーが前提になっているようなページが多い。

ログインページで新規ユーザーと既存ユーザーへのアプローチを同等にすることが重要。新規ユーザー登録率が上がる。

他の改善事例。

ランディングページをリデザインし、基本となるテンプレートを作成した上でターゲットユーザー別のランディングページを作成。

ベースのテンプレート。大きな画像。より魅力的な登録ボタン（登録、ではなく、＊＊を始める！）。コンバージョンまでのステップ数を表示数。

アドワーズ広告のキーワードやメッセージ別に全部個別のランディングページを作成。結果、30%のコンバージョン改善を実現。1年で1億円近い売上アップ。ROI1600%。実施に3週間。

あなたが思っているより改善できることは多い！

次はSiteSpectのエリック・J・ハンセン。Mozilla.comのFirefoxダウンロードサイトの改善例を紹介。

Mozilla.comは実は世界でアクセス数が多いサイトのトップ50に入るサイト。1カ月のページビューは2009年12月で700万。Firefoxのシェアは2009年で40%。ダウンロード数は1300億以上。

FirefoxとMozilla.comに可能な限り最高のユーザー体験を提供するモラル的な必要性がある。 – Mozilla.com CEO

サイトの最適化に社内で2名の専属のチームがいる。

2009年の11月、mozilla.comは最適化テストは長期的に常に行っていく作業ということを社内で認識し、より本格的な最適化テストを行うことにした。

テスト1:

・コンバージョン = Firefoxのダウンロード数
・ちなみにFirefoxのダウンロードページのコンバージョン率は80%近い
・ダウンロードのランディングページを改善し、コンバージョン率を改善
・多変量解析テストを実施。32のバリエーション。
・・「機能」に関するコピー
・・「ティップス」に関するコピーの場所
・・フッターの詳細
・・ボタンのデザイン
・・ダウンロードの統計

↓

主に3つのパターンでテスト。

1.
多くの情報を表示。

2.
限定された情報を表示。ダウンロード数の統計を表示。

3.
最低限の情報を表示。ダウンロード数の統計を非表示。

↓

最低限の情報のみ表示したページが勝った。2.3%のコンバージョン改善を実現。年間で170万のダウンロード数アップ。ダウンロード数の統計を表示するかどうかが大きな差になった。

何故シンプルなページが良かったのか？

仮説：ページの表示速度が速いからでは？

↓

Firefoxをダウンロードしたユーザーとしなかったユーザーでページ速度に差があったか？

データを分析すると。。

ダウンロードしたユーザー → ページの表示速度が2.1秒以下。

ダウンロードしなかったユーザー → ページの表示速度が3.67秒以下（75%遅い）。

そこで行ったのがテスト2:

ページ速度が重要ならJavascriptとCSSをさらに最適化すれば効果が上がるか？

コントロールに対しコードを最適化したバージョンを+15.3%上げた（66.01%→76.13%）。IEに限ると58.11%→74.16%（改善率+27.6%）と圧倒的な差が出た。ちなみに表示速度は4.97秒から2.81秒（43.4%早くなった）に短縮。

結論：

最後に少しQ&A。

Q : スピードが速いと何故コンバージョンが上がるのか？
A : ウェブユーザーはスピードに極めて過敏なのが事実。様々なケーススタディや調査を見ても、スピードがウェブのユーザー行動に与える影響は極めて大きい。

Q : 既存のEコマースのシステムを使っているが、決済ページに変更を加えたくともできない場合が多い。どうしたらいいのか？

A : 良く聞く話で悩ましい問題だ。SiteSpectならある程度そういったケースでも強制的に表示内容を変えられる機能もある。

Q : テストに関して何かベンチマークになる数字はあるのか？

A : 簡単にやりたければコンバージョンが200あった段階の数字で判断する方法もある。またテストを別々に行う時は必ず同じ期間曜日で行うことが重要。例えば月曜～日曜を2回など。

Q : ビデオコンテンツがコンバージョンに与える影響は？効果もありそうだが、邪魔に思う人も多いだろう。

A : 明確な答えはない。ビデオの質や内容、長さにもよる。ビデオのテストはビデオがあるかどうかというよりビデオの内容までがテスト要素になってくる。