ウェブに限らずマーケティングはテストが大事とは当然のようにいわれますが、基本的な広告やランディングページのA/Bテストでさえ、きちんとやっているサイトは意外となかったりするのが現実ではないでしょうか？今回はA/Bテストの価値と実施方法について具体的に説明した記事をThe Next Webから。 — SEO Japan
過去私が投稿したマーケティング関係の投稿を1本でも読んだことがあるなら、全ての投稿に共通する、根本的なテーマ: 「計測しないなら、それはマーケティングではない」が存在することに気づいているのではないだろうか。これは私のマーケッターとしての人生において、絶対に破ることが出来ない信条である。早く動けるか動けないか、そして、顧客の要求をどのように満たすかによって、企業の浮き沈みは決まる。しかし、そのためには「顧客は求めているものをどのように把握することが出来るのか？」と言う昔から存在する疑問を解決する必要がある。スティーブ・ジョブズ氏なら、「何が欲しいかを知ることは客の仕事ではない」と大胆に言い放つことも出来るのかもしれないが、ジョブズ氏以外の私達は、A/Bテストを活用するべきである。
A/B、スプリット、バケットテスティング – は、内容の異なるバリエーションまたは改善したバリエーションを、基準に対して比較することから、消費者のフォーカスグループに似ていると言われることがある。A/Bテストでは、同じアピールの異なるバージョンがターゲットのグループに提示され、反応率が計測される。今後のアピールはこの統計的な結果に応じて調整される。このようにA/Bテストは、古き良きダイレクトメールキャンペーンをルーツに持っている。念のために言っておくが、このプロセスは非常に時間がかかり、結果および調整を行うには数四半期が必要であった。
それでは（ほぼ）瞬間的にインターネットからフィードバックを得られる時代に時計の針を進めよう。現在は、広告スポンサーやマーケッターは、数日ではなく、数分間で、急激に行動を変化させ、調整を実行することが出来る。また、A/Bテストに関しては、この点はより明白になりつつある。A/Bテストを実施しているだろうか？これから始めるなら、どこから手をつけるつもりなのだろうか？個人的には（計測していないなら、マーケティングを行っているとは言えない）、全てのアイテムにA/Bテストを実施する必要があると思うが、この記事の意図を考慮し、オンライン広告、eメールキャンペーン、そして、ウェブサイトに範囲を絞って考察する。
しかし、詳細を取り上げる前に、1つだけ原則を設けさせてもらいたい: それは、一度に複数の要素を計測してはいけないと言う決まり事だ。異なるタイトルを試して、1つのグループにコピーする人が多いが、そうすると、ベースライン（コントロール）を破壊してしまい、結局、推測するだけになってしまうためだ。
オンラインで広告を掲載するタイミングや場所に関わらず、たった“1度だけ”広告を掲載する意味はない。それよりも、一連の広告およびバリエーションを提供し、日常的に記録し、計測し、そして、調整するべきである。
オンライン広告は多くのポテンシャルを秘めているが、今回はテキストベースの広告に（主に）焦点を絞らせてもらう。テキスト広告は、グーグルとフェイスブックの双方に適用することが可能な広告である。また、フェイスブックはイメージ広告のオプションも提供しており、この点に関しては後ほど詳しく説明する。
どこから手を付ければいいのか
A/Bテストを取り上げる前に、目標に常に注目することの重要性を確認しておきたい（何が目標だか分かっていることが前提だが）。キャンペーンの主な目標は何だろうか？クリック数を増やすことを追求しているのだろうか？メーリングリストへの参加を求めているのだろうか？ 「店」に足を運んでもらい、クーポンと商品を引きかえてもらいたのだろうか、それとも特別な製品を提供したいのだろうか？このような目標を明確に決めていない状態では、A/Bテストは無駄になり、改善していく取り組みはますます難しくなっていくだろう。
例えば、写真スタジオが「Back-to-School」（新学期）の特別なキャンペーンを実施し、フェイスブック広告を介してサービスを購入した家族に20%の割引を行うケースを仮定してもらいたい。まず、広告Aでは「Back-to-School Special」と言うタイトルをつけ、広告Bには「20 percent off until October 1st!」を用いた。
このケースでは、どちらの広告が高いスコアを得られるのかをテストし、その後、この広告に対するバリエーションをテストすることが出来る。 広告Aの方がスコアが高く、広告Aを基に改善を行うなら、基準の広告になるため、もしくは、ベースラインの基準的となり、さらなるバリエーションを比較していくため、広告Aにはこれ以上変更を加えてはならない。 セカンド・オピニオンと同じように、1度目が単なる失敗ではなかったことを確認するため、私は少なくともバリエーションを使って2度ほど広告Bのテストを実施するようにしている。
これで基準広告を絞り込むことが出来たため、より本格的なA/Bテストに取り掛かることが可能になる。先程も申し上げた通り、広告のヘッドラインに対しては何度もテストを行うべきである。「FREE!」（無料）は思ったよりもパフォーマンスが良くない可能性がある。
同じように、常に最終的な目標を考慮し、広告コピーの複数の繰り返しを試すべきである。広告Cが広告Bよりも効果が高いものの、Aほどではないなら、どの要素を変えればいいのだろうか？細かく分析し、AとCを比較し、双方の優れた要素を配合して最強のDを作ることは出来るだろうか？また、Dを稼働させたなら、広告E、広告Fを作り、メッセージをさらに改善していくことになる。
フェイスブックの広告は、広告スポンサーおよびマーケッターに興味深い3つ目の要素を用意している。それは、イメージである。とりわけフェイスブックにおいては、良質なイメージの力は折り紙付きである。2つのテキストのみのフィールド（タイトルとコピー）を作成するのではなく、フェイスブックはイメージを挿入するオプションをユーザーに提供しているのだ。先程の2つの要素と同じように、様々なイメージを試して、ターゲットのグループから最も共感を得られるイメージを選んでもらいたい。
私は少なくとも5枚のイメージを試すことを薦めるが、徹底的にテストを行い、20枚のイメージを試すことも可能である。幸せそうに笑っている家族の写真は、例の広告において最も効果が高いかもしれない。また、ロゴや20%オフのイメージを使う手もある。直観は貴重であり、無視するべきではないものの、実用的な裏付けるデータを使った確固たるA/Bテストには太刀打ちできない。
どれだけテストすればいいのか？
どれだけサンプルを取ればいいのだろうか – これはあらゆるA/Bテストにとって欠かせないポイントである。簡単は答えは、 – 多ければ多いほど良い – である。利用するサンプルが多ければ、結果の精度は上がり、また、反映されるデータも多くなる。数式を簡略するため、各テストグループが少なくとも100回のクリックを得ていることを確認しよう。テストを実行した後、広告のパフォーマンスの善し悪しを示唆する明確な数字が手に入るはずであり、そうしたら標準以下の広告を止めて、広告Cに取り掛かることが出来るようになる。
これは広告の取り組みをテストし、改善する方法として最高の方法である。グーグルアドワーズとフェイスブックの広告はともにA/Bテストサービスを提供しているが、皆さんが利用する広告サービスプロバイダーもA/Bテストツールを用意しているはずだ。様々なグループに広告の様々なバリエーションを見てもらうことで、オーディエンスの好み、そして、広告を表示するタイミングを学ぶことが出来る。
また、A/Bテストを介して、非常に貴重な情報を得ることが出来るものの、その情報を常に覚えておくことも重要である。つまり、広告は決して終わることのないプロセスなのだ。広告をピークのパフォーマンスに持っていったら、ターゲットのグループは既にオリジナルの広告の複数のバリエーションを見ているため、新しい広告を作る必要がある。また、ご存知のように、消費者は非常に気まぐれである。
ここで重要な点は、最初のテストで得た教訓を、次の一連の広告を作成する際に捨ててしまわないことだ。 20%オフのイメージがターゲットのグループの共感を得たなら、この要素のバリエーション（色、フォント、サイズ等）を次回の広告に導入し、再びこのプロセスの計測および改善に取り掛かるのだ。
A/Bテストはダイレクトメールから始まったように、eメールマーケティングキャンペーンでは、A/Bテストの実施は欠かせない。題名、送信元、日/週/月、HTML vs. プレーンテキスト等 – 何をテストしているにせよ、継続的にテストを行い、改善しているわけではないなら…連絡を取ってほしい。皆さんから何か学べるかもしれないからだ。
何はともあれ、オンライン広告のテストと同じように、eメールマーケティングのA/Bテストは、ユーザーに関する多くのデータをもたらしてくれる可能性がある。一般的に無料、20 %オフ、新発売等の魅力的な題名によく反応しているだろうか？あるいは、平均的にコミュニケーションによって期待されることを伝えるような、よりソフトなイントロの方が受け入れられているだろうか？
メールチンプ、Aウェバー、もしくはその他のeメールマーケティングプロバイダーを利用しているなら、A/Bテストの設定は簡単である。例えば、Aウェバーでは、「Messages > Broadcast」タブをクリックし、スクロールダウンして「Create Split Test」を探す。Aウェバーでは、最大で4つのバリエーションを作成することが可能だが、2つあれば利用することが出来る。合計が100%であることが条件だが、バリエーションを目にするグループの%を入力することが出来る。
メールチンプは、2つのバリエーションのみを提供し、管理者がメールリストのうちバリエーションを見る%を指定する。興味深いことに、メールチンプのA/Bテストツールは、A/Bテストでトレンドになりつつある自動化を用意している。eメールリストの20%がバリエーションAまたはB（それぞれ10%）を見ると指定すると、ユーザー限定の目標に基づき、どちらのeメールが優秀な成績を収めたとしても、メールチンプは自動的に残りのメールリストの80%にパフォーマンスの優れたeメールを送ることが出来る。
eメールマーケティングに対するA/Bテストに投じるべきアイテムを幾つか挙げていく:
簡単なアイテム:
若干複雑なアイテム:
それでは、こういった要素において何を計測するべきなのだろうか？オンライン広告と同じように、それは目標に大きく左右される。クリックスルーしてランディングページに来てもらいたいのだろうか？製品を購入してもらいたいのだろうか？フェイスブックのページに登録してもらいたいのだろうか？テストを行う前に、目標が設定されている点を確認する必要がある。とは言ってみたものの、どのような目標を決めていても、次の3つのアイテムに関しては、トラッキングのメソッドに含めてもらいたい:
A/Bテストは、広告とeメールマーケティングの領域のみに帰属するわけではない。ネットフリックス、アマゾン、そして、グーグルもA/Bテストを支持しており、今日見たグーグルが必ずしも正しいグーグルだとは限らない。実際に目にしているたのは、要素を基にテストされているコアのグーグルのサービスのバリエーションである。
それでは、ここまでしっかりと集中して読んできたなら、オンライン広告においても、eメールマーケティングキャンペーンにおいても、消費者に提示されるソースコードを修正する必要がある点に既に気づいているはずだ。 広告のテキストを変えたのであれ、eメールの題名を変えたのであれ、これは全て広告を提供する側の比較的軽く、容易な変更である。しかし、ウェブサイトでアイテムをA/Bテストにかける場合はどうだろうか？2006年に立ち上げられたグーグルのウェブサイトオプティマイザーツールを思い出そうとしているなら、方向性としては間違えていない。しかしこのツールは、ユーザー毎に表示内容を変更するなど複雑な設定をするには複数のコードをページに挿入する必要がある。例えば、ディベロッパー以外の人達（オフィスの残りの従業員）は、1つまたは2つのアイテムを変更するために、開発者チームに余分に作業をリクエストしなければならなかった。これではまだ理想的なソリューションとは言えない。
現在、ウェブサイトのA/Bテストおよび微調整機能だけでなく、その他の貴重な機能を持つサービスが多数存在する（ヒートマッピング、評価フォーム、ベンチマーキングの調査等）。その幾つかは、差し当たりは不要な機能を用意しているものの、A/Bテストの効果に気づくと、このような“他の機能”が思っていたよりも早く必要になってくる。
A/Bテストを用いる場所
ユーザーエクスペリエンスにおけるA/Bの応用および機会は、挙げればきりがない。ユーザーをランディングページに導くプロモーションキャンペーンを行う予定だろうか？その場合、A/Bテストを最初の週で実施し、その後、パフォーマンスの好調な広告を自動的に残りの3週間で実施することは出来るだろうか？もちろん可能である。
ホームページの「Buy Now!」ボタンが低調だと感じるだろうか？それなら、Bのバリエーションで形、サイズ、色、もしくは、ボタンの位置を変更し、結果を計測しよう。また、ホームページに関して言えば、宣伝文句を掲載するのだろうか、それとも、歓迎する合図を送るのだろうか？開発の初期段階なら、大胆に大きな変更を行い、インバウンドのトラフィックがどのように反応するのか確かめる手も考えられる。
奇妙に思えるかもしれないが、私は今から1年と少し前に担当したプロジェクトで、とても小さな要素を変えたところ（「お問い合わせ」タブを一番左側から右側に移動した）、クリック数、関心、そして、最終的に売り上げが大幅に増加したことがある。その理由は今でも分からない。それでも、データが嘘をつかないことだけは確かである。オーディエンスの力を過小評価してはならない。ちょっとした変更が大きな違いを生み出すことがあるのだ。
しかし、この主張は私だけのものではない。グーグルは、ツールバーの色のようなシンプルなアイテムに対してもA/Bテストを実行していることで有名だ。
A/Bテストの使い方
要素によって異なるコードのセットが必要な場合、どうすればいいのだろうか？繰り返すが、数年前、これは技術的な課題であった。しかし、現在は、たった1行のコードを挿入するだけで、すぐに行動を起こせる。
私がA/Bテストに愛用しているツールを一つ紹介しよう。それは、Optimizely（オプティマイザリー）だ。元グーグラーのダン・シローカー氏（オバマ大統領の選挙キャンペーンで一躍脚光を浴びた）、そして、ピート・クーメン氏が設立したオプティマイザリーは、A/Bテストの力をマウスをクリックするだけで解き放つことが可能なツールである。先程も申し上げた通り、Javascriptを1行その場で挿入するだけで、マーケッター達は心行くまでテストすることが出来るようになる。</ p>
とてもシンプルなWYSIWYGエディターをベースにしており、ワードプレスやその他の同様のCMS/パブリッシングツールを使ったことがあるなら、すぐにインターフェースに慣れるはずだ。例えば、TNWの怖いもの知らずのリーダーこと、Zeeが、TNWのロゴを介してホームページにユーザーが戻ってくるのは、ロゴが左側に掲載されている方が多いか、もしくは、右側に掲載されている方が多いのか計測したがっているとしよう。その場合、オプティマイザリーでは、コードを挿入して、後はこのインターフェースを使って、ロゴを右側に移動させ、目標値を設定し、そして、「Start Experiment」（実験を始める）をクリックするだけで済む。
これはあくまでも一つの例に過ぎない。ここまで手っ取り早く、容易に、そして、安価な価格でA/Bテストを実行することが可能なため、逆に継続的なA/Bテストの実施を拒む理由が見当たらない。
既にA/Bテストを活用する取り組みのメリットおよび根拠を伝えたつもりだ。しかし、特に“ローカルマキシマム”を始めとする、A/Bテストのリスクについて最後に考えてもらいたい。ローカルマキシマムとは、A/Bテストを行う上で、ミクロに焦点を絞ってしまいがちになり、マクロのことをすっかり忘れてしまう状況を意味する。
ハブスポットのスティーブ・ハッセ氏が、ジョッシュ・ポーター氏による「ローカルマキシマム」の分析を紹介してくれた。この記事では、ポーター氏は、ローカルマキシマムを「…現在のデザインの限界に達するポイント…現状では最高に効果的な状態であり、100点調節を行ったとしても、たいして改善されない」状況だと説明している。
これは、今回紹介した3つのチャンネルだけでなく、A/Bテストが役に立つ全ての状況に当てはまる。何度も調整を行っても、矢は最終的に風に負けてしまうのだ。この状況を打破するため、矢の形を大幅に変えると何が起きるのだろうか…
それでは、限界まで調整を行い、「ローカルマキシマム」に到達したら、何をすればいいのだろうか？「…最適化を止め、次のステップを見出すために他の種類の分析に戻る。インタビューを行う。ユーザーテストを実施する。調査を提供し、質問を投げかける」とポーター氏は提案している。こういったツールが「ユーザーが何を求めているのか」を探る調査でもともと最初に用いられているなら、プロセスを再検討し、確かなA/Bテストを先に行うべきなのかもしれない。
今回はA/Bテストで何ができるのか、そして、何にA/Bテストを使うべきなのか、そして、使うことが出来るのかに関して簡単に説明した。プロダクトデザイン、eコマースの売り上げを高める取り組み、強固な価格決定戦略の特定 – すべてA/Bテストを利用することが出来る。A/Bテストの素晴らしさは、消費者が常に最高の情報を与えてくれる点である。この情報を集める取り組みを、出来るだけ消費者にとって簡単に、そして、（自分自身にとっても）手間を与えずに行うのは、どう考えても理に適っている。
最後に、この記事がバージョンAなのか、バージョンBなのかが分かるなら挙手してもらいたい。
幸せそうな家族の写真: StarMama
試験管の写真: Jeffrey Roberts
この記事は、The Next Webに掲載された「Why A/B testing is essential to your startup’s campaigns」を翻訳した内容です。
A/Bテストの基本的な話を広告、メール、サイトにわけて長々と書き連ねた文章でしたが、とりあえずA/Bテストの重要性と実施することがかつてない程、簡単になっていることはお分かりいただけたのではないでしょうか。ネット以前のダイレクトマーケティングで数十年の歴史を持つA/Bテストですが、元々その分野で経験のある人が少ないのか、従来の紙ベースのテストでは考えられない手軽さで早く安く簡単に行えるにも関わらず、まだまだ活用されていないのがネット上のA/Bテストです。これからはなんとかマーケティングだ・・・とかいう言葉に踊らされる前に、改めて見直してみたい古典的手法です。
2002年設立から、20年以上に渡りSEOサービスを展開。支援会社は延べ2,000社を超える。SEO/CRO（コンバージョン最適化）を強みとするWebコンサルティング会社。日本初のSEO情報サイトであるSEO Japanを通じて、日本におけるSEOの普及に大きく貢献。
SEO最新情報やセミナー開催のお知らせなど、お役立ち情報を無料でお届けします。
