今回はA/Bテストをより効率的に実行し、改善に繋げるための手法として”A/Bテストカレンダー”を使ったテストの実施方法をご紹介いたします。「A/Bテストの実施を検討している」もしくは、「既にA/Bテストを行っている」場合は、よりテストの効率化を図るための参考にしてみてください。- growth hack japan

※なお、本記事はLPOツールを提供している unbounceGrow Your Conversion Rates Consistently with an A/B Testing Calendarという記事を翻訳しています。※記事中のリンク先は英語のページです。

プランニングを元に効果的なテスト運用を行う

多くのマーケターにとって、A/Bテストを行うときの最大の障害は時間です。なぜなら、日々積み重なっていくタスクや大きなプロジェクトにも向き合わなければならないからです。しかし、毎月60分のプランニングをするだけで、A/Bテストを実行に移せます。

A/Bテストカレンダーは毎週、毎月のテストで何を行い、改善の目的とするのか、テストの開始と完了時期などを設定するためのものです。テストの目的や期間が明確になればやる気にも繋がり、より効率的にテスト進められ成果にも貢献します。
まず以下のグラフを確認してみてください。このグラフの毎月のテスト回数が示すように、A/Bテストカレンダーを用いることによって月ごとに実施するテスト回数をA/Bテストカレンダーの導入前より増やすことができます。

ad-hoc-vs-ab-testing-calendar

緑色の”calendaer”となっている4月からのテスト回数の推移が、倍増しています。テスト回数は、ページ改善のデータを得る上で重要な指標の一つになります。 – growth hack japan

言うまでもないですが、2倍の数のテストから得られる成果大きく、コンバージョン率や自分の意欲も高められます。もし、テストを先延ばしにするような憂鬱な状態から抜け出したいなら先を読み進めてください。A/Bテストカレンダーはテストを成功に導くことができます。

Step1 テスト対象を把握する

最初のステップは何を最適化したいか選ぶことです。
ユーザー獲得のためにランディングページや導線など取り掛かれる場所は多くあります。ポイントはその中から1つを選んでテストを実行することです。

・トップページをOptimizelyやVWOなどのツールでテストする。
・ランディングページをUnbounceでテストする。
・SparkPageやVeroなどのツールを使用して導線をテストする。

テスト対象のページを把握することは最初の重要なステップです。一度大枠の対象を決めてしまえば、始めに設定した仮説について細かく検証することができます。以下は、ConversionXLのスタッフによる仮説検証の優先度づけと明確化についての簡単なサマリーです。

1 課題があるページを見極める : アナリティクを用いてトラフィックは高いが、離脱率も共に高くなっているページがないかを調査します。
2 ユーザーの声を取り入れる : データとユーザーの意見を合わせてより良い仮説を設定する。
3 テストの優先度を設定する ※優先度付けは次の3つの基準で行います。
・いくつかの計測値に影響を与える可能性があるか。
・それぞれの計測値の重要度
・導入コスト
参照:How to Build a Strong A/B Testing Plan That Gets Results

step2 月ごとのCVの計測

次に、過去のテストを確認しどのページで月ごとにいくつのCVが取れたのか計測していく必要があります。例えば、1ヶ月間にトラフィックとCVを最も獲得しそうなページがトップページだとします。大まかな数値を元に始めるとすると、テストで有効な数値を得えるためには、各テストページごとに約250ほどのCVがあると望ましいです。

250CVという数値は、目安としては信頼できますが、Optimizelyのsample size calculatorを使えばもっと正確な数値を割り出せます。CVの1ヶ月間の平均値と目標値があれば、テストできるページパターン数を導き出すことができます。

<月ごとのテストページパターンを計測>

例として、月間 5000PV、コンバージョン率が15%の新刊の電子書籍を扱ったランディングページを持っているとします。つまり、750冊分のダウンロード(コンバージョン)が毎月あります。250CVごとにテストを行うという大まかな目安を適用すると、月に3種類のテストを実行できます。

step3 標準的なテスト期間

※この項目は、この記事の中で最も重要な内容になります。
Step2で紹介している計算方法で、どのページで何種類のテストパターンを検証できるか把握した後は、テスト期間の設定に移りましょう。参考までに、標準的なテスト期間を設定せずにテストをおこなった場合、テスト結果は以下のような結果となってしまいます。

期間が定まっていないテスト

上記では、それぞれのテスト対象で2パターンのバージョンしかテストできていません、またテストの完了時期がずれていまっているため、次のテストに移すことができません。 Home pageとeBook LPのテストはともに1ヶ月以内に完了していますが、テストに1ヶ月かかったサンクスメールと同じ2パターンしかテストできていません。 – growth hack japan

なぜなら、明確なテスト期間を持っていないため、テストの開始と終了が異なる時期になってしまったからです。これではテストをうまく行うことは難しいです。では、テストを正確に1ヶ月間、コンバージョン数から求められる最大限のテストパターンを試してみましょう。

standardized-a-b-testing

ここでは、スケジュール通りにテストを実行するのがとても簡単になっており、開始と完了が同じ日数になっています。もし、テスト設計を正確に区切って行うのであれば、月次のミーティングはこんな風に始めるべきです。

・先月行った全てのテストは完了した状態で、結果をチームでの協議と学習に活かせる状態にする。
・当月のテストはすでに実施中の状態である。
・次月のテストのために、ブレインストーミングとプランニングに時間を費やす。

これらのことに気をつければ、それぞれのテストを月末の同じ日に完了させて次のテストに移れます。無駄なことに時間を使わず、効率的なテスト運用を行いA/Bテストのエキスパートになりましょう。

step4 テンプレートを活用しましょう

A/Bテストカレンダーのテンプレートを使ってテストの最適化をしてみましょう。
参照:A/Bテストカレンダー
a/bテストカレンダー

こちらのシートは英語で記載されています。対象ごとにシートを分け、「Details」でテストを行った期間やテスト項目名、仮説を記載し、「Variants」でバージョンの管理、「Results」ではテスト結果の管理を行っています。 – growth hack japan

このシートではそれぞれのテストを確認し仮説設定を行い、目標を決めることができます。(もし、これらの一連の流れを行ったことがない場合は、こちらをご参照ください。 How to Formulate A Smart A/B Test Hypothesis )

テストページによって異なる設定をされたタブがあり、それぞれの導線を使った月ごとのテストがあります。 もしテストを毎週、隔週で行う十分なリソースとトラフィックがあるならば月ごとではなく週ごとの表に変えましょう。そして、更にA/Bテストの目標設定と内容を深める場合はOptimizelyとKISSmetricsによるこちらの解説をご確認ください。
Optimizely Presents: Analytics in A/B Testing (A/Bテストのプランニングについて32:00ごろにディスカッションしています。)

<15分で実践できるA/Bテストのためのアクション>

これまで紹介したことを行うのに、それほど時間はかかりません。実はA/Bテストカレンダーは15分ほどで作成することができます。

・最初にアクイジション(ユーザーの獲得)を行う過程で重要なページを図で書いてみましょう。例えば、トップページやキャンペーンのランディングページ、ユーザーフロー、サンクスメールなどがあります。
・次にテンプレートをダウンロードし、あなたが認識しているテストパターンごとに新しいタブを作りましょう。時間設定をそれぞれ(月、週、など)テストスケジュールに合うように設定しましょう。
・最近実施したテストや次月の実施を考えているテスト対象をリスト化しましょう。
・今から次月の初めまでの間にそれぞれのテストについて詳細を洗い出しましょう。 テストしたいとページのテストパターンを決めて、広告文や画像などを用意しておきましょう。

まとめ

A/Bテストを効果的に運用させていくためには、綿密な計画が必要です。この記事では、「テスト対象の課題把握」「テストの実施に必要なPV数、コンバージョン数」「テスト期間の設定の仕方」についてそれぞれ解説しています。実際にA/Bテストを運用する際には、まずサイトの流入数やコンバージョン率などの数値を正確に把握した上で、A/Bテストカレンダーをカスタマイズし、効率的なテストの運用を行いましょう。 – growth hack japan

記事情報

unbounce

本記事はLPOツール等のマーケティングツールを提唱してるunbounceGrow Your Conversion Rates Consistently with an A/B Testing Calendarという記事を翻訳しました。Unbounceは、大手のECサイトやビジネスマン向けSNSのサイト改善を行っています。また、こちらのブログではLPO以外にもコンテンツマーケティング、デザインなど、幅広い分野のナレッジを実例を元に紹介しています。