サイトをテストで最適化！ Part2：複数要素を効率的にテストできるMVT

2つの要素を同時にテストしたら、さらに効果が出る？

ウェブサイトは、購入ボタンやキャッチコピー、イメージカラーといった複数の要素で構成されています。前回は、各要素について最適なパターンを見つけ出すための手法としてA/Bテストを紹介しました。
仮に、購入ボタン1つを他のパターンに入れ換えてパフォーマンスがアップしたなら、他の要素についても同じように入れ換えたらさらに大きな効果を期待できるのではないでしょうか？

闇雲にテストをしてもサイトを最適化することにはならない

残念ながら、同じページにある2つ以上の要素を同時にテストしても、効果があるとは限りません。
例えば、ホームページに「ウェルカムメッセージ」と「会員登録ボタン」という2つの要素があったとしましょう。この両方の要素について、同じ「会員登録数」を成功指標としたA/Bテストを同時に実施したらどうなるでしょう？

登録者数が増減したとしても、増減に影響したのが「ウェルカムメッセージ」なのか「登録ボタン」なのか判断がつきません。何が結果に影響したのか判断がつかなければ仮説の検証が行うことも、次のテストを組み立てることもできなくなります。闇雲に無駄なテストを繰り返しても、ウェブサイトを最適化することにはならないのです。
では、複数の要素を同時にテストしたい場合はどうすればいいのでしょう？

複数要素を同時にテストするには、「配列」を作る

「ウェルカムメッセージ」と「会員登録ボタン」の2つの要素を同時にテストしたい場合には、要素とパターン候補を組み合わせた「配列」を作ります。配列とは、訪問者に見せ分けるクリエイティブ（Adobe Test&Targetでは「エクスペリエンス」と表現されます）のことです。

例えば、2つの要素に対してそれぞれ3パターンの候補があったとしましょう。
この場合は「メッセージA＋ボタンA」、「メッセージB＋ボタンA」「メッセージC＋ボタンA」「メッセージA＋ボタンB」……のように、全部で3×3＝9通りの配列を作成することになります。
ただし、テスト結果を判断するためには、配列ごとに充分なコンバージョン数を得ることが必要です。配列の数が多い場合にはテスト結果を得るまでに数ヶ月以上かかる可能性があります。テストを行う際には、できるだけ配列数を抑えるように組み立てるように注意しましょう。

とはいっても、製品カタログページのように、価格、送料、製品評価、画像など、製品購入をうながす要素がたくさんあることは珍しくありませんね。これだけたくさんの要素があると、配列の数も膨大になりますから、すぐに売上アップを図るというわけにはいきません。何かよい手はないでしょうか？

MVT（多変量解析テスト）なら、少ない配列でテストできる

ここで活躍するのが、Adobe Test&Targetに搭載されている多変量解析テスト（Multivariate Test、以降MVT）です。MVTは、統計を用いることによって効率よく複数要素の同時テストを行う機能です。
MVTは、要素数とパターン数から適切な数の配列を自動生成します（＊）。例えば4要素×3パターンの場合、総当りのA/Bテストでは3×3×3×3＝81通りの配列になりますが、MVTを用いると9通りの配列が生成されます。この9通りの配列をテストすれば、どのパターンが効果的か、かなりの確率で推定できるのです。

(*) 配列の生成には、田口玄一博士が考案したタグチメソッドという手法が使われています。

A/BテストとMVTを適切に使い分けよう

大きな利点のあるMVTですが、万能の手法ではないことに注意してください。もう一度、A/BテストとMVTの長所と短所について整理しておきましょう。
A/Bテストは要素とパターンの総当りのため、すべての配列を実際にテストした結果を得ることができます。その反面、複数要素をテストするには制作コストやテスト期間の長期化が懸念されます。

一方、MVTは、複数要素のテスト結果を比較的短時間で得られます。その代わり、結果はあくまでも統計に基づいて予測されたものとなり、実測値ではありません。
テストしたいページとそれぞれのテスト方式の特徴を理解して、テストを組み立てるようにしましょう。

• 川角 保子
• 0 件のコメント
•  Testing and Targeting