「楽」にテストするほど、サイト改善の効果は上がる

Wednesday, 15 June 2011 @ 12:03, by 森田 恭平

闇雲にテストを始めてはいけない

先日、私がコンサルティングを担当しているクライアントから「自社サイトの改善案を作ったので、本当に効果があるか検証してみたい」というリクエストがありました。
改善案を見てみると、そこには30もの改善案リストが並んでいました。
「ここは実は違う見せ方をしたほうがよいのでは」「このコンテンツをもっと目立たせたい」
いずれの案もすばらしく、今すぐにでもAdobe Test&Targetで検証していただきたいものばかりです。しかし、同時にすべての案をテストすることはできません。数ある改善案の中からどのテストを実施するか、優先順位を付ける必要があります。
実をいえば、多くの企業はここで優先順位の付け方を間違えてしまうのです。

では、どのような視点からテストの優先順位を決めればよいのでしょうか?

優先すべきは「成果が出そうなテスト」と「簡単なテスト」

結論から言いますと、優先すべきは「成果が出そうなテスト」と「実施が簡単なテスト」の2つです。
前者の「成果が出そうなテスト」とは、Adobe SiteCatalystやAdobe Discoverなどで十分な分析を行い、「ここがサイト内の課題であり解消すべきである」、そう認識できた箇所をテストする事です。
例えば、サイト内検索機能を利用する訪問者よりも、サイトナビゲーションを利用して遷移する訪問者の方が申し込み完了する確率が高い際、サイト内検索ボックスよりもナビゲーションをより目立たせるテストを実施します。このようなデータに基づいたテスト案は、サイトの分析を深く行う事で見えてきます。そして、データに基づいたアプローチは、思いつきでテストをするよりも、より確実に成果が出せます。「成果が出そうなテスト」とはこのようなアプローチで組み立てたテストです。
分析方法、アプローチ方法については内容が多岐にわたるため、機会を改めてご紹介させていただきます。

なぜ簡単なテストを優先するのか?

では、なぜ後者の「実施が簡単なテスト」も優先すべきなのでしょうか? 「簡単さにこだわっても、成果なんか上がりっこない」そう思われるかもしれませんね。

「実施が簡単なテスト」をお勧めする理由は、以下の3点です。

(1)テスト実施の難易度とテスト結果は関係がない

たった1時間で準備できたテストで、コンバージョンを劇的に向上できることもあります。

(2)実装の難易度が高いテストほど準備工数がかかる

準備工数が少ないテストほど(準備投資が少ないほど)、投資対効果は高くなります。

(3)テストは何度も繰り返す必要がある
簡単なテストほど短期間で準備でき、短いサイクルで何回も実施できます。たくさんのテストを実施すればするほど、より成果を出しやすくなります。

極端な例ですが、私がコンサルティングを担当したケースでは、準備に半日かけた簡単なテストによって、コンバージョン率が5倍になったことがありました。トップページのバナーにて、特定の地域からの訪問者にスペシャルメッセージを用意しただけでコンバージョン率が5倍です。
逆に、1週間かけて準備したにもかかわらず、ほとんど成果を上げられなかったテストもあります。サイトのナビゲーション階層を変更するというシステム修正を行い、システム開発にかなりの時間を費やしたため、1週間もの時間がかかったようです。
このように、テストでは必ずしも狙った結果を出せるとは限りません。それならば、簡単なテストから確実に実施していった方がメリットは大きくなるでしょう。

テスト難易度をどうやって見極めるか?

では、「難易度の低いテスト」あるいは「高いテスト」とは具体的にどのようなものでしょう?
まず、難易度の低いテストとは、まずは「静的なコンテンツ」です。
例えば静的なバナーやテキストの入れ換えといったテストは、たいていの場合、数行程度のコードを追加するだけで実施できます。このようなテストでも十分に成果を出せます。
逆に、難易度が高いテストは「システム開発が必要」「社内調整作業に時間がかかる」テストです。
例えば複数サイトにまたがるテンプレートや、Ajaxを使ったコンテンツのテストは、難易度が高くなります。こうしたテストでは、書かなければならないコードの量も、チェック作業も多くなるでしょう。
また、社内関係者との調整が必要なテストやクリエイティブ素材の入手に時間がかかるテストも難易度が高くなります。例えば、サイト内のメインキャラクターなどを使用してテストする際に、レギュレーション管理部門との調整が必要になるケースがあるようです。テストの難易度は、技術的な視点以外の要素も含めて判断するようにしてください。

ウェブサイトのテストは一度で終わりではなく、何度も繰り返していかなければなりません。面倒なようですが、テスト結果を丁寧に分析し、確実にテストを繰り返していけば、コンバージョンや売上アップはほぼ確実に期待できます。そのためにも、できる限り「楽して」テストが行えるように心がけてください。

コメントをどうぞ

「楽」にテストするほど、サイト改善の効果は上がるへの1 件のコメント

  1. 鳴海 拓也2011/6/18 @ 10:52 am

    非常に参考になりました。

    難易度の高いテスト=成果が高い施策

    でないことは漠然とは思っていましたが、森田さんの記事で論理的に理解することができました。

    ありがとうございました。