広告のA/Bテストと聞くと、2案を作って反応の良かった方を採用する。そんなイメージを持たれているかもしれません。ですが、この理解のままテストを進めると、成果につながらない案を選んでしまうことがあります。
つまずきどころは、大きく2つあります。1つは、2案を同じ広告グループに入れて回してしまうケースです。媒体の自動最適化がはたらき、配信が片方に偏ります。もう1つは、クリック率の高さだけで勝ちを決めてしまうケースです。クリックされても、その先の購入につながるとは限りません。
この記事では、広告のA/Bテストを3つの段階に分けて整理します。何をテストするか、どう公平に配信するか、そして何を見て採否を決めるか。この3つをおさえれば、手元の広告で最初に試すべき一手が決まります。
1.広告のA/Bテストとは？1要素だけ変えて2案を比べる手法
広告のA/Bテストとは、検証したい1要素だけを変えた2案を同じ期間に並べて配信し、購入や申し込みといった成果の数で優劣を決める手法です。狙いは、感覚での選択を、成果の数字にもとづく判断に置き換えることです。
変える要素を1つに絞るのは、複数を同時に動かすと、どの変更が成果を生んだのか特定できなくなるからです。広告で変えられる要素には、訴求（何を言うか）・画像・見出しなどがあります。
このうち見出しと画像を一度に差し替えたB案が、A案より多くの購入につながったとします。それでも、成果を押し上げたのが見出しなのか画像なのかは判別できません。
2案を作って良い方を採用する。A/Bテストをこう捉えている方は、少なくありません。この形でも、どちらが多く売れたかという勝ち負けは分かります。ただ、勝った理由が特定できないと、次にどの要素を直せばいいのかが見えないまま、テストは1回きりの答え合わせで終わります。
変えるのは1要素だけに絞ります。訴求・画像・見出しのうち検証したい1点だけを2案で変え、それ以外は2案とも同じ内容のままにします。まず、手元の広告で訴求・画像・見出しのうちどれを検証するか、1つだけ選んでみます。
2.成果を大きく動かす要素だけを検証する
2-1. 着手順はCVへの影響が大きい要素からにする
最初に検証するのは、見出しの言い回しといった細部ではなく、広告で何を言うか（訴求）とどんな買い得条件を出すか（オファー）です。この2つは、成果の動き方がもっとも大きい要素だからです。
広告の要素は、成果への影響が均一ではありません。一般に、訴求やオファーの影響が大きく、画像や動画などのクリエイティブ、言い回しの微調整と続くほど、動く幅は小さくなる傾向があります。
なかでも土台になるのが訴求です。ここがずれていると、言葉づかいをどれだけ整えても、申し込みや購入の数はほとんど変わりません。
たとえば送料無料を打ち出すか、初回20%オフを打ち出すか。このオファーの違いは、申し込み数を大きく左右します。一方、同じ内容を「送料無料」と書くか「送料0円」と書くかの差は、出たとしてもわずかなことが多いです。
同じ工数をかけるなら、動く可能性が高い方から手をつけたほうが、テスト1回あたりの学びは大きくなります。
テストに割ける予算も期間も限られています。動く可能性の高い訴求・オファーを先に、細部の調整は土台が固まってから。この順で検証すれば、限られた回数でも成果に届きやすくなります。
2-2. テストする前に仮説を立てる
2案を用意する前に、変更で何がどう動くかの仮説を言葉にしておきます。具体的には、この要素をこう変えれば、この指標が上がる、その理由はこうだ、という筋道を先に立てます。これが仮説です。
この一手間を省いてテストを始めると、結果が出たあとに困ります。B案が勝っても、なぜ勝ったのかを説明できなければ、その学びを次の広告に応用できません。
負けたときも同じで、立てた見込みと照らし合わせられないと、何が外れたのか分からないまま終わります。1回のテストで得たはずの学びが手元に残らず、次の広告づくりにつながっていきません。
その仮説は、思いつきで立てるものではありません。手がかりは手元にあります。既存の配信データで反応の良かった訴求、問い合わせでよく挙がる不安や要望、過去に成果の出た広告の共通点。
こうした材料から、次に変えると成果が動きそうな一点を絞り込みます。たとえば問い合わせで価格への不安が多いなら、初回価格を前面に出せば申し込みが増えるはず、と筋道が立ちます。
見込みを立てておくと、テスト結果は単なる勝ち負けではなく、次に活かせる材料に変わります。勝てば読みが裏づけられ、負ければ外れた理由が分かります。1回ごとの結果を積み上げていけば、テストは単発の答え合わせで終わりません。
3.実験機能で2案を公平に配信する
3-1. 媒体の「自動最適化」が露出を偏らせる
1つの広告グループにA案とB案をそのまま入れて配信すると、公平な比較になりません。媒体側の設定によって、配信量が片方に偏るからです。
Google広告では、1つの広告グループに複数の広告を入れると、広告は同時に表示されず、オークションのたびに1つずつ入れ替わりで出ます。
このとき「広告のローテーション」を最適化にしていると、媒体はより多くのクリックを取れそうな広告を優先します（コンバージョン数を狙うスマート自動入札では、優先の基準はコンバージョンになります）。A案とB案を並べれば、媒体は早い段階でどちらかを優先し、そちらへ露出を集めていきます。
問題は、その判断が配信の序盤に、わずかな件数の差で下される点です。たまたま初日にA案のクリックが数件多かっただけで、媒体はA案を優先し始めます。するとB案には露出が回らず、比較に足るデータが溜まりません。
しかも手動入札やクリック基準で運用している場合、ここで優先されるのはクリックを取れそうな広告であって、最終的な成果まで見て選ばれるとは限りません。本来はB案のほうが購入につながったかもしれないのに、その可能性を確かめる前に決着がついてしまいます。
これが1つ目の落とし穴です。同じ条件で比べているつもりでも、実際には配信量に差がつき、公平な比較の前提が崩れています。
3-2. 公平な配信には分割方式の選択が必要
配信の偏りを防ぐには、媒体が用意している実験機能を使います。この機能は、広告を見るユーザーを2つのグループに分け、片方にA案、もう片方にB案を配信します。
ユーザーの振り分けはランダムに行われるため、2つのグループには同じ客層の見込み客が同じ規模で割り当てられます。年齢や関心の偏りがならされるので、出た差を客層の違いではなくA案とB案の違いとして読めます。
媒体が片方へ配信を寄せることもなくなり、両案に比較できるだけのデータが同じ条件で溜まっていきます。
こうした分割配信の機能は、主要な媒体が標準で用意しています。MetaにはA/Bテストという専用機能があり、同じ人が両方の案を見ないよう配信して比較します。Google広告にも「テスト（カスタムテスト）」があり、配信を分けて元の案とテスト案の成果を並べて比べられます。
実験機能を使わず、同じ内容のキャンペーンを2つ作って手動で並走させる方法もあります。ただ、これはおすすめしません。同じターゲットを狙う2つのキャンペーンは、同じユーザーに両方が配信される重複が起き、どちらの案に反応したのかが混ざります。
予算の配分も媒体側で自動調整され、結局は配信が偏ります。分割配信は、この重複と偏りをまとめて避けられる点で優れています。
公平なテストの土台は、配信の設計で決まります。2案を同じ期間・同じ規模で、重複なく届ける。ここを整えておけば、あとから出る数字は信頼して読めます。
4.何を見て採否を決めるのか——指標・件数・差の見極め
4-1. 採否の軸は最終成果に置く
見るべきは、CV（購入や申し込みの件数）、CPA（1件の成果にかかった費用）、ROAS（広告費の何倍を売り上げたか）の3つです。どの案を採用するかは、この最終成果の指標で決めます。
この3つは、広告が事業にどれだけ貢献したかを直接映す指標です。CVは成果の数そのもの、CPAはその成果を1件得るのにいくらかかったか、ROASは投じた広告費が何倍の売上になって返ってきたかを表します。
たとえば同じ10件のCVでも、1件2,000円で獲得したA案と、1件5,000円かかったB案では、事業への貢献はまるで違います。だから件数だけでなく、CPAやROASまで合わせて見て、費用に見合う成果かどうかを判断します。
何を主役の指標に置くかは、商材や広告の目的で変わります。まず利益を確保したいならCPAを軸に、売上規模を伸ばしたい局面ならROASを軸に、といった具合です。購入なのか申し込みなのか、資料請求なのか、自社にとっての「成果」が何かを先に決め、それに対応する指標で優劣を判断します。
一方、クリック率（CTR）やクリック単価（CPC）は途中経過にすぎません。クリックされても購入されなければ、広告費がかかるだけで成果は残らない。クリック率の高さだけで採用を決めると、費用対効果で劣る案を選びかねません。これが2つ目の落とし穴です。
中間の数字は参考にとどめ、採否はあくまで最終成果で決めます。
4-2. 件数と差の大きさが判断の精度を決める
A案とB案のあいだに出た成果の差が本物かどうかは、集まったCVの件数で決まります。件数が少ないうちの勝ち負けは、偶然で入れ替わる程度のものだと考えておきます。
コイン投げを例にとります。10回投げて表が6回出ても、そのコインが表の出やすいコインだとは言えません。100回、1000回と投げるうちに、確率は本来の値へ近づいていきます。広告のテストも同じで、CVが数件しかない段階の差は、たまたまの偏りで生まれた差と区別がつきません。
もう一つ判断を左右するのが、A案とB案の成果の開き具合です。両案のCV数やCPAが大きく離れていれば、少ない件数でも差は早く表面化します。逆に、成果が僅差の勝負ほど、本物の差を見極めるのに多くの件数が要ります。
CVが10件対11件のような僅差では、まだ何も言えません。この2案には、判断できるだけの件数がまだ足りていない状態です。
では何件あれば十分か。ここで手がかりになるのが有意差という考え方です。簡単に言うと、出た差が「たまたまではなさそう」と言えるだけの大きさかどうか、その見きわめのことです。
必要な件数は成果の開き具合によって変わるため、一律の正解はありません。おおよその必要件数は、サンプルサイズを自動で算出するツールに、いまのCV率と狙う改善幅を入力すれば見積もれます。
少なくとも、数件の差で飛びつくのは避けたいところです。判断に足る件数が溜まるのを待つ。この一手間が、誤った採用をもっとも確実に防ぎます。
4-3. 採否の3パターン：A採用／B採用／どちらでもない
テストの結果は、勝ちと負けの2択ではありません。十分な件数のうえで判断すると、行き着く先は3つに分かれます。
1つ目はA案の採用です。判断に足る件数が溜まり、成果の指標でAがBを有意に上回った状態。迷わずAを本番に使います。2つ目はその逆で、同じ条件でBがAを上回ったB案の採用です。
3つ目が、見落とされがちな「どちらでもない」です。件数は十分に溜まったのに、A案とB案の成果に意味のある差が出ない。この場合、勝者を無理に選ぶ必要はありません。
差が出なかったのは、失敗ではありません。検証した要素は、少なくともこの件数で測れる範囲では成果を大きく動かさない可能性が高い、と分かったからです。
たとえば見出しの言い回しを変えても成果が変わらなかったなら、そこは今の優先順位では後回しにしてよい部分だと判断できます。労力を注ぐべきは別の要素だと見極め、次の検証へ移れます。
勝ち負けだけを求めると、差のない結果は徒労に見えます。ですが、動かない要素を1つ特定できたことも、確かな前進です。A採用・B採用・差なし。この3つをどれも結論として受け止められると、テストのたびに何かしらの手がかりが残ります。
5.よくある質問（FAQ）
A/Bテストは最低どのくらいの期間・予算が必要？
決まった最低ラインはありません。テストの長さと予算は、判断に必要なCVの件数が溜まるまで、を基準に逆算して決めます。
基準を期間ではなく件数に置くのは、必要な件数が溜まる速さが商材ごとに違うからです。1日に何十件も申し込みが入る商材なら数日で足りますし、月に数件の商材なら数週間かかることもあります。「2週間やれば十分」といった日数の目安が当てにならないのは、このためです。
ただし、短くても1週間は回すことをおすすめします。曜日によってユーザーの動きは変わるからです。平日と土日を通した1週間を含めておくと、曜日の偏りをならした結果が見られます。
予算は、この件数の考え方から逆算します。1件の成果にかけられる費用（目標CPA）に、判断へ必要なCV件数を掛ければ、テストに要する広告費のおおよそが見えます。
たとえば目標CPAが3,000円で、片側に50件のCVが欲しいなら、1案あたり15万円ほど。2案で30万円が、このテストの予算の目安になります。
CVがほとんど発生しない商材でもA/Bテストはできる？
CVがほとんど出ない商材でも、A/Bテストは実施できます。ただし最終成果だけで判断するのは難しいため、購入の手前にある小さな行動（マイクロCV）を代わりの判断軸に据えます。
高額商材やBtoBの商材では、購入や契約が月に数件ということも珍しくありません。この件数では、成果の差が偶然の範囲を超えるまで待つと、テストが何ヶ月もかかってしまいます。
そこで使うのが、マイクロCVという指標です。購入に至る途中の小さな行動を指し、最終成果より件数が溜まりやすいのが特徴です。カートへの投入、フォームの入力開始、資料請求、価格ページの閲覧などが当てはまります。
ただし、マイクロCVはあくまで代わりの軸です。カート投入が増えても、そこから購入につながらなければ、最終成果は変わりません。
マイクロCVで差が出た案は、その先の購入にもつながっているかを、可能な範囲で確かめる必要があります。中間の数字が良いだけで勝ちと決めるのは、よくある早合点です。
低CV商材では、マイクロCVで判断の手がかりを増やしつつ、テスト期間も長めに見込む。この2つを組み合わせて、少ない成果件数を補います。件数が出にくい商材ほど、焦って結論を出さない姿勢が欠かせません。
ショッピング広告はどうA/Bテストする？
ショッピング広告には、一般的な広告文を2案比べるやり方が使えません。表示される内容が商品データ（フィード）から自動で作られ、差し替える広告文がないためです。検証するなら、フィードの中身や入札の設定を変えて比べます。
一般的な検索広告は、見出しや説明文を書いて出します。ショッピング広告はこの作りが違い、商品のタイトル・画像・価格といった登録済みのデータが、そのまま広告の見た目になります。
つまり、テストで動かせるのは広告文ではなく、この商品データのほうです。商品タイトルの書き方、メイン画像の見せ方、価格の打ち出し方などを変えた案を用意して、成果を比べます。
ただし、検索広告で使えるカスタムテスト（ユーザーを分けて比べる実験機能）は、ショッピング広告では使えません。そのため厳密な分割テストは難しく、フィードを変更して前後の成果を比べる方法が中心になります。この方法は時期による変動が混ざるため、判断は慎重にする必要があります。
ショッピング広告のテストは、広告文ではなく商品データと入札で行う。この違いを押さえておけば、検索広告と同じ発想で臨んでテストの設計を誤るのを避けられます。まずは仕様を確認したうえで、動かせる要素を見極めるところから始めます。
6.まとめ
広告のA/Bテストは、1要素だけを変えた2案を同じ期間に配信し、最終成果の数で優劣を決める手法です。変える要素を1つに絞り、公平に配信して、成果の指標で見極める。この3つを守るほど、テストは感覚に頼っていた判断を、数字にもとづく判断へ変えていきます。
成果を動かすには順番があります。まず訴求やオファーという影響の大きい要素から、仮説を立てて検証する。次に、媒体の自動最適化に配信を偏らせないよう、実験機能でユーザーを分けて公平に配信する。そして採否は、クリック率ではなく最終成果の指標で、判断に足る件数が溜まってから決める。
このとき忘れたくないのが、差が出ない結果も立派な結論だということです。A案とB案で成果が変わらなければ、その要素は当面優先しなくてよいと見当がつく。勝ち負けだけを追う目には見落とされがちな、もう一つの収穫です。
手元の広告で、まず何を変えれば成果が動きそうか。この問いに仮説で答えるところから、最初のテストは始まります。1回ごとの勝ち負けではなく、なぜその結果になったかを持ち帰る。その積み重ねが、成果の出る広告を一歩ずつ確かなものにしていきます。
自社の広告で、どの要素からテストすべきか迷ったら。Raboでは、広告運用の設計から検証まで、成果につながる進め方をご相談いただけます。まずは無料相談でお聞かせください。
参考文献
