広告文のABテストを実施する際、CTR（クリック率）を基準にその優劣を判断していませんか？
広告配信の目的にもよりますが、CTRを指標として優劣を判断する手法は推奨できません。
本記事ではこの理由や、広告文のABテストに必要となる検証期間の考え方について解説して参ります。
この記事の目次（クリックで遷移）
ABテストにおいてCTRが高いほど優れた広告文だとは言い切れない
CTRが高いほど良いという判断は実は危険な考え方です。
というのも通常の場合、広告配信の目的はクリック数の最大化ではなく、なんらかのCVを最大化（しいては費用対効果良く）することが目的となるからです。
クリック率を要素分解してみましょう。
CTR = クリック数 ÷ 表示回数
ですよね。
そこにCVやコストの指標は一切含まれていません。
つまり、CVを発生させず無駄なクリックを誘発するクリエイティブであったとしても、CTRという指標で見てしまうと優れたクリエイティブと判断されてしまう危険を孕んでいると言えます。
具体例でいうならば、「この広告をクリックしたら1億円あげます！！」というようなクリエイティブを作成すれば、当然クリック率は上がりますよね。
ただ、そんな訴求をしても無駄クリックばかり集めてしまい、結果的に費用対効果の悪いクリエイティブとなってしまうことは容易に想像がつきます。
上記は極端な例となりますが、実際の広告運用時には似たような問題にぶつかるケースが多々あります。
単純にCTRで判断してよいのであれば問題は簡単ですが、そうともいかないことがお分かりいただけるかと思います。
また、CVRで判断する考え方も危険です。
なぜなら、CVRが高いクリエイティブであったとしても、クリック率が低ければ品質スコアが低くなりCPCを上げないと上位掲載が難しいという事態に遭遇します。
その結果、CVRは高いけれどCV数やCPAの面ではイマイチなクリエイティブが評価されてしまうというケースが考えられます。
何らかのケースにおいて正しい評価ができなくなってしまう指標というのは、そもそも指標として正しくありません。
適切な判断指標がないなら新しく作ってしまおう
広告配信の目的は「いかに費用対効果（CPA）良く多くのCVを集めるか」です。
であればCV数に比例、かつCPAに反比例する指標を作り、それをABテスト時のクリエイティブ評価指標としてしまえば良いのです。
完全に造語なのですが、私はこの指標をパフォーマンス値と呼んでいます。
パフォーマンス値とは
パフォーマンス値（CV数に比例、かつCPAに反比例する指標）を計算式で言うと次の通りです。
パフォーマンス値 = CV ÷ CPA
またCPAはコスト÷CVですので、次のように言い換えることもできます。
パフォーマンス値 ＝ CVの二乗 ÷ コスト
このパフォーマンス値は多くのCVがとれる、かつ費用対効果良くCVが取れる程大きな値となります。
つまり、広告本来の目的と合致した指標であるため、CTRやCVRといった一般的な要素で評価するよりも適切にクリエイティブの優劣を評価することができます。
お気づきかと思いますが、この要素の中に表示回数やクリック数という要素は一切含まれていません。
ちなみに、受注金額の最大化が目的となるようなケースだと、パフォーマンス値は受注金額とROASに比例する値となる必要がありますので、計算式は次のように変化します。
パフォーマンス値 = 受注金額 × ROAS
ここで、ROAS = 受注金額 ÷ 広告費 ですので、上記を言い換えると次のようになります。
パフォーマンス値 = 受注金額の二乗 ÷ コスト
具体的な例でパフォーマンス値を見てみよう
以下のようなクリエイティブAとクリエイティブBのABテスト結果を評価してみましょう。
ケース1
ピンク色の塗りつぶしは、一般的な指標で見た場合に優れていると判断できる側に付与しています。
上記の例ですとCTRはクリエイティブAの方が優れていますが、CVRはクリエイティブBのほうが優れています。
このようなケースに出くわすとどちらが良いクリエイティブなのか判断に困るケースもありますが、パフォーマンス値で見るとクリエイティブBのほうが優れている（より費用対効果良く多くのCVを獲得することが可能）ということが明確に判断できます。
また、次のような例はどうでしょう？
ケース2
広告費とCPA以外の数値はケース1とケース2で同一であり、CTRやCVRを単体で見た場合の優劣（ピンク色の塗りつぶし）も両ケースは同様としてあります。
ただし、ケース2をパフォーマンス値で見てみると、ケース1とは異なりクリエイティブAの勝利となります。
ケース2の場合、クリエイティブAのほうがBと比較して圧倒的にCPAが優れているため、直感的に考えてもクリエイティブAの入札上限CPC強化して、クリエイティブBと同一期間で同額の広告費を消化する程度まで強化すればCV数、CPA共にクリエイティブAが勝利するような数値に見えますよね？
ということは、ケース2においてはクリエイティブAの方が優れていると判断されるべきです。
クリエイティブのABテストはあくまでクリエイティブの潜在能力のテストですので、本来同額程度の広告費を消化した上でないと判断が難しいですが、パフォーマンス値を使うとある程度の条件がずれていたとしてもパフォーマンスを定量的かつ容易に比較することができます。
通常の各評価指標（CTRなど）単体で見た場合の優劣（ピンク色の塗りつぶし）はケース1とケース2で同様ですが、パフォーマンス値で見ると必ずしもそうとは言えない点は面白いですよね。
パフォーマンス値でクリエイティブを評価する際の注意点
評価時の注意点は以下2点です。
- 判断にはある程度の配信ボリュームが必要
- クリエイティブ別の諸条件は可能な限り揃える
判断にはある程度の配信ボリュームが必要
パフォーマンス値は「CV数の二乗 ÷ コスト」という数値であるため、両クリエイティブでのCVの発生が評価を行うにあたっての前提となります。
ただし、CVが1件発生した時点で算出されるパフォーマンス値については、まだまだ誤差の可能性が大きい値となります。
正しく言うと「統計学的な有意性を持っていない値」ということになります。
とはいえ、統計学的な優位性を持つレベルまで配信を行ってしまうと、マーケティング施策的には判断が遅すぎる（広告予算を使いすぎてしまう）ケースが多々発生してしまうのが現場としての難しいところです。
この辺のジレンマは存在するのですが、私の現場ではバランスを取って、両クリエイティブで10件程度のCVが発生した時点で優劣の評価を行うようにしています。
この程度の配信ボリュームがあれば、基本的には間違った判断にはなりません。
ただし、パフォーマンス値が拮抗している場合は評価期間の延長を行うべきと考えています。
そもそも両クリエイティブのパフォーマンスが同程度であればABテストによる機会損失も少ないですしね。
逆に、片方のパフォーマンスのみが極端に良い場合は早期に検証を切り上げることもあります。
CTRの判断であればCVが発生しなくとも、ある程度早期に「統計学的な優位性」をある程度担保した評価も可能ですが、そもそもCTRでの判断は目的に合致しない可能性も高いため、個人的にはやはりパフォーマンス値での評価を推奨いたします。
よく、ABテストはどれくらいの期間実施すればよいのかといった質問を頂くことがあるのですが、広告のABテストのに必要な期間はあらかじめ何日という日数で決まるものではなく、上記のようなロジックに基づいてある程度有意な差が見受けられるまで実施するべきというのが、私の見解です。
つまり、ABテストの期間は最初から決まっているのではなく、広告出稿ボリュームとCVの発生状況に応じて判断されるべきものと考えています。
クリエイティブ別の諸条件は可能な限り揃える
これはパフォーマンス値での評価に限らずABテスト実施時の基本とも言えますが、クリエイティブ以外の要素は可能な限り揃えるべきです。
広告配信時においては、具体的には以下のような項目ですね。
配信期間
例えば、「3月はAのクリエイティブ、4月はBのクリエイティブを配信し、その優劣評価を5月に行う」といった対応を見かけることもありますがこれは本当に良くありません。
3月は年度末要因でCVRが上昇するかもしれませんし、そもそも競合他社の入札状況も大きく変動するといった外部要因による数値変動の可能性が非常に大きいためです。
ABテストの基本は並行配信です。
同時に配信してそのパフォーマンス優劣を評価しましょう。
入札上限CPC
例えば、「クリエイティブAは上限CPC10円、クリエイティブBは上限CPC20円で配信する」といった対応は推奨できません。
特に、CTRでクリエイティブの評価をしているようなケースで上記対応は絶対にすべきではありません。
なぜなら、入札上限CPCを強化すれば掲載ボリュームが増加するとともに、一般的にはクリックされやすい位置にクリエイティブが掲載される可能性も高まるからです。
分かりやすいのは検索連動広告です。
検索連動広告は入札上限CPCを強化するほど上位掲載されます。
したがって強化するほどCTRが上昇します。
クリエイティブ要因ではなく上限CPC要因でCTRが優れているケースにおいて、CTRが高いクリエイティブを優れたクリエイティブだと評価するのはおかしいですよね。
ただし、パフォーマンス値で評価するケースにおいてはCTRをABテストの評価指標に含んでいないため、ある程度のCPC差は許容されます。
とは言え、揃えておくに越したことはありません。
訴求ターゲット
例えば、「クリエイティブAは検索連動広告、クリエイティブBはリターゲティング」で配信してABテストの評価をするというような対応は良くありません。
前述のケースと同じことが言えますが、ABテストの基本は「クリエイティブ以外の要因によるパフォーマンス変動要素を排除した上での検証」です。
そんなの当たり前！と言われる方も多いとは思いますが、次のようなケースはどうでしょう。
- クリエイティブAは「検索連動広告で10万円、リターゲティング広告で20万円」だけ配信した
- クリエイティブBは「検索連動広告で5万円、リターゲティング広告で25万円」だけ配信した
上記前提の場合、クリエイティブAの合算実績とクリエイティブBの合算実績をベースとしてパフォーマンス評価するのは不適です。
一見、同じ組み合わせの施策を実施していても、その配信ボリュームの内訳に差があるなら実績を統合して見るべきではありません。
この場合、正しくは「検索連動広告におけるクリエイティブAとクリエイティブBの評価」および「リターゲティング広告におけるクリエイティブAとクリエイティブBの評価」を分けて考えるべきです。
更に言うと、検索連動広告単体で見た場合においても配信KW内訳に大きな差がある状態（片方のクリエイティブは社名系配信が多くを占めていた等）だと正しい評価はできません。
当たり前のことではありますが、このあたりの基本はきっちり踏まえたうえで正しい評価を行いましょう。
まとめ
とりあえずABテストをやってみて評価指標は後から決めようといった対応を見かけることもありますが、評価指標は必ず事前に決めるべきです。
でないとABテストが後から何とでも言い訳のできる出来レースになってしまいます。
走り出してからゴールを決めるマラソン大会はそもそも競技として成立しません。
また、よく思うこととしては「広告媒体は主にCTRでクリエイティブの品質スコアを決定する」からと言って、人間の判断もそれに合わせるべきではないということです。
前述の通り、そもそもの広告配信の目的を考えれば、その理由は明確だと思います。
最近ではクリエイティブのABテストは媒体機能に任せるというようなケースも増えてきたかと思いますが、媒体によってはCV数はどうでもいいからとにかくクリックされやすい（媒体の儲かりやすい）広告を優れていると判断するケースも存在します。
自動化は非常に便利なのですが、そのあたりの裏のロジックも把握した上で、自らの納得感を持ちながら適切な手法で検証を行っていきましょう。
