Thread by @kinoppirx78

【AB-Xテストのススメ】

AB-Xテストとは私の造語でABテストの進化形だ。

まず、ABテストの誤用について言う。
ABテストではABCの3つの広告をスプリットで出稿して、一番成果が良かったものを「正」としてしまうことだ。

しかし、現実的にはAもBもCも「誤」と言うことはある。
全部、CPOが採算割れしている場合などだ。
ただ、1番Bの成果がマシだったからBを「正」として、Bを起点に採算が合うように改良していこうとしてしまう。

多少の改良で間に合うのであれば良いが、CVRやCTRを2〜3倍にしないと採算が合わない場合などはBを弄ったところで到底間に合わない。
全く違うタイプのXやYやZの広告を作るべきなときもあるのだ。

本来はCPOやCVRやCTRのゴールを決めて、それを上回ったものを「正」とし、「正」の中でどれが一番良かったかを見るべきだ。
全て「誤」ならそのABCは捨てて、XYZを作るのが正しいやり方だ。

みんな頭ではわかっているはずだが、ABテストという名前でやっているとどうしても目の前に並んでいるABCの成果だけを見比べて判断してしまう。

だからあえて名前に「X」を入れ、「AB-Xテスト」とし、XYZの存在を意識させるのだ。

「AB-Xテスト」は、ABCの中から選ぶのか、新たにXYZを作るべきなのかを同時に判断するテストだ。

これを実施するには
「ゴール数字」の設定が必要だ。
具体的には上限CPOと、目標獲得件数だ。

「CVR」が課題の時もある。
上限CPOが決まっていれば、CPCから必要CVRは逆算できるので、ABCのどれかが必要CVRを超えていれば、それを採用すればいいし、超えていなければXYZを作らなければならない。

必要CVRを大幅に下回っているのに、ABCのどれが一番良かったとか、なぜ良かったとかを分析するのは無意味だ。
ABCのことは一刻も早く忘れて、XYZに取り掛かるべきだ。

少なくともこの時点でわかっていることは「ABCの広告を参考にしてはいけない」と言うことだ。

上限CPO内に収めるためだったり、目標獲得件数のためにCTRやCPCが課題の時は、入札単価を下げても表示されるか、今のCVRで必要なCPC以内に収まっているかなどを判断基準にする。

そもそも仕事とは「やってみてうまくいくかどうかを見る」ものではなく、「うまくいくためにどうすべきか」を考えるものだ。

打った施策のどれが一番良かったかではなく、成果を出すために、この施策は良かったのか？という観点で判断しなければならない。

そのためにABテストをAB-Xテストにバージョンアップしよう。