データに基づいた広告運用と、その背後にある技術・統計の理論

2017年1月26日
この記事は連載「広告運用の背後にある考え方」の全 3 ページ中 2 ページ目です。

データに基づいた広告運用をするのであれば、データを適切に扱うための技術(方法論)に則る必要がある。
データドリブンな運用に必要な技術を、使われる文脈とコアとなるキーワードととともに紹介する。

データドリブンな運用とは?

「いろいろやって効果のいいものに寄せる」

が基本。ただし制約条件はいろいろある(予算など)。

テクニカルには

統計学+数理計画法

ということになる。

「いろいろやっていいものを見つける」が統計の役割。
「(制約条件の中で)いいものに寄せる」すなわちコストアロケーションが数理計画の仕事である。

昨今、統計がもてはやされているが、これとは別に数理計画という要素があることは知っておくのが望ましい。

データ収集とコスト

有意差と必要なデータ量

データドリブンな最適化をしようとすると、データを収集するための時間とコストがかかる。

たとえば2個のクリエイティブからA/Bテストで有意にいい(CTRが高い)ものに絞り込む場合、有意差の出るデータ量が必要になる。

creative imp click
A 10,000 8
B 10,000 6

→有意差なし

このペースでクリック数の差がついていったとき

creative imp click
A 56,000 45
B 56,000 28

で有意差が付く。統計的に正しい手順でクリエイティブを選択しようとすると11万インプレッション分のコストが必要ということである。

ここまで極端でないにしても、「クリエイティブAもBも大差ないのにたまたまその結果が出た」だけなのか、それとも「本当にAとBに違いがあるゆえにその結果が出た」のか、判定するためにはそれなりのデータ量が必要となる。データ収集期間中は効率が悪くても我慢しなければならない。途中で諦めたら結局データドリブンでない運用ということになってしまう。
ちなみに有意差というのは、「クリエイティブAもBも大差ないのにたまたまそのような結果(それ以上極端な結果)が出る」確率が5%未満になるような「差」のことである。

分析の粒度

分析の単位

  • 訴求の種類を5個にするのか、20個にするのか
  • リマーケティングのリーセンシーの分け方を1日単位にするのか、3日単位にするのか
  • 訪問したページ単位でも分けて考えるのかどうか

を細かくするほど、より多くのデータが必要になる。データが集まるまで効率が悪くなる。
データ収集のためにかけられるコストに上限があるのであれば、細かさを追求せずある程度の粒度で程度丸めて対象となる群を作り、群ごとの評価をするのがいい。ちなみにその群の作り方など、正しい手法を提供するのが実験計画法になる。
適度な粒度というのが重要で、細かさが仇となることもある。何でも細かくやればいいというのは単なる精神論、犬の道まっしぐらである。

有意差にとらわれない新しいやり方

ベイズ統計という解決策がないわけではない。
ベイズ統計は、先の対象群を細かくしていった極限にある個人、その個人間の異質性を分析するのに使われる。

でも

  • 手法が難しすぎる
  • 結果が安定するか?

といった問題がある。

平均への回帰

スプリットラン、複数のクリエイティブを同時に配信していると、当初は効果に違いがあった(ように見えた)のに、長くやると効果の違いが見えなくなることがある。依然として有意差を超えた違いが残る場合もあれば、残らない場合(有意差がない状態)もある。
また有意差も、試行回数が増えると

  • 違いはれっきとしてあるけど=有意差あり
  • 違い自体は小さい=係数は小さい

ということになる。有意差はあるけどインパクトは小さいということである。

統計的には「平均への回帰」といわれる現象で、何らかの施策によって、施策によらなくても数字的に跳ねたもの(よくなった、逆に悪化する場合も同じ)は結局は落ち着く傾向がある。

実は闇雲にやっているABテストの結果はほとんどがそんなもので、最終的に本当に意味のある違いが出るケースはごく一部である。

また平均への回帰とは別の問題として、ABテストの結果効果がよかったクリエイティブも、長期間配信していると飽きる・慣れることで効果が悪化する。もう一歩のクリエイティブと効果が変わらなくなるということもある。

哀しいかなABテストのようなスプリットランにはそんな反面もある。
実はABテストの結果、負けた一方のクリエイティブが日の目を見なくなることの罪のほうが大きい。たまたまそこで負けたクリエイティブが後になって外部要因などによって効果が良化することもある。そこでの機会損失は無視してはならない。

全オーディエンスに対して共通のクリエイティブでABテストをしてその程度の結果を得るくらいだったら、セグメントを分けてクリエイティブを出し分ける、パーソナライズのほうが重要ではないかという考え方も有力である。

ボリュームゾーンに合わせた最適化か、パーソナライズか

ABテストによる最適化では、クリエイティブAのほうがトータルのパフォーマンスがいいから全体に対してAをクリエイティブ表示するということがある。これは実はBのほうが適しているはずのオーディエンスに対しても、多数がそうだからという理由でクリエイティブAを表示するということである。

全体に対するABテストは多数決である。ターゲットのボリュームゾーンに合わせた最適化にすぎない。しかしそれが現在の主流の考え方である。

一方で個人に対して最適な配信をする考え方が出てきている。Aがいい人にはクリエイティブAを、Bがいい人にはクリエイティブBを見せる、…というものである。これはボリュームゾーンに合わせた最適化とは逆のアプローチである。ちなみに技術的には複雑で、現実的にはAdobe Targetなど専用のツールでないと対応できない。

全体ABテストは単純に試してデータを見るだけで実行できたものが、こちらは最初の段階での仮説立てなど、どうしてもデータドリブンだけではうまくいかないところが出てくる。もちろんデータが集まってくればデータドリブンでやるわけだが、施策全体におけるデータの比重はどうしても小さくなる(仮説・アイデアドリブン)。

ヒューリスティックとデータドリブン

経験と勘に基づいた先入観で臨むやり方をヒューリスティックという。たとえばバナーの背景色を4パターン試すのではなく、経験的にこの商材の場合は水色がいいから背景色は水色だけにする、などという考え方である。言うならば「経験と勘に基づいたセンスのいいやり方」であり、そういう意味ではこれも案外重要なのである

データドリブンとヒューリスティックは真逆の姿勢である。実際にはあらゆる施策の決定は、ヒューリスティックな度合いとデータドリブンな度合いのバランスに基づいて行うことになる。施策を考えるときはそのバランスを意識し、データドリブンな文脈でヒューリスティックな考え方を混在させるということはしないように。

状況によってはデータドリブンを諦めてヒューリスティックに施策を決めることも重要。いろいろやらない、最初から結果のよさそうな施策に当たりをつけてあまり動かさないやり方である。意外な発見はないかもしれないが、それと引き換えにコストを節約できるというのは小規模アカウントでは重宝されるべき方法である。あるいはキャンペーンまでにデータを集めている時間がなく、データ収集による機会損失が馬鹿にならない規模のキャンペーンでもヒューリスティックな方法をとらざるを得ない。

データドリブンにおけるアカウント構築と運用の関係

運用において、無条件でランダムなところからデータだけで最適化をするというのは不可能である。
最初のアカウントの状態(入稿する訴求の種類、そもそも対象とならないセグメントの除外など)、数値計算でいうところの初期値が重要であり、これこそが運用ノウハウなのである。これは経験的に、ヒューリスティックに決められる。数値計算も初期値が不適切だと最適解に至らないこともある。それと同じ。

それなりに適切なアカウント構造から適切な手順で最適化をする。それは規模により異なる。

探索と活用

データドリブンな運用では最終的には「いい配信のやり方」に寄せていくのだが、寄せきった(収束した)状態では、

  1. さらにCVを獲得すべく予算を追加した時に、どのような配信をすればいいか分からない
  2. マーケットの状況は変わるので、半年前の最適配信ポートフォリオが今の最適配信になっているとは限らない

という問題がある。

長期的にはその最適化されたコストの下で獲得できるCVも減少していく。どこかで新しいセグメントのCVを取りにいかなければならない。
また、半年前にA/Bテストの結果生き残ったクリエイティブの効率が悪化してきた。当時停止したクリエイティブを配信再開したら、逆に高効率になっているかもしれない。こういうこともある。

こういった問題に立ち向かうためには、常に一定の予算は非効率を覚悟の上でテストに使い続けるというやり方が必要である。これもデータドリブン。
そしてA/Bテストの最大の問題がここにある。A/Bテストの考え方では敗れた施策は永遠に停止され、市場の変化により敗れた施策が効果的になっているかもしれない、そういった事態に対応できないのである。

データから得られた最適な施策を行うことを、学習の言葉で活用(exploration)という。最適化するためにデータを得ることを探索(exploitation)という。探索と活用は真逆の姿勢であり、実際の運用は探索の度合いと活用の度合いのバランスに基づいて行うことになる。データドリブンな運用を進める際はそのバランスを意識し、探索の文脈で活用の考え方を混在させるということはしないように。
一部の学習アルゴリズムには探索と活用のバランスを決めるパラメータがある。非効率な運用に伴って発生する損失と、探索しないことによる機会損失の想定値、その合計を小さくする…人間の手動の運用では不可能だが、これこそが自動最適化の領域である。

絞り込む、コストを削減するのが比較的単純な作業であるのに比べて、広げるほうが難しい。

Series Navigation<< 広告運用の戦略(予算、規模、ターゲティング)とアカウントを管理するポイント広告の入札単価調整、集客施策におけるマクロとミクロの視点 >>