データドリブンな広告運用と、その背後にある技術・理論

Wed, 03 Jun 2020 00:00:00 +0900

データに基づいた広告運用をするのであれば、データを適切に扱うための技術（方法論）に則る必要がある。データドリブンな運用に必要な技術を、使われる文脈とコアとなるキーワードととともに紹介する。

データに基づいた最適化のプロセスは手動運用、自動運用ともに基本は同じであり、自動運用は機械がそれを行っているだけである。データドリブンで手動運用する際のポイントと、自動運用がそれをいかにして効率化しているかを紹介する。最適化の裏側で何が行われているか、自動運用との付き合い方においても参考になるだろう。

データドリブンな運用とは？

「いろいろやって効果のいいものに寄せる」

が基本。ただし制約条件はいろいろある（予算など）。

「いろいろやっていいものを見つける」が統計／機械学習の役割で、「（予算制約の中で）いいものに寄せる」すなわちコストアロケーションが数理計画の仕事である。統計や機械学習が普及しているが、数理計画というのはこれとは別の概念である。

データ収集とコスト

データドリブンな運用で重要なのが、「いろいろやっていいものを見つける」ためにコストがかかるということ。いろいろやる段階では効率的な配信は期待できない。この段階での配信コストは調査のためのコストになる。

有意差と必要なデータ量

たとえばABテスト。2個のクリエイティブからABテストで有意にいい（CTRが高い）ものに絞り込む場合、有意差の出るデータ量が必要になる。両側検定で有意水準5%の場合

creative	imp	click
A	10,000	9
B	10,000	6

→有意差なし

このペースでクリック数の差がついていったとき

creative	imp	click
A	56,000	45
B	56,000	28

で有意差が付く。統計的に正しい手順でクリエイティブを選択しようとすると11万インプレッション分のコストが必要ということである。

ここまで極端でないにしても、「クリエイティブAもBも大差ないのにたまたまその結果が出た」だけなのか、それとも「本当にAとBに違いがあるゆえにその結果が出た」のか、判定するためにはそれなりのデータ量が必要となる。

データ収集期間中は効率が悪くても我慢しなければならない。途中で諦めたら結局データドリブンでない運用ということになってしまう。

ちなみに有意差というのは、「クリエイティブAもBも大差ないのにたまたまそのような結果（それ以上極端な結果）が出る」確率が5％未満になるような「差」のことである。

これはクリエイティブに限らず他の変数（オーディエンス、配信面など）でも共通である。

配信パターンと分析の粒度

そしてこれらを数多くのクリエイティブに対して、数多くのオーディエンスに対して、無限の配信面に対して実現する必要がある。

訴求の種類を5個にするのか、20個にするのか
リマーケティングのリーセンシーの分け方を1日単位にするのか、3日単位にするのか
訪問したページ単位で見るとどうか

を細かくするほど、より多くのデータが必要になる。データが集まるまで効率が悪くなる。

データ収集のためにかけられるコストに上限があるのであれば、細かさを追求せずある程度の粒度で程度丸めて対象となる群を作り、群ごとの評価をするのがいい。ちなみにその群の作り方など、正しい手法を提供するのが実験計画法になる。

ここで適度な粒度というのが重要で、細かさが仇となることもある。細かくすればするほど多くのデータが必要になるため、予算がないと十分なデータを得ることができず、結局「いいものを見つけ」られないままキャンペーンが終了してしまう。

人間の限界と機械学習

多くの配信パターンを人間が手作業で作り、結果を検証するには限界がある。まず入稿や設定等の物理的なオペレーションにも限界がある。これを自動で機械が実現してくれるのがプラットフォームの自動最適化である。

また手動運用でクリエイティブを絞り込む場合には、ABテストの手順を踏まないと絞り込む（BをやめてAだけにする）ことができない。各パターンにおいて検証のためそれなりのデータ量が必要になり、非効率な配信にかかるコストが大きくなってしまう。

ここで機械学習に基づく自動運用を使うと「BをやめてAだけにする」ではなく少しずつAに寄せていくという運用ができる、つまりデータ収集コストを小さくしながら配信を継続できるメリットがある。

必ずしも有意差にとらわれず、少ないデータでも効率的に検証を回す。必要に応じて自動的にコンバージョンと相関のある行動パターンを発見し、マイクロコンバージョンとして教師データを増やしてくれる。

場合によって自アカウントだけでなくプラットフォーム全体が扱うデータも参考にするところは手動運用では見ることのできないデータを使うメリットである。

平均への回帰

スプリットラン、複数のクリエイティブを同時に配信していると、当初は効果に違いがあった（ように見えた）のに、長くやると効果の違いが見えなくなることがある。依然として有意差を超えた違いが残る場合もあれば、残らない場合（有意差がない状態）もある。

また有意差も、試行回数が増えると

違いはれっきとしてあるけど＝有意差あり
違い自体は小さい＝係数は小さい

ということになる。有意差はあるけどインパクトは小さいということである。

統計的には「平均への回帰」といわれる現象で、何らかの施策によって、施策によらなくても数字的に跳ねたもの（よくなった、逆に悪化する場合も同じ）は結局は落ち着く傾向がある。実は闇雲にやっているABテストの結果にはそんなものも多い。

また平均への回帰とは別の問題として、ABテストの結果効果がよかったクリエイティブも、長期間配信していると飽きる・慣れることで効果が悪化する。もう一歩のクリエイティブと効果が変わらなくなるということもある。

ボリュームゾーンに合わせた最適化か、パーソナライズか

全オーディエンスに対して共通のクリエイティブでABテストをするとクリエイティブAのほうがトータルのパフォーマンスがいいから全体に対してAをクリエイティブ表示するということがある。

これは実はBのほうが適しているはずのオーディエンスに対しても、多数がそうだからという理由でクリエイティブAを表示するということである。つまり全体に対するABテストは多数決であり、ターゲットのボリュームゾーンに合わせた最適化にすぎない。

セグメントを分けてクリエイティブを出し分ける、パーソナライズのほうが重要ではないかという考え方が有力になっている。つまりオーディエンスとクリエイティブ、配信面などを掛け合わせた多変量テストになる。

そしてAがいい人にはクリエイティブAを、Bがいい人にはクリエイティブBを見せる、…というものである。これはボリュームゾーンに合わせた最適化とは逆のアプローチになる。

多変量テストの設計とそれに応じたクリエイティブの配信、結果の（次なる配信への）反映は手動だと大きな工数がかかり、継続は苦行を極める。

データドリブンとヒューリスティック

経験と勘に基づいた先入観で臨むやり方をヒューリスティックという。たとえばバナーの背景色を4パターン試すのではなく、経験的にこの商材の場合は水色がいいから背景色は水色だけにする、などという考え方である。

言うならば「経験と勘に基づいたセンスのいいやり方」であり、そういう意味ではこれも案外重要なのである。

データドリブンとヒューリスティックは真逆の姿勢である。実際にはあらゆる施策の決定は、ヒューリスティックな度合いとデータドリブンな度合いのバランスに基づいて行うことになる。

施策を考えるときはそのバランスを意識し、データドリブンな文脈でヒューリスティックな考え方を混在させるということはしないように。

状況によってはデータドリブンを諦めてヒューリスティックに施策を決めることも重要。いろいろやらない、最初から結果のよさそうな施策に当たりをつけてあまり動かさないやり方である。

意外な発見はないかもしれないが、それと引き換えにコストを節約できるというのは小規模アカウントでは重宝されるべき方法である。あるいはキャンペーンまでにデータを集めている時間がなく、データ収集による機会損失が馬鹿にならない規模のキャンペーンでもヒューリスティックな方法をとらざるを得ない。

programmatic-ad on Marketechlabo