ABテスト on Marketechlabo

データドリブンな広告運用と、その背後にある技術・理論

Wed, 03 Jun 2020 00:00:00 +0900

データに基づいた広告運用をするのであれば、データを適切に扱うための技術（方法論）に則る必要がある。データドリブンな運用に必要な技術を、使われる文脈とコアとなるキーワードととともに紹介する。

データに基づいた最適化のプロセスは手動運用、自動運用ともに基本は同じであり、自動運用は機械がそれを行っているだけである。データドリブンで手動運用する際のポイントと、自動運用がそれをいかにして効率化しているかを紹介する。最適化の裏側で何が行われているか、自動運用との付き合い方においても参考になるだろう。

データドリブンな運用とは？

「いろいろやって効果のいいものに寄せる」

が基本。ただし制約条件はいろいろある（予算など）。

「いろいろやっていいものを見つける」が統計／機械学習の役割で、「（予算制約の中で）いいものに寄せる」すなわちコストアロケーションが数理計画の仕事である。統計や機械学習が普及しているが、数理計画というのはこれとは別の概念である。

データ収集とコスト

データドリブンな運用で重要なのが、「いろいろやっていいものを見つける」ためにコストがかかるということ。いろいろやる段階では効率的な配信は期待できない。この段階での配信コストは調査のためのコストになる。

有意差と必要なデータ量

たとえばABテスト。2個のクリエイティブからABテストで有意にいい（CTRが高い）ものに絞り込む場合、有意差の出るデータ量が必要になる。両側検定で有意水準5%の場合

creative	imp	click
A	10,000	9
B	10,000	6

→有意差なし

このペースでクリック数の差がついていったとき

creative	imp	click
A	56,000	45
B	56,000	28

で有意差が付く。統計的に正しい手順でクリエイティブを選択しようとすると11万インプレッション分のコストが必要ということである。

ここまで極端でないにしても、「クリエイティブAもBも大差ないのにたまたまその結果が出た」だけなのか、それとも「本当にAとBに違いがあるゆえにその結果が出た」のか、判定するためにはそれなりのデータ量が必要となる。

データ収集期間中は効率が悪くても我慢しなければならない。途中で諦めたら結局データドリブンでない運用ということになってしまう。

ちなみに有意差というのは、「クリエイティブAもBも大差ないのにたまたまそのような結果（それ以上極端な結果）が出る」確率が5％未満になるような「差」のことである。

これはクリエイティブに限らず他の変数（オーディエンス、配信面など）でも共通である。

配信パターンと分析の粒度

そしてこれらを数多くのクリエイティブに対して、数多くのオーディエンスに対して、無限の配信面に対して実現する必要がある。

訴求の種類を5個にするのか、20個にするのか
リマーケティングのリーセンシーの分け方を1日単位にするのか、3日単位にするのか
訪問したページ単位で見るとどうか

を細かくするほど、より多くのデータが必要になる。データが集まるまで効率が悪くなる。

データ収集のためにかけられるコストに上限があるのであれば、細かさを追求せずある程度の粒度で程度丸めて対象となる群を作り、群ごとの評価をするのがいい。ちなみにその群の作り方など、正しい手法を提供するのが実験計画法になる。

ここで適度な粒度というのが重要で、細かさが仇となることもある。細かくすればするほど多くのデータが必要になるため、予算がないと十分なデータを得ることができず、結局「いいものを見つけ」られないままキャンペーンが終了してしまう。

人間の限界と機械学習

多くの配信パターンを人間が手作業で作り、結果を検証するには限界がある。まず入稿や設定等の物理的なオペレーションにも限界がある。これを自動で機械が実現してくれるのがプラットフォームの自動最適化である。

また手動運用でクリエイティブを絞り込む場合には、ABテストの手順を踏まないと絞り込む（BをやめてAだけにする）ことができない。各パターンにおいて検証のためそれなりのデータ量が必要になり、非効率な配信にかかるコストが大きくなってしまう。

ここで機械学習に基づく自動運用を使うと「BをやめてAだけにする」ではなく少しずつAに寄せていくという運用ができる、つまりデータ収集コストを小さくしながら配信を継続できるメリットがある。

必ずしも有意差にとらわれず、少ないデータでも効率的に検証を回す。必要に応じて自動的にコンバージョンと相関のある行動パターンを発見し、マイクロコンバージョンとして教師データを増やしてくれる。

場合によって自アカウントだけでなくプラットフォーム全体が扱うデータも参考にするところは手動運用では見ることのできないデータを使うメリットである。

平均への回帰

スプリットラン、複数のクリエイティブを同時に配信していると、当初は効果に違いがあった（ように見えた）のに、長くやると効果の違いが見えなくなることがある。依然として有意差を超えた違いが残る場合もあれば、残らない場合（有意差がない状態）もある。

また有意差も、試行回数が増えると

違いはれっきとしてあるけど＝有意差あり
違い自体は小さい＝係数は小さい

ということになる。有意差はあるけどインパクトは小さいということである。

統計的には「平均への回帰」といわれる現象で、何らかの施策によって、施策によらなくても数字的に跳ねたもの（よくなった、逆に悪化する場合も同じ）は結局は落ち着く傾向がある。実は闇雲にやっているABテストの結果にはそんなものも多い。

また平均への回帰とは別の問題として、ABテストの結果効果がよかったクリエイティブも、長期間配信していると飽きる・慣れることで効果が悪化する。もう一歩のクリエイティブと効果が変わらなくなるということもある。

ボリュームゾーンに合わせた最適化か、パーソナライズか

全オーディエンスに対して共通のクリエイティブでABテストをするとクリエイティブAのほうがトータルのパフォーマンスがいいから全体に対してAをクリエイティブ表示するということがある。

これは実はBのほうが適しているはずのオーディエンスに対しても、多数がそうだからという理由でクリエイティブAを表示するということである。つまり全体に対するABテストは多数決であり、ターゲットのボリュームゾーンに合わせた最適化にすぎない。

セグメントを分けてクリエイティブを出し分ける、パーソナライズのほうが重要ではないかという考え方が有力になっている。つまりオーディエンスとクリエイティブ、配信面などを掛け合わせた多変量テストになる。

そしてAがいい人にはクリエイティブAを、Bがいい人にはクリエイティブBを見せる、…というものである。これはボリュームゾーンに合わせた最適化とは逆のアプローチになる。

多変量テストの設計とそれに応じたクリエイティブの配信、結果の（次なる配信への）反映は手動だと大きな工数がかかり、継続は苦行を極める。

データドリブンとヒューリスティック

経験と勘に基づいた先入観で臨むやり方をヒューリスティックという。たとえばバナーの背景色を4パターン試すのではなく、経験的にこの商材の場合は水色がいいから背景色は水色だけにする、などという考え方である。

言うならば「経験と勘に基づいたセンスのいいやり方」であり、そういう意味ではこれも案外重要なのである。

データドリブンとヒューリスティックは真逆の姿勢である。実際にはあらゆる施策の決定は、ヒューリスティックな度合いとデータドリブンな度合いのバランスに基づいて行うことになる。

施策を考えるときはそのバランスを意識し、データドリブンな文脈でヒューリスティックな考え方を混在させるということはしないように。

状況によってはデータドリブンを諦めてヒューリスティックに施策を決めることも重要。いろいろやらない、最初から結果のよさそうな施策に当たりをつけてあまり動かさないやり方である。

意外な発見はないかもしれないが、それと引き換えにコストを節約できるというのは小規模アカウントでは重宝されるべき方法である。あるいはキャンペーンまでにデータを集めている時間がなく、データ収集による機会損失が馬鹿にならない規模のキャンペーンでもヒューリスティックな方法をとらざるを得ない。

比較のための統計解析手法～さまざまな仮説検定から分散分析、多重比較

Mon, 30 Jan 2017 00:00:00 +0900

分析手法

目的とデータの性質に基づいて手法を選択

目的
- 違いがあるか知りたい＝A/Bテスト
- （因果）関係を知りたい＝何が効くかを知りたい
- 予測
- 分類
  - 従属変数があって、それを分類するもの（クラス分類）
  - 独立変数のみで、似ているものをまとめるもの（クラスタリング）
- レコメンド
データの性質（手法の前提条件）
- 離散か連続か
- 正規性
- 等分散性
- 従属変数の分布の形状

http://readingmonkey.blog45.fc2.com/blog-entry-262.html

仮説検定

仮説検定とは？

基本的に比較するための方法「A/Bテスト」→理論的に正確な手順がある。 ※比較する対象は2つ。3つ以上だと別の手法を用いることになる

仮説検定の考え方

「ある仮説が正しいと仮定したとき、この事象が発生するのは発生するのはあり得ないくらいレア。だからその仮説は間違っている」

（例）「バナーAとバナーBのクリック率が同じと仮定したとき…」＝帰無仮説
「あり得ない」＝5%。この値をp値という
「間違っている」と判断すること＝棄却する

帰無仮説の意味

仮説は間違っていることを前提に立てられる
「ある仮説が正しいと仮定したとき、この事象より極端な事象が発生するのは20％程度。レア度＝20％ということで、そこまでレアではない」このような場合には帰無仮説は棄却されない。だからといってその仮説は正しいのか？
厳密にはさまざまな帰無仮説が考えられるが、ほとんど同一性の検定。つまり「AとBが同じ」であることが帰無仮説として扱われる

対立仮説と片側検定／両側検定

帰無仮説：「バナーAとバナーBのクリック率が同じ」では対立仮説は？

「バナーAのCTR＞バナーBのCTR」
「バナーAのCTR＜バナーBのCTR」
「バナーAのCTR≠バナーBのCTR」

実はいずれにも設定できる。それによって棄却域が変わってくる。

2種類の過誤

第1種の過誤＝帰無仮説が実際には真であるのに棄却してしまう過誤（正常なメールをスパムと判定）
第2種の過誤＝帰無仮説が実際には偽であるのに採用してしまう過誤（スパムメールを正常と判定）

手法あれこれ http://d.hatena.ne.jp/hoxo_m/20150217/p1 http://www.shiga-med.ac.jp/~koyama/stat/s-index.html

具体的な手法

前提条件

対応のある標本か、対応のない標本か（対応の有無）
標本の分布が正規分布に従うかどうか（正規性）
- Shapiro-Wilk test / Rではshapiro.test(){stats}
- Anderson-Darling normality test / Rではad.test(){nortest}など
各標本の分散が同一かどうか（等分散性）
- 正規分布であればF-test / Rではvar.test(){stats}

1標本で母集団の分布に対する検定

手法名	特徴	Rの関数
Student’s t-test for one sample	母分散が未知の母平均に対する検定。母集団の正規性を仮定するが、サンプルサイズが十分大きい場合は中心極限定理により多少の非正規性にはロバスト。標本分散を使うのでt検定	`t.test(ベクトル, mu=母平均)`{stats}
One sample Kolmogorov-Smirnov test	ノンパラメトリック。標本が特定の分布に従うかどうかの検定。	`ks.test(ベクトル, 'p分布名', 分布のパラメータ...)`{stats}

対応のある2標本の比較

手法名	正確な帰無仮説	前提条件	Rの関数
Student’s t-test for paired samples	2群が同じ分布に従う（平均値が等しい）	正規性：要等分散性：要	`t.test(ベクトルA, ベクトルB, paired=T)`{stats}
Wilcoxon’s signed-rank test	2群の代表値に差がない	正規性：不要等分散性：不要	`wilcox.test(ベクトルA, ベクトルB, paired=T)`{stats}

対応のない2標本の比較

手法名	正確な帰無仮説	前提条件	Rの関数
Student’s t-test	2群が同じ分布に従う（平均値が等しい）	正規性：要等分散性：要	`t.test(ベクトルA, ベクトルB, paired=F, var.equal = T)`{stats}
Welch’s t-test	2群の平均値の差がない	正規性：要等分散性：不要	`t.test(ベクトルA, ベクトルB, paired=F, var.equal = F)`{stats}
Mann-Whitney’s U-test Wilcoxon’s rank-sum test	2群が同じ分布に従う	正規性：不要分布形状がほぼ同じであることが望ましい（その場合、中央値の差の検定として解釈可能）	`wilcox.test(ベクトルA, ベクトルB, paired=F)`{stats}
Brunner-Munzel test	2群から一つずつ値を取り出したとき、どちらが大きい確率も等しい	正規性：不要等分散性：不要	`brunner.munzel.test(ベクトルA, ベクトルB)`{lawstat}

※Brunner-Munzel testは小標本ではpermuted Brunner-Munzel testがいい