実際の事象におけるデータの分布と確率分布、一部のデータから全体を推測する考え方

Sun, 22 Jan 2017 00:00:00 +0900

確率分布

これまで「分布」という言葉が何度も出てきたが、この「分布」とは確率分布のことを指している。ここでは具体的なさまざまな確率分布を紹介する。まず確率分布の定義であるが、確率分布とは、確率変数の各々の値に対する、その生起しやすさをプロットしたものである。そして確率変数とは、確率的に取る値が変わる変数を指す。発生する事象が確率的に変化するものを想像しよう。その生起しやすさを表すのが確率分布である。厳密な議論は省略してどのような事象があてはまるか、分布に対するイメージがわかることを目的とする。

離散型確率分布

ベルヌーイ分布

1回の試行で表が出るか裏が出るか
- 一か八か
成功確率 $p$ の事象が1回の試行で成功するかどうか
期待値＝$p$、分散＝$p(1-p)$

期待値は確率分布の中心的位置を表す。分散は平均からのバラつきの程度を数量的に表す。

二項分布

（例）平均して打率3割の選手が年間500打席でヒットを打つ回数の分布

$n$ 回やって何回成功するか
成功確率 $p$ の事象が $n$ 回の試行で成功する回数
この分布を$Bin(n, p)$と表記
期待値＝$np$、分散＝$np(1-p)$

ポアソン分布

（例）あるサッカーリーグの1試合における得点の分布

レアな事象が発生する回数（カウントデータ）
（例）クリック数、1日に受け取るメールの件数
二項分布との関係
- 二項分布で $n$ →大、$p$ →小、$np$＝一定（$\lambda$）のときに該当
- $n$ が変化する事象には不適（インプレッション数が大きく変動する場合だとNG）
この分布を$Po(\lambda)$と表記
期待値＝分散＝$\lambda$

負の二項分布

（例）あるwebサイトのページごとの1日のPV数の分布

ポアソン分布と似ているが分散が大きい
- 0が多い
- 大きな外れ値がある
ゼロが多い、分散が大きいカウントデータに適用
成功確率 $p$ の事象が $k$ 回成功するまでに何回失敗するか

連続型確率分布

正規分布

分布の王様。理論上いろいろ便利
期待値 $\mu$、分散 $\sigma^2$ の正規分布を$N(\mu, \sigma^2)$と表記

指数分布

ランダムな事象の発生間隔（待ち時間）
（例）メールを受信する間隔

確率分布 on Marketechlabo