【統計検定】確率分布のモーメント(積率)母関数完全ガイド|導出チートシート
こんにちは、青の統計学です。
今回は、統計検定のチートシート番外編として、確率分布についてまとめようと思います。
各確率分布のモーメント母関数(積率母関数)が求められると、期待値と分散が計算できるようになります。
計算量を上げていきましょう。ブックマーク推奨です！！
統計検定については以下をご覧くださいませ。
【最短合格】統計検定準一級のチートシート|難易度や出題範囲について
【最短】統計検定2級合格ロードマップとチートシート|おすすめの本について
モーメント母関数(積率母関数)について
概念自体が怪しい方は、以下のコンテンツで復習してください。
【期待値の応用】モーメント法とモーメント母関数(積率母関数)について
モーメント母関数がわかれば、期待値や分散を求めることができます。
モーメント母関数の定義は次のとおりです。
$$M_x(t)=E[e^{tx}]$$
n次のモーメントをn次の導関数を\(t=0\)で評価することで得られます。
$$μ`_n=M_x^{(n)}(0)=\frac{d^n}{dt^n}M_X(t)|_{t=0}$$
この特性により、分布のモーメント（平均、分散、歪度、尖度など）を計算する際に役立ちます。
ベルヌーイ分布
確率質量関数：\(P(X=x)=p^x(1-p)^{1-x}\)
モーメント母関数：\(M_x(t)=E[e^{tx}]=\sum e^{tx}P(X=x)\)
\(P(X=x)\)の部分は、気持ち悪いかもしれませんが、確率変数がある実現値になったという意味であり、とても重要な内容です。
ベルヌーイ分布だと、実現値は0か1なので、合計といっても以下のように考えれば良いだけですね。
$$M_x(t)=e^{tx}p^x(1-p)^{1-x}|_{x=0}+e^{tx}p^x(1-p)^{1-x}|_{x=1}$$
$$e^0p^0(1-p)+e^tp(1-p)^0=(1-p)+pe^t$$
よって、ベルヌーイ分布のモーメント母関数は、\((1-p)+pe^t\)になります。
二項分布
確率質量関数：\(P(X=x)={}_mC_xp^x(1-p)^{m-x}\)
モーメント母関数は、\(M_x(t)=E[e^{tx}]=\sum e^{tx}P(X=x)\)
実現値(成功回数\(x\))は、0回から試行回数m回までなので、以下のようになります。
$$M_x(t)=\sum_{x=0}^{m}e^{tx}{}_mC_xp^x(1-p)^{m-x}$$
\(x\)乗の部分を括ってあげると、以下のように二項定理が使えます。
$$=\sum_{x=0}^{m} {}_mC_x(pe^t)^x(1-p)^{m-x}=(pe^t+(1-p))^m$$
よって、二項分布のモーメント母関数は、\((pe^t+(1-p))^m\)となります。
ベルヌーイ分布のモーメント母関数の試行回数乗であることがわかりました。
幾何分布
個人的に基本的な確率分布の中だと、幾何分布のモーメント母関数の導出が面倒な気がします。
幾何分布は、成功確率 \(p\)のベルヌーイ試行を繰り返して初めて成功するまでの試行回数 \(X\)を表す離散確率分布です。
幾何分布の確率質量関数は次のように表されます
$$P(X=x)=p(1-p)^{x-1}$$
導出に使う、等比級数の和の公式を先出しておきます。
$$\sum_{k=0}^{∞}ar^{k}=\frac{a}{1-r}$$
では、モーメント母関数を求めていきます。
$$M_x(t)=E[e^{tx}]=\sum_{x=1}^{∞}e^{tx}p(1-p)^{x-1}$$
実現値は1から無限大ですね。
pのみを外に出します。
\(\frac{1}{1-p}\)を作ったのは、等比級数の公式で\(x-1\)乗を\(x\)乗に変えるためです、
$$M_x(t)=p\sum_{x=1}^{∞}e^{tx}(1-p)^{x-1}=p\sum_{x=1}^{∞}\frac{1}{1-p}(e^{t}(1-p))^x$$
等比級数の和の公式にするには、\(x=0\)を考慮する必要があります。
以下のようにsummationの範囲を変えて、\(x=0\)の部分を引いてあげます。
$$M_x(t)=p(\sum_{x=0}^{∞}\frac{1}{1-p}(e^{t}(1-p))^x-\frac{1}{1-p})$$
$$M_x(t)=p(\sum_{x=0}^{∞}\frac{1}{1-p}(e^{t}(1-p))^x-\frac{1}{1-p})$$
では、等比級数の和の公式を使います。
$$p(\sum_{x=0}^{∞}\frac{1}{1-p}(e^{t}(1-p))^x-\frac{1}{1-p})=p(\frac{1}{(1-p)(1-e^{t}(1-p))}-\frac{1}{1-p})$$
$$M_x(t)=p(\frac{1-(1-e^{t}(1-p))}{(1-p)(1-e^{t}(1-p))})=\frac{pe^{t}}{1-e^{t}(1-p)}$$
よって、幾何分布のモーメント母関数は、\(\frac{pe^{t}}{1-e^{t}(1-p)}\)となります。
一様分布
どの実現値も確率が等しい一様分布の確率密度関数は以下のようになります。
$$P(X=x)=\frac{1}{b-a}$$
パラメータは2つであり、実現値の下限と上限を表します。
モーメント母関数は、\(M_x{t}=E[e^{tx}]=\int_{-∞}^{∞}e^{tx}P(X=x)dx\)
$$M_x(t)=\int_{a}^{b}e^{tx} \frac{1}{b-a}dx$$
定数の\(\frac{1}{b-a}\)は積分の外に出します。
$$\frac{1}{b-a} \int_{a}^{b}e^{tx}dx=\frac{1}{b-a} \frac{1}{t}[e^{tx}]_{a}^{b}$$
ただし、この時積分した時にtで割っているので、tが非ゼロであることが条件に加わります。
$$\frac{1}{b-a} \frac{1}{t}[e^{tx}]_{a}^{b}=\frac{1}{t(b-a)}(e^{bt}-e^{at})$$
よって、モーメント母関数の確率密度関数は、\(\frac{(e^{bt}-e^{at})}{t(b-a)}\)となります。
正規分布
正規分布については以下のコンテンツでまとめています。
【AICで使う】KL divergence(カルバック-ライブラー情報量)をわかりやすく解説|python
標準正規分布の確率密度関数は、やや複雑な形をしています。ちなみに、大学のテストでは問題用紙に書いてあることがほとんどです。
$$f(z)= \frac{1}{\sqrt{2π}}exp(- \frac{z^2}{2})$$
zは-∞から∞の値を取ります。
分布は、\(N(μ,σ^2)\)と表し、\(μ\)は平均で\(σ^2\)は分散を表します。
上の確率密度関数は\(μ=0\)で\(σ^2=1\)の標準正規分布のものです。
一般形は以下の形を取ります。
$$f(x)= \frac{1}{\sqrt{2πσ^2}}exp(- \frac{(x-μ)^2}{2σ^2})$$
まずは、標準正規分布のモーメント母関数を求めた後に、正規分布のモーメント母関数を求めていきましょう。
モーメント母関数は、\(M_z(t)=E[e^{tz}]=\int_{-∞}{∞}e^{tz}f(z)dz\)
積分に関係のない定数は外に出します。
$$M_x(t)= \frac{1}{\sqrt{2π}} \int_{-∞}^{∞} exp(- \frac{z^2}{2}+tz)dz$$
$$M_x(t)= \frac{1}{\sqrt{2π}} \int_{-∞}^{∞} e^{-\frac{(z-t)^2}{2}}+e^{\frac{1}{2}t^2}dz$$
積分に関係のない定数\(e^{\frac{1}{2}t^2}\)は外に出します。
$$M_x(t)= e^{\frac{1}{2}t^2}*\frac{1}{\sqrt{2π}} \int_{-∞}^{∞} e^{-\frac{(z-t)^2}{2}}dz$$
上の式の\(\frac{1}{\sqrt{2π}} \int_{-∞}^{∞} e^{-\frac{(z-t)^2}{2}}dz\)ですが、標準正規分布の確率密度関数をx軸方向に\(t\)だけ動かしたものです。
なので、積分すると当然面積は1になります。
よって、標準正規分布のモーメント母関数は、\(e^{\frac{1}{2}t^2}\)になります。
さて、zはxを標準化しているので、以下のような関係が成り立ちます。
$$Z=σX+μ$$
標準偏差をかけて、母平均を足すとxになります。
またモーメント母関数の公式より以下のことが言えます。
$$M_{ax+b}(t)=e^{bt}M_t(at)$$
よって、正規分布のモーメント母関数は、\(M_x(t)=M_{σZ+μ}(t)=e^{μt}M_z(σt)\)となります。
$$e^{μt}M_z(σt)=e^{μt} e^{\frac{1}{2}t^2σ^2}$$
よって、正規分布のモーメント母関数は、\(e^{\frac{1}{2}t^2σ^2+μt}\)
ポアソン分布
ポアソン分布については、以下のコンテンツで詳しくまとめています。
$$p(x)=e^{-λ} \frac{λ^x}{x!}$$
x：稀な現象が起きる数。0,1,2,3,4と離散的な数です。
λ：生起率、強度(intensity)と呼ばれる。稀な現象が単位時間あたりに起きる回数の平均を表しています。
e：自然対数の底。
では、モーメント母関数を求めていきましょう。
確率質量関数：\(P(X=x)=e^{-λ} \frac{λ^x}{x!}\)
モーメント母関数は、\(M_x(t)=E[e^{tx}]=\sum e^{tx} P(X=x)\)
離散分布の二項分布とは異なり、実現値は0から∞までの値をとります。
$$M_x(t)=\sum_{x=0}^{∞}e^{tx}e^{-λ} \frac{λ^x}{x!}$$
xとは関係がない項はsummationから除きます。
加えて、x乗されている項をまとめてあげます。
$$M_x(t)=e^{-λ}\sum_{x=0}^{∞} \frac{{λe^t}^x}{x!}$$
これは\(e^{λe^t}\)をマクローリン展開したものなので、以下のようになります。
$$e^{-λ}\sum_{x=0}^{∞} \frac{{λe^t}^x}{x!}=e^{-λ}e^{λe^t}$$
よって、ポアソン分布のモーメント母関数は、\(exp(λ(e^t-1))\)となります。
指数分布
次に指数分布です。
指数分布は連続確率分布の一つで、ある事象が発生するまでの待ち時間が従う分布です。
例えば、あるイベントが平均して\(λ\)回/単位時間発生する場合、次のイベントまでの待ち時間は指数分布に従います。
指数分布の確率密度関数は以下のとおりです。
$$f_x(x)=λe^{-λx}$$
また、無記憶性という特性もあり、事象発生までの待ち時間が過去どれだけ待ったかに依存しないことを示しています、
無記憶性についての議論は以下で行われています。
モーメント母関数は、\(M_x(x)=E[e^{tx}]=\int_{-∞}^{∞}e^{tX}λe^{-λx}dx\)
指数分布の実現値は、0から無限大までになります。
定数λを外に出します。
$$M_x(t)=λ\int_{0}^{∞}e^{-(λ-t)x}dx$$
$$M_x(t)=λ\frac{1}{-(λ-t)}[e^{-(λ-t)x}]_{0}^{∞}$$
ここで注意をしたいのが、\(λ-t\)の符号です。
仮に符号が負の場合、\(-(λ-t)x\)に\(x=∞\)を代入した時に、無限大に発散してしまいます。
モーメント母関数は、収束する場合のみ扱うので、ここでは\(λ-t>0\)であると仮定します。
$$M_x(t)=λ\frac{1}{-(λ-t)}[0-1]_{0}^{∞}=\frac{λ}{λ-t}$$
よって、指数分布のモーメント母関数は、\(\frac{λ}{λ-t}\)
ガンマ分布
ガンマ分布も連続確率分布の一つで、指数分布を一般化したものです。
ガンマ分布は、ある事象が\(k\)回発生するまでの総待ち時間が従う分布です。
\(Γ(k)\)はガンマ関数です。
$$Γ(k)=\int_0^∞x^{k-1}e^{-x}dx$$
以下は、ガンマ分布の確率密度関数です。
$$f_x(x)=\frac{λ^k}{Γ(k)}x^{k-1}e^{-λx}$$
指数分布と形はよく似ていますが、指数分布はガンマ分布の特殊形です。
指数分布だと、パラメータ\(k=1\)である場合です。
整数値の場合、それは「エルラン分布」とも呼ばれます。
指数分布は単一事象の待ち時間に焦点を当てていますが、ガンマ分布は複数の事象の総待ち時間をモデル化します。
モーメント母関数は、\(M_x(x)=E[e^{tx}]=\int_{-∞}^{∞}e^{tx}f_x(x)dx\)
指数分布と同じで、実現値は0から無限大の値をとります。
$$M_x(x)=\int_{0}^{∞}e^{tx} \frac{λ^k}{Γ(k)}x^{k-1}e^{-λx}dx$$
積分と関係ない部分を外に出してあげましょう。
$$M_x(x)=\frac{λ^k}{Γ(k)} \int_{0}^{∞}x^{k-1}e^{-(λ-t)x}dx$$
ここでガンマ関数に関する以下の公式を使います。
$$\int_{0}^{∞}x_{k-1}e^{-λx}dx=\frac{Γ(k)}{λ^k}$$
よって、モーメント母関数は以下のように整理できます。
$$M_x(x)=\frac{λ^k}{Γ(k)} \frac{Γ(k)}{(λ-t)^k}=(\frac{λ}{λ-k})^k$$
ガンマ分布のモーメント母関数は、\((\frac{λ}{λ-k})^k\)となります。
補足|ベータ関数とガンマ関数について
先ほど紹介した、γ関数を使ってβ分布を記述することができます。
$$B(a,b)=\frac{Γ(a)Γ(b)}{Γ(a+b)}$$
ベータ関数の内容は以下です。
a,bは正定数です。
$$B(a,b)=\int_0^1x^{a-1}(1-x)^{b-1}dx$$
