【期待値の応用】モーメント母関数(積率母関数)について
統計検定準一級には、積率母関数についての問題があります。
マクローリン展開や合成関数の微分の知識が必要なことから、避けられがちですが、使う分には便利なものです。
今回は、モーメント法と積率母関数について解説します。
統計検定のチートシートは以下をクリック！
【最短合格】統計検定準一級のチートシート|難易度や出題範囲について
【最短】統計検定2級合格ロードマップとチートシート|おすすめの本について
【統計検定】確率分布のモーメント(積率)母関数完全ガイド|導出チートシート
モーメント法(method of moments)
頻度論統計学の本質的な目的は、「標本から母集団の特徴を推定したい！」です。
そこで、標本平均\(E[X]\)や分散\(V(X)\)がわかれば、その確率関数の挙動が完全にわかるかといえば、NOです。
ただし、ある程度ならわかります。その指標のことを、「モーメント」と呼んでいます。
尤度関数の計算が難しい場合には、モーメント法が使われることが多いです。
尤度関数については、以下のコンテンツをご覧ください。
【統計検定で頻出】歪度と尖度を実例を通して解説。にモーメントについての解説がありますので、ご覧ください。
\(X^n\)：Xのn次モーメント
以上のようにモーメントを定義します。
\(n=1：E[X]\)となり、そのまま期待値になります。
\(n=2：E[X^2]\)となり、分散を求める際に使えます。
\(n=3\)：下の歪度の計算に使えます。
\((X – μ)^n\)の形にしたものを「Xの平均回りのn次モーメント」と呼びます。
また、平均を引いて平均を0にする行為を中心化と呼びます。
$$frac{E[(x-μ_X)^3]}{σ^3}$$
\(n=4\)：下の尖度の計算に使えます。
$$frac{E[(x-μ_X)^4]}{σ^4}$$
このように、モーメントがわかると、データのばらつきや確率分布の歪み具合、尖り具合、平均などを調べることができます。
これによって、母分散や母平均を推定していく方法を、「モーメント法」と呼びます。
十分に多い観測という条件のもとで、観測地の平均や分散は、母集団の平均や分散に一致します。
また、観測値のn乗の平均はn次のモーメントと一致します。
このことから、モーメント法で母数を求めるには、十分な観測値や無作為な抽出が前提になります。
モーメント法の具体的な活用|ガンマ分布
ガンマ分布は以下のような確率密度関数であり、パラメータαを最尤推定で解こうとしても陽の形に解けません。
$$f(x;α,λ)=\frac{λ^α}{Γ(α)}x^{α-1}e{-λx}$$
なので、モーメント法を使ってみます。
まず、別途証明は必要ですがガンマ分布の平均μは\(\frac{α}{λ}\)分散\(σ^2\)は\(\frac{α}{λ^2}\)と表せます。
αとλについて解いてみると、
$$α=\frac{μ^2}{σ^2},λ=\frac{μ}{σ^2}$$
上のように表せます。
つまり、パラメータについての連立方程式として表せるというわけです。
そして母分散や母平均をモーメントを使って表せる、標本平均や標本分散を使って置き換えてあげれば、簡易的にパラメータの推定量を表せるというわけです。
パラメータの推定をするために、母分散と母平均のパラメータを推定する必要があるので精度は微妙ですが、初めてパラメータを推定する際の初期値を提供するのに適しています。
積率母関数
では、モーメント法において積率母関数とは、どんな役割があるのでしょうか。
まずは、式を見てみましょう。
$$E[e^{tX}]$$
このように、eのtX乗の期待値を「積率母関数」または「モーメント母関数」と呼びます。
何が嬉しいか
積率母関数は、「\(n\)回微分した時に、\(t＝0\)とすればn次のモーメントになる」ことがわかっています。
これは、モーメント法を行う上で、母平均や母分散を推定する材料(期待値や分散、尖度、歪度)を簡単に用意することができます。
例えば、期待値が欲しければ、積率母関数を一回微分したら良いです。
歪度が欲しければ、積率母関数を3回微分して\(t=0\)にすれば、3次モーメントが得られます。
では、なぜ「n回微分した時に、\(t＝0\)とすればn次のモーメントになる」のかを、マクローリン展開してみてみましょう。
マクローリン展開
$$e^{tX}=1+Xt+\frac{X^2}{2!}t^2+…$$
さて、期待値の線形性により、以下のように和の形に表すことができます。
$$E[e^{tX}]=E[1]+E[Xt]+E[\frac{X^2}{2!}t^2]+…$$
では、早速tについて一回微分して\(t=0\)を代入してみましょう。
$$\frac{∂E[e^{tX}]}{∂t}=E[X]$$
このように、1次モーメントが残りました。
これは期待値ですね。
2回微分や3回微分でも試してみてください。
離散分布：二項分布
二項分布の確率母関数から、1回微分して期待値を計算してみましょう。
ただし、\(q=1-p\)とします。
$$P(X-k)={}_nC_kp^{k}q^{n-k}$$
上が二項分布の確率質量関数です。
早速二項分布のモーメント母関数を作ってみましょう。
$$E[e^{tk}]=\sum_{k=0}^Ne^{tk}{}_nC_k(p^{k}q^{n-k})$$
離散型なのでΣを使っています。
連続型の分布ならインテグラルを使います。
【読みたい人だけ用】ちなみに和の形で表されている以上、積率母関数は「収束」することが必要です。 収束しない分布関数は「特性関数」という別の処理をします。 高難度なのでここでは扱いません。収束しない分布関数の代表例としては、「コーシー分布」があります。
次に、kで括ります。
$$E[e^{tk}]=\sum_{k=0}^N{}_nC_k((pe^t)^kq^{n-k})=(pe^t+q)^n$$
では、tについて1回微分してみましょう。合成関数の微分です。
括弧の中で微分して、括弧の外で微分します。
$$npe^t(pe^t+q)^{n-1}$$
\(t=0\)を代入すると、一次モーメントは\(np\)になります。
よって二項分布の期待値は、\(np\)になります。
他の確率分布のモーメント母関数についての導出は以下のコンテンツをご覧ください。
【統計検定】確率分布のモーメント(積率)母関数完全ガイド|導出チートシート
連続分布：正規分布
先ほどと同じように、モーメント母関数を作ります。
$$E[e^{tX}]=\int e^{tX}f(x)dx=\int^{tX}×\frac{1}{\sqrt{2πσ^2}}\int exp(\frac{(x-μ)^2}{2σ^2})dx$$
お気づきの方もいるかもしれませんが、これはeの指数でまとめることができます。
$$E[e^{tX}]=\frac{1}{\sqrt{2πσ^2}}\int exp(\frac{(x-μ)^2}{2σ^2}+tX)dx$$
積率母関数を整理できました。
正規分布の積率母関数は上のような「eの指数でまとめられる」特徴があります。
このような確率分布を指数型分布族と呼びます。
指数型分布族(exponential distribution family)
モーメント母関数は、一般に\(E[e^tX]\)という確率変数の期待値の形を取ります。
よって、その確率変数の確率関数が「eの指数関数の形」であるものは、そのモーメント母関数は簡単な形で表すことができます。
こうした確率分布を「指数型分布族」と呼びます。
正規分布など、代表的な確率分布は指数型分布族に分類されます。
eの指数関数の形というのは具体的には、以下のような形です。
$$f(x;θ)=ae^{θ^TS(x)-ψ(θ)}$$
例えば、N(μ,1)の正規分布を指数型分布族の形に直してみます。
$$f(x;μ)=\frac{1}{\sqrt{2π}}e^{-\frac{(x-μ)^2}{2}}=\frac{1}{\sqrt{2π}}e^{-\frac{x^2}{2}+μx-\frac{μ^2}{2}}$$
ここでいう\(θ\)とは、期待値μのことなので、以下のようになります。
aはxの関数です。\(a\)と\(e\)の積では、指数同士を足し算しています。
$$a=\frac{1}{\sqrt{2π}}e^{-\frac{x^2}{2}},S(x)=x,ψ(θ)=\frac{θ^2}{2}$$
このような形だと何が嬉しいのかというと、\(ψ(θ)\)が狭義の凸関数になるということです。
つまり、この確率密度関数の対数尤度関数は凹関数(上に凸)になります。
→最大値が一意にきまる。(停留点を求めると、それが最尤推定量になるということ)
モーメント法と最尤推定量の関係については、ご理解いただけたでしょうか。
最尤推定量については、以下をご覧くださいませ。
他の確率分布のモーメント母関数についての導出は以下のコンテンツをご覧ください。
【統計検定】確率分布のモーメント(積率)母関数完全ガイド|導出チートシート
おまけ｜色々な確率分布のモーメント母関数について
他の確率分布のモーメント母関数についての導出は以下のコンテンツをご覧ください。
【統計検定】確率分布のモーメント(積率)母関数完全ガイド|導出チートシート
ベルヌーイ分布のモーメント母関数
$$M_x(t)=1+p(e^t-1)$$
二項分布は、独立なベルヌーイ分布に従う確率変数のn回繰り返したものなので、以下のようになります。
二項分布のモーメント母関数
$$M_X(t)=(1+p(e^t-1))^n$$
幾何分布のモーメント母関数
$$M_x(t)=p\sum_{x=0}^{∞}((1-p)e^t)^x=\frac{pe^t}{1-(1-p)e^t}$$
極限の知識を使っているのでちょっと難しいです。
指数分布のモーメント母関数
$$M_x(t)=λ\int_{0}^{∞}exp(-(λ-t)x)dx=\frac{λ}{λ-t}$$
ポアソン分布のモーメント母関数
$$M_x(t)=e^{λ(e^t-1)}$$
一様分布のモーメント母関数
$$M_X(t)=\frac{e^{tb}-e^{ta}}{t(b-a)}$$
