【統計検定】偏相関係数の概念と計算方法 – 多変量解析の基礎

こんにちは、青の統計学です！

今回は、偏相関係数 について解説します。

相関係数よりも、より変数間の因果関係に踏み込んだ議論ができます。

相関係数については、こちらのコンテンツをご覧ください。

偏相関係数

偏相関係数は、他の変数の影響を除去した上で、2つの変数間の純粋な相関関係を測定する指標です。

当然モチベーションとなるのは、変数間の相関関係をより精度高く分析するためです。

まず、単純相関係数と偏相関係数の違いを理解することが重要です。

単純相関係数は、2つの変数間の線形関係の強さを測定します。

しかし、この値には他の変数の影響が含まれている可能性があります。

一方、偏相関係数は、他の変数の影響を統計的に除去した上で、2つの変数間の純粋な相関関係を示します。

$$r_{xy|z}=\frac{r_{xy}-r_{xz}\ast r_{yz}}{\sqrt{1-r_{xz}}\sqrt{1-r_{yz}}}$$

偏相関係数とは、$x$と$y$の相関を求める際に他の変数$$z$$の影響を取り除いた残差の相関を計算しています

異なる事象を同じ事象で回帰させた時に、交絡を回避できる〜という文脈で取り上げられます。

例えば、年齢、収入、教育レベルなど、複数の変数がある場面で、年齢と収入の関係性を、教育レベルの影響を取り除いて評価したい場合などに使用します。

普通の相関係数と偏相関係数に大きな差がある場合に、他の変数による交絡があると言えますね。

深掘りポイントとしては、以下のような多重共線性などの議論に繋がります。

【論文解説】多重共線性は回帰分析にどのような影響を与えるのか

【説明変数の相関】多重共線性を解説します。

多変量正規分布との関係

偏相関係数の理論的背景は、多変量正規分布と関連があります。

$n$次元の確率変数$\mathit{X}=(X_1,X_2,\dots ,X_n)$が多変量正規分布$\mathcal{N}(\mathit{\mu },\mathbf{\Sigma })$に従うとします。

$\mathit{\mu }$は平均ベクトル、$\mathbf{\Sigma }$は共分散行列です。

$X_i$と$X_j$の偏相関係数${\rho }_{ij\cdot 123\cdots (i-1)(i+1)\cdots (j-1)(j+1)\cdots n}$は、他のすべての変数の影響を除去した後の$X_i$と$X_j$の相関係数です。

多変量正規分布については、こちらがおすすめです。

多変量正規分布の確率密度関数と主な性質を解説|機械学習・統計学の基礎

偏相関係数の計算方法を理解するために、まず共分散行列の構造を見てみましょう。

$n$次元の確率変数$\mathit{X}=(X_1,X_2,\dots ,X_n)$が多変量正規分布$\mathcal{N}(\mathit{\mu },\mathbf{\Sigma })$に従う場合、共分散行列$\mathbf{\Sigma }$は以下のように表せます。

$$\mathbf{\Sigma }=\left(\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& \cdots & {\sigma }_{1n}\\ {\sigma }_{21}& {\sigma }_{22}& \cdots & {\sigma }_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ {\sigma }_{n1}& {\sigma }_{n2}& \cdots & {\sigma }_{nn}\end{array}\right)$$

ここで、${\sigma }_{ij}=\mathrm{Cov}(X_i,X_j)$は$X_i$と$X_j$の共分散です。

対角成分${\sigma }_{ii}$は$X_i$の分散$\mathrm{Var}(X_i)$に相当します。

さて、$X_i$と$X_j$の偏相関係数${\rho }_{ij\cdot 123\cdots (i-1)(i+1)\cdots (j-1)(j+1)\cdots n}$は、他のすべての変数の影響を除去した後の$X_i$と$X_j$の相関係数です。

つまり、$X_i$と$X_j$以外の変数$X_1,\dots ,X_{i-1},X_{i+1},\dots ,X_{j-1},X_{j+1},\dots ,X_n$が既知のときの$X_i$と$X_j$の条件付き相関係数となります。

この条件付き相関係数を計算する方法は、以下の通りです。

まず、$X_i$と$X_j$の条件付き分散$\mathrm{Var}(X_i\mid X_1,\dots ,X_{i-1},X_{i+1},\dots ,X_n)$と$\mathrm{Var}(X_j\mid X_1,\dots ,X_{j-1},X_{j+1},\dots ,X_n)$を求めます。

これらは、共分散行列$\mathbf{\Sigma }$の余因子行列から計算できます。

例えば、$\mathrm{Var}(X_1\mid X_2,X_3,\dots ,X_n)$は、$\mathbf{\Sigma }$の$(1,1)$要素から、第1行と第1列を除いた余因子行列の逆行列の$(1,1)$要素を引いたものになります。

次に、$X_i$と$X_j$の条件付き共分散$\mathrm{Cov}(X_i,X_j\mid X_1,\dots ,X_{i-1},X_{i+1},\dots ,X_{j-1},X_{j+1},\dots ,X_n)$を求めます。

これは、$\mathbf{\Sigma }$の$(i,j)$要素から、第$i$行と第$j$列を除いた余因子行列の逆行列の$(i,j)$要素を引いたものになります。

条件付き分散と条件付き共分散が分かれば、$X_i$と$X_j$の偏相関係数${\rho }_{ij\cdot 123\cdots (i-1)(i+1)\cdots (j-1)(j+1)\cdots n}$は、以下の式で計算できます。

$$\begin{array}{rl}{\rho }_{ij\cdot 123\cdots (i-1)(i+1)\cdots (j-1)(j+1)\cdots n}& =\frac{\mathrm{Cov}(X_i,X_j\mid X_1,\dots ,X_{i-1},X_{i+1},\dots ,X_{j-1},X_{j+1},\dots ,X_n)}{\sqrt{\mathrm{Var}(X_i\mid X_1,\dots ,X_{i-1},X_{i+1},\dots ,X_n)\mathrm{Var}(X_j\mid X_1,\dots ,X_{j-1},X_{j+1},\dots ,X_n)}}\\ & =\frac{{\sigma }_{ij}-\sum _{k\ne i,j}{\sigma }_{ik}{\sigma }_{jk}/{\sigma }_{kk}}{\sqrt{({\sigma }_{ii}-\sum _{k\ne i}{\sigma }_{ik}^2/{\sigma }_{kk})({\sigma }_{jj}-\sum _{k\ne j}{\sigma }_{jk}^2/{\sigma }_{kk})}}\end{array}$$

この式は、共分散行列$\mathbf{\Sigma }$の要素から直接計算できることが分かります。

具体例を見てみる

例えば、$3$次元の多変量正規分布$\mathcal{N}(\mathbf{0},\mathbf{\Sigma })$において、共分散行列が

$$\mathbf{\Sigma }=\left(\begin{array}{ccc}1& 0.5& 0.3\\ 0.5& 1& 0.6\\ 0.3& 0.6& 1\end{array}\right)$$

とします。

このとき、$X_1$と$X_2$の偏相関係数${\rho }_{12\cdot 3}$は、

$$\begin{array}{rl}{\rho }_{12\cdot 3}& =\frac{0.5-0.3\times 0.6/1}{\sqrt{(1-{0.3}^2/1)(1-{0.6}^2/1)}}\\ & =\frac{0.32}{\sqrt{0.91\times 0.64}}\\ & \approx 0.435\end{array}$$

と計算できます。

一方、単純相関係数${\rho }_{12}=0.5$なので、$X_3$の影響を除去すると$X_1$と$X_2$の相関関係がより強くなることが分かります。

このように、偏相関係数は変数間の純粋な相関関係を捉えるため、重要な統計量となります。

多変量データ解析や経路解析などの分野で幅広く利用されています。