独立と無相関の違い｜相関係数0でも関係がある理由を図解

1. 相関係数が 0 でも、変数は捨てられない

相関係数が 0 であることは、二つの数が直線としては一緒に動いていない、ということです。それだけで「関係がない」「予測に使えない」とは言えません。

室温で考えます。快適な温度を 20℃ と置くと、そこからのずれは「何度暑いか、何度寒いか」です。+10℃ は暑すぎ、−10℃ は寒すぎ、です。空調の負荷は、暑すぎるときも寒すぎるときも増えます。ずれそのものではなく、ずれの二乗を負荷として置くと、次のようになります。

ずれが −10℃ のときも +10℃ のときも、負荷は 100 です。直線で見ると、暑い側と寒い側が打ち消しあって、相関は 0 に近くなります。それでも、ずれが分かれば負荷は一つに決まります。

このあと、快適な温度からのずれを偏差、その二乗を負荷指数と呼びます。呼び方はそれだけです。これは実測の電力需要ではありません。暑すぎても寒すぎても負荷が増える、という形を数式で置いただけです。気温が需要を引き起こした、という結果でもありません。

「相関がほぼ 0 だから、この変数は予測に使いません」は、直線の傾きが小さい、というところまでです。上の表のように、二乗で効く量は、この基準だと落ちます。

2. 無相関と独立は、見ているものが違う

前の節の表は、直線の相関は消えているのに、ずれが分かれば負荷は決まる、という例でした。この「直線としては関係がない」と「一方を見ればもう一方が決まる」を、用語では無相関と独立に分けます。先に独立です。

独立性とは、二つの変数が同時に入る範囲の確率が、それぞれの確率の積に分かれることです。一方の値が分かっても、もう一方の出やすさは変わらない、ということです。範囲 \(A\) と \(B\) のすべてで

\[ P(X\in A,\ Y\in B)=P(X\in A)\,P(Y\in B) \]

が成り立つとき、\(X\) と \(Y\) は独立です。

ここでの独立は、二つの変数について同時の確率が積に分かれることです。同じ分布から観測を繰り返すときの独立同一分布とは、別の条件です。標本の並びが独立同一分布かは、次の記事に渡します。

共分散とは、それぞれの平均からのずれを掛けて、その期待値を取ったものです。

\[ \mathrm{Cov}(X,Y)=E\bigl[(X-E[X])(Y-E[Y])\bigr] \]

無相関とは、この共分散が 0 であることです。平均より大きい同士・小さい同士の寄与と、逆符号の寄与が、ちょうど釣り合っています。

相関係数とは、共分散を二つの標準偏差の積で割った値です。標準偏差とは、分散の正の平方根です。相関係数を置くときは、両方の分散が有限で、しかも 0 でないことを要求します。

\[ \rho(X,Y)=\frac{\mathrm{Cov}(X,Y)}{\sqrt{\mathrm{Var}(X)}\,\sqrt{\mathrm{Var}(Y)}} \]

分散が 0 だと、割る数が 0 になり、相関係数は定義できません。定数との共分散は 0 でも、相関係数は置けません。ここでいう相関係数は、この比です。順位に置き換えた指標ではありません。

共分散の展開と、単位を揃える理由は次の記事に任せます。

3. 独立なら無相関になる条件

両方の分散が有限なら、共分散も有限です。そのうえで二つが独立なら、積の期待値は期待値の積に分かれます。

\[ E[XY]=E[X]\,E[Y] \]

したがって共分散は 0 です。両方の分散が正なら、上の比も 0 です。分散が有限で正の範囲では、独立は無相関より強い条件です。

分散が無限だと、相関係数は置けません。独立であっても、「相関が 0」とは言いません。

逆は、一般には成り立ちません。共分散が 0 でも、同時の確率は積に分かれないことがあります。次の例がそれです。

4. 無相関でも、負荷指数は偏差で決まる

では、実際に例を見てみましょう。今回は、偏差のデータを一様分布から生成するとします。

一様分布とは、区間のなかのどこも同じ割合で値が現れる分布でしたね。たとえば −10℃ から 10℃ までなら、−8℃ 付近も +3℃ 付近も、同じくらいの頻度で現れます。山がある正規分布とは、その点で違います。

形は、DS Playground の確率分布可視化ツールで見られます。

確率分布可視化ツール｜一様分布

区間の幅は 20℃ です。どこも同じ割合なので、その地点の出やすさ（密度）は \(1/20\) です。

母平均 \(E[X]\) は 0 です。負荷指数の母平均は \(E[X^2]=100/3\) で、小数第三位までだと 33.333 です。偏差の母分散も、平均が 0 なので同じ \(100/3\)、つまり 33.333 です。標準偏差は 5.774℃ です。

負荷指数の母分散は次の差です。

\[ \mathrm{Var}(Y)=E[X^4]-\bigl(E[X^2]\bigr)^2=\frac{4\times 10^{4}}{45} \]

小数第三位までで 888.889、標準偏差は 29.814 です。どちらも有限で正なので、相関係数は定義できます。

共分散は \(E[X^3]-E[X]E[X^2]\) です。\(E[X]=0\) なので、偏差の三乗の平均だけが残ります。偏差を正負でひっくり返すと、三乗は符号だけが反転します。区間も 0℃ を中心に左右対称なので、正と負が打ち消し、この平均は 0 です。母共分散は 0、母相関係数も 0 です。

負荷指数は偏差の関数なので、平面上の同時密度はありません。共分散は、偏差の分布に沿った次の積分です。

\[ \int_{-10}^{10} x\left(x^2-\frac{100}{3}\right)\frac{1}{20}\,dx=0 \]

足し合わせている中身は、負荷指数が平均 33.333 をまたぐ位置で符号が変わります。その境界は \(\pm 5.774\)℃ で、偏差の標準偏差と一致します。

四つの区間に分けると、共分散への寄与は次のとおりです。大きい負の偏差が −55.556、小さい負の偏差が +13.889、小さい正の偏差が −13.889、大きい正の偏差が +55.556 です。外側どうし、内側どうしが打ち消して、合計は 0 です。

それでも独立ではありません。偏差の絶対値が 5℃ を超え、かつ負荷指数が 25 未満、ということは起きません。同時確率は 0 です。それぞれの確率はどちらも 0.5 なので、積は 0.25 です。積と同時確率が違うので、独立の式は崩れます。

偏差が 10℃ なら負荷指数は 100、偏差が 0℃ なら負荷指数は 0 です。一方の値を固定したときの、もう一方の分布を、条件付き分布と言います。偏差が \(x\)℃ なら、負荷指数は \(x^2\) に決まります。この値は \(x\) によって動くので、偏差を知る前の負荷指数の分布とは違います。

偏差の出方は同じにして、負荷指数だけを偏差と無関係に置いた組と比べると、母相関はどちらも 0 で、点の並びだけが違います。

標本相関係数とは、手元の点について、平均からのずれの積の和を、ずれの平方和の平方根どうしの積で割った値です。

\[ r=\frac{\sum_{i=1}^{n}(x_i-\bar x)(y_i-\bar y)}{\sqrt{\sum_{i=1}^{n}(x_i-\bar x)^2}\,\sqrt{\sum_{i=1}^{n}(y_i-\bar y)^2}} \]

母相関が 0 でも、この \(r\) は 0 になりません。上の 200 点では、二乗の関係が 0.010、独立に置いた側が −0.030 です。左の負荷指数は 0 付近に点が集まります。母集団では、負荷指数が 25 未満である確率が 0.5 です。母平均 33.333 は 25 より大きい側にあるので、青線は確率を上下に等分する位置ではありません。別の 40 点では、二乗の関係の標本相関は 0.187 でした。

同じ母集団から 40 点を 2,000 回取ると、標本相関の平均は 0.008、標準偏差は 0.203 です。200 点を 2,000 回取ると、平均は 0.001、標準偏差は 0.089 です。中心は 0 の近くに寄ります。1 回の標本相関は、母相関の 0 そのものではありません。

標本相関が 0 に近いことと、母集団の相関が 0 であることは別の量です。0.010 は 200 点から計算した数で、母相関の 0 ではありません。

5. 同時に正規分布に従うときだけ、逆が言える

二変量正規分布とは、二つの変数の組の同時分布が、平均・分散・相関係数で決まる二次元の正規分布であることです。各変数の周辺分布が、それぞれ正規分布であることとは別です。

同時分布が二変量正規で、共分散が 0、両方の分散が正なら、独立です。相関係数が 0 のとき、同時密度は二つの正規密度の積に分かれます。

\[ f(x,y)=f_X(x)\,f_Y(y) \]

多変量正規分布とは、複数の変数の組の同時分布が正規分布であることです。二変量正規分布は、変数が二つの場合です。組が多変量正規分布に従い、各成分の分散が正で、対角以外の共分散が 0 なら、成分は独立です。密度の式と、条件付き分布が再び正規になることは、次の記事に渡します。

逆向きに使うときは、同時分布の側を見ます。各変数が正規でも、組が二変量正規でなければ、無相関から独立は出ません。

もう一つ、別の例を見ます。それぞれの変数は正規分布なのに、二つを組にすると正規分布ではない、という置き方です。

標準正規分布とは、平均 0、ばらつき（分散）が 1 の正規分布です。\(X\) を標準正規とし、コインの表裏のように \(+1\) と \(-1\) を半々で取る符号 \(W\) を、\(X\) とは別に掛けます。\(Y=WX\) です。正規分布は 0 を中心に左右対称なので、符号を無作為に付け替えても、\(Y\) の周辺分布は標準正規のままです。共分散は \(E[WX^2]=E[W]E[X^2]=0\) です。母相関係数も 0 です。

しかし \(|Y|=|X|\) です。絶対値が 0.5 以下になる確率は 0.383、絶対値が 1 を超える確率は 0.317 です。二つの確率の積は 0.122 ですが、両方が同時に起きる確率は 0 です。点は直線 \(y=x\) と \(y=-x\) の上にしか乗らず、平面全体に密度を持つ二変量正規分布にはなりません。

それぞれの周辺が正規でも、組として二変量正規とは限りません。無相関から独立へ進むときに見るのは、同時分布の側です。

6. 相関行列だけだと、二乗の関係が落ちる

さきほどの偏差と負荷指数を、相関の表にするとどうなるかです。相関行列とは、変数の組ごとの相関係数を並べた表です。この例の母相関は 0 なので、偏差と負荷指数が交わるマスは 0、同じ変数どうしの対角は 1 です。対角以外が 0 でも、負荷指数は偏差で完全に決まります。

平均二乗誤差とは、予測と実値の差の二乗の期待値です。負荷指数を母平均 33.333 という定数だけで予測すると、平均二乗誤差は母分散の 888.889 のままです。偏差を知っていれば負荷指数は一つに決まり、この誤差は 0 です。誤差が 0 なのは、負荷指数を二乗で定義したからです。気温と需要の因果が見つかった、という意味ではありません。

直線の相関だけを見て変数を落とすと、この U 字は予測に残りません。線形以外の依存を一つの数で見るときは、相互情報量が候補です。定義と、変数選択での使い方は次に渡します。

7. 散布図と、区切った分布で確かめる

相関行列のあとで見るのは、点の並びと、条件付きの分布です。偏差を三つの区間に分けると、負荷指数の平均は揃いません。

\(X\) が −10〜−6℃ のとき、負荷指数の平均は 65.333 です。−2〜2℃ では 1.333、6〜10℃ では 65.333 です。偏差を知る前の平均は 33.333 です。独立なら、どの区間の平均もこの 33.333 に残ります。二乗の関係では、両端の区間の負荷指数は 36 以上なので、33.333 はその区間に入りません。

手順は二つです。まず散布図で、直線以外の曲がりがないかを見ます。次に、横軸を区間に分け、縦軸の分布か平均が区間で変わるかを見ます。変わっていれば、相関係数が 0 でも独立ではありません。有限個の点では平均が 33.333 から少しずれます。そのずれと、65.333 と 1.333 の開きは、大きさが違います。

8. 判断基準

母相関係数が 0 でも、その変数を予測から外すとは決めません。言えるのは、直線の傾きが 0 であることまでです。この例では、定数予測の平均二乗誤差 888.889 が、偏差を使うと 0 になります。

標本相関が小さいことは、母相関が 0 であることとは別です。40 点の一つの標本は 0.187 で、200 点でも 0.010 は母相関の 0 ではありません。

独立から相関係数 0 を言うときは、両方の分散が有限で正であることを置きます。無相関から独立を言うときは、同時分布が二変量正規であることを置きます。各変数の周辺が正規であるだけでは、その逆は使いません。

落とす前に、散布図と、一方を区切ったときの分布を見ます。分布が区間で変わっていれば、相関行列の 0 は「関係がない」の根拠になりません。