ベルヌーイ分布の基本を徹底解説!期待値・分散の計算方法とは?
ベルヌーイ分布とは? ベルヌーイ分布は、確率論と統計学の基礎を成す確率分布で、 成功と失敗の2つの結果しか持たないベルヌーイ試行 における結果をモデル化するために用いられます。…
ベルヌーイ分布とは? ベルヌーイ分布は、確率論と統計学の基礎を成す確率分布で、 成功と失敗の2つの結果しか持たないベルヌーイ試行 における結果をモデル化するために用いられます。…
ラスパイレス指数とパーシェ指数とは?物価変動を測る両指数の違い、計算方法、特徴(代替効果)、使い分けを具体例で分かりやすく解説します。消費者物価指数など統計検定対策にも最適です。
統計学の「分散不均一性」とは何か、なぜ問題となるのかを分かりやすく解説します。回帰分析(OLS)における「不偏性」や「ガウス・マルコフの定理」との関係性、分散不均一が推定に与える影響までを学びたい方におすすめです。
こんにちは、青の統計学です。 今回は教師なし学習の一つ「主成分分析」について解説いたします。 以下の記事よりも数学的背景を重めに取り扱っております。 【共線性解決!?】pythonで主成分分析(PCA)をやってみた…
有限母集団修正(Finite Population Correction, FPC) 有限母集団修正とは、有限母集団からの標本抽出に関連するバイアスを補正するための手法です。 まず、モチベーションから確認していきましょう。…
ゼロ過剰ポアソン分布(ZIP分布)を徹底解説。データに0が多い場合の対処法として、定義や期待値・分散の導出、EMアルゴリズムを用いた最尤推定の手順まで網羅しています。通常のポアソン分布との違いや使い分けを学びたい方におすすめです。統計検定対策にも。
一様分布 一様分布は最もシンプルな連続確率分布の一つで、 「同じ確率で起こる」という直感的な概念を数学的に表現したもの です。 例えばこんな感じです。 サイコロの目の出る確率 ランダムな時刻に電車が到着する待ち時間(特定の時間帯内)…
こんにちは、青の統計学です。 今回は、正規分布を例に取って、フィッシャー情報量とクラメール・ラオの不等式について深掘りできればと思います。 統計検定準一級の試験範囲にもなっておりますので、この機会に是非理解していきましょう。…
こんにちは、青の統計学です。 今回は、多重共線性への理解を深め、対処などを考察するために論文を読んでみました。 多変量解析をするとなると、大抵はマルチコ(多重共線性)の壁にあたります。…
1. p値の定義と計算方法 1.1 p値の定義 p値 は、統計検定において次のように定義される数値です。 p値 (p-value) 帰無仮説 ${H_0}$ を前提としたとき、観測された検定統計量と同じかそれ以上に極端な値が得られる確率…
リッジ回帰とは、重回帰分析の一つであり、機械学習には厄介な「多重共線性」の影響を少なくできる手法のひとつです。 複雑なデータをモデルに当てはめるときには、一般に多くの説明変数を使って表現をしますが、…
モーメント法とは?確率分布の平均や分散などの特徴を捉える「モーメント」を使い、パラメータを推定する仕組みを数学的背景から解説。統計検定準1級対策にも最適です。
ロジスティック分布の定義と性質をわかりやすく解説。なぜ累積分布関数がシグモイド関数になるのか、ロジスティック回帰や機械学習でどのように使われるのか、その数学的背景を学びます。
1. 超幾何分布 1.1 超幾何分布とは 超幾何分布は、 有限個 からなる母集団から 非復元抽出 を行うときに、「特定の属性を持つ要素がサンプル中に何個含まれるか」を表す確率分布です。 非復元抽出…
相関係数は、外れ値があると大きく値が変わってしまうという特徴があり、正確な関係の把握が難しい場合があります。 そこで、外れ値に対処できる頑健(ロバスト)な相関係数が必要とされます。 それが、スピアマンの 順位相関係数 と呼ばれるものです。…
マルコフ連鎖の基本原理(マルコフ性・推移確率行列)と定常分布についてわかりやすく解説。さらに、ベイズ統計学で重要なMCMC法(マルコフ連鎖モンテカルロ法)への応用として、MH法やギブスサンプリングとの関係性もPythonコード例と共に紹介します。
2標本問題において、標本間の母分散が等しいという等分散の仮定は、限られた場でしか信憑性がありません。 今回は、標本間の母分散が異なるときに使えるWelchのt検定を学びましょう。…
統計検定準一級には、積率母関数についての問題があります。 マクローリン展開や合成関数の微分の知識が必要なことから、避けられがちですが、使う分には便利なものです。 今回は、モーメント法と積率母関数について解説します。…
1. コサイン類似度とは? ベクトル同士の“方向の近さ”を測る指標 コサイン類似度(Cosine Similarity)とは、主に 2つのベクトルがどのくらい同じ方向を向いているか を測定するための指標です。計算結果の値は -1から1…
1. コーシー分布とは?ざっくり解説 はじめに、コーシー分布は「 重い裾(fat-tail)を持つ分布 」として知られ、平均や分散が定義できないという面白い特徴を持っています。 確率論を学ぶと真っ先に登場する正規分布とは異なり、…