06/08/2024 / 最終更新日時 : 06/08/2024 生成AI/GPT ベイズ 【完全版】二項分布をわかりやすく説明|統計学 こんにちは、青の統計学です。 今回は、離散確率分布の一つ二項分布をテーマに解説していきます。 母比率の検定や正規近似、ベルヌーイの繰り返しverなど、統計学を勉強していると多く目にすることがあると思います。 これを機にし […]
01/16/2024 / 最終更新日時 : 01/16/2024 生成AI/GPT 大学数学 【数理統計学】ヤコビアンをわかりやすく解説|MCMCでの使用例 こんにちは、青の統計学です。 今回は、数理統計学で必須の知識「ヤコビアン」について学習していきます。 最初はなかなか理解が難しいかもしれませんが、MCMC法等の変数変換が必要な統計解析手法では必ず出てくる行列式です。 関 […]
01/06/2024 / 最終更新日時 : 05/11/2024 生成AI/GPT 推測統計学 【統計検定】確率分布のモーメント(積率)母関数完全ガイド|導出チートシート こんにちは、青の統計学です。 今回は、統計検定のチートシート番外編として、確率分布についてまとめようと思います。 各確率分布のモーメント母関数(積率母関数)が求められると、期待値と分散が計算できるようになります。 計算量 […]
10/12/2023 / 最終更新日時 : 05/01/2024 生成AI/GPT 大学数学 【最短】統計検定2級合格ロードマップとチートシート|おすすめの本について こんにちは、青の統計学です。 今回は、統計検定2級を合格するために参考になる本とチートシートをご紹介します。 noteではチートシート完全版をご用意しております。 統計検定準一級については以下をご覧くださいませ。 【最短 […]
09/03/2023 / 最終更新日時 : 02/02/2024 生成AI/GPT ベイズ 【第2弾】統計検定準1級のチートシート|最短合格への道 こんにちは、青の統計学です。 こちらの記事だけでは、紹介しきれない内容があったため第二弾のチートシートになります。 【最短合格】統計検定準一級のチートシート|難易度や出題範囲について 統計検定2級はこちら→【最短】統計検 […]
08/06/2023 / 最終更新日時 : 05/05/2024 生成AI/GPT 大学数学 【最短合格】統計検定準一級のチートシート|難易度や出題範囲について こんにちは、青の統計学です。 今回は、統計検定準一級のチートシートをご紹介します。 第二弾はこちら→【第2弾】統計検定準1級のチートシート|最短合格への道 統計検定2級はこちら→【最短】統計検定2級合格ロードマップとチー […]
04/22/2023 / 最終更新日時 : 05/05/2024 生成AI/GPT Python 【統計学】分散不均一だと何が問題なのか|不偏性とガウスマルコフ性について こんにちは、青の統計学です。 今回は、分散均一と分散不均一について解説いたします。 推定量期待値の分散に関わる問題で、検定方法についても触れようと思います。 各種検定のチートシートは以下をクリック! 【最短】統計検定2級 […]
01/08/2023 / 最終更新日時 : 06/02/2024 生成AI/GPT 大学数学 【統計検定】フィッシャー情報量とクラメール・ラオの不等式について解説|python こんにちは、青の統計学です。 今回は、正規分布を例に取って、フィッシャー情報量とクラメール・ラオの不等式について深掘りできればと思います。 統計検定準一級の試験範囲にもなっておりますので、この機会に是非理解していきましょ […]
12/30/2022 / 最終更新日時 : 01/19/2024 生成AI/GPT 推測統計学 【仮説検定】p値をゼロから解説(第一種の過誤,第二種の過誤,検出力) こんにちは、青の統計学です。 p値や有意水準の意味を正しく理解しているでしょうか? 実験計画や分析報告等で、正しく指標を使うためにも統計的仮説検定の正確な理解はとても大事です。 結論を語りますが、P値や有意性は、効果の大 […]
12/20/2022 / 最終更新日時 : 04/27/2024 生成AI/GPT Python 【判別問題】サポートベクトルマシン(SVM)の仕組み|python 今回は2値の判別問題で効果を発揮する、サポートベクトルマシン(support vector machine)について解説いたします。 数理最適化も扱うことになるのでいい勉強になると思います。 非線形分離に関しては以下のコ […]
12/16/2022 / 最終更新日時 : 09/09/2023 生成AI/GPT Python 【多変量解析】ROC曲線とAUCによる判別分析|python 機械学習の問題は回帰問題と分類問題に大別されます。 そして、分類問題の指標でよく扱われるかつ、不均衡問題で威力を発揮する「ROC曲線」と「AUC」について今回は解説していきます。 統計検定準一級の範囲にもしっかり入ってお […]
12/15/2022 / 最終更新日時 : 03/22/2023 生成AI/GPT Python 【python】Ridge(リッジ)回帰で多重共線性を解決する話 今回は、リッジ回帰について解説いたします。 リッジ回帰とは、重回帰分析の一つであり、機械学習には厄介な「多重共線性」の影響を少なくできる手法のひとつです。 複雑なデータをモデルに当てはめるときには、一般に多くの説明変数を […]
11/15/2022 / 最終更新日時 : 04/27/2024 生成AI/GPT Python 【機械学習】単回帰分析をpythonで実装してみましょう 今回は、教師あり学習の基礎中の基礎である「単回帰分析」を実装します。 教師あり学習とは、説明変数(インプット)から目的変数(アウトプット)を予測するモデルを求める手法です。 訓練データには目的変数や説明変数があり、あらか […]
08/01/2022 / 最終更新日時 : 06/06/2023 生成AI/GPT Python 【python】階層型クラスタリングとデンドログラムの実装について クラスタリングには、階層型と非階層型があります。今回は、階層型のクラスタリングについて解説しようと思います。 実装で使うデータは、【共線性解決】pythonで主成分分析をやってみたでも使った、学生のテストのデータを使って […]
07/23/2022 / 最終更新日時 : 03/20/2024 生成AI/GPT Python 【外れ値に対処】順位相関係数と相関係数の違いについて | python 相関係数は、外れ値があると大きく値が変わってしまうという特徴があり、正確な関係の把握が難しい場合があります。 そこで、外れ値に対処できる頑健(ロバスト)な相関係数が必要とされます。 それが、スピアマンの順位相関係数と呼ば […]
07/15/2022 / 最終更新日時 : 04/29/2024 生成AI/GPT Python 【非等分散編】pythonでWelch(ウェルチ)のt検定をやってみた 2標本問題において、標本間の母分散が等しいという等分散の仮定は、限られた場でしか信憑性がありません。 今回は、標本間の母分散が異なるときに使えるWelchのt検定を学びましょう。 等分散の仮定を置いた2標本問題の方が簡単 […]
07/05/2022 / 最終更新日時 : 01/07/2024 生成AI/GPT Python 【周期性を掴もう】pythonでコレログラムを書いてみましょう ヒストグラムや折れ線グラフなどはよく耳にしますが、「コレログラム」は聞いたことがないかたも多いと思います。 今回は統計検定2級や準一級でよく出る「コレログラム」についてまとめてみました。 統計検定のチートシートは以下をク […]
06/30/2022 / 最終更新日時 : 01/07/2024 生成AI/GPT 推測統計学 【期待値の応用】モーメント母関数(積率母関数)について 統計検定準一級には、積率母関数についての問題があります。 マクローリン展開や合成関数の微分の知識が必要なことから、避けられがちですが、使う分には便利なものです。 今回は、モーメント法と積率母関数について解説します。 統計 […]
06/28/2022 / 最終更新日時 : 04/28/2024 生成AI/GPT 推測統計学 【等分散の仮定】2標本問題ってなんだ?|python 確率変数が2つ登場するため、難しいですが、応用上用いられることが多いのが「2標本問題」です。 中でも今回は、二つの確率変数が同一の分散であると仮定した「等分散の仮定」に基づいて解説していきます。 等分散の仮定が認められな […]
06/24/2022 / 最終更新日時 : 03/16/2023 生成AI/GPT 推測統計学 【MSEを最小化】ガウス・マルコフの定理と最良線形不偏推定量について 回帰分析等で算出した推定量を評価するとき、どのような指標があるでしょうか。 これまでは、一致性や不偏性を取り上げてきました。簡単に復習しましょう。 一致性(consistency):サンプル数を∞に近づけると、推定量はパ […]
06/22/2022 / 最終更新日時 : 05/08/2023 生成AI/GPT Python 【共線性解決!?】pythonで主成分分析(PCA)をやってみた 青の統計学へようこそ。 今回は、教師なし学習の一つ「主成分分析」について解説いたします。 数学的背景まで掘り下げたコンテンツは以下になります。 【python】主成分分析(+回帰)の仕組みとコード例|教師なし学習 主成分 […]
06/20/2022 / 最終更新日時 : 01/14/2024 生成AI/GPT Python 【統計検定準一級】ランダムウォークとマルチンゲールの話。 こんにちは、青の統計学です。 統計検定準一級では、「この確立過程Sは、マルチンゲールかどうか?」という問題が出ることがあります。 マルコフ性と並んで登場する「マルチンゲール」に、とっつきにくさを感じた方も多いと思います。 […]
06/15/2022 / 最終更新日時 : 04/27/2024 生成AI/GPT 大学数学 【線形代数】固有値や固有ベクトルは機械学習にどう使われているのか|主成分分析 こんにちは、青の統計学です。 今回は、前回大好評だった「線形代数がデータサイエンスにどう使われているのかシリーズ」の第二弾です。 大学数学で勉強した固有値や固有ベクトルが一体何の役に立っているのか…対角化で冪 […]
06/15/2022 / 最終更新日時 : 05/05/2024 生成AI/GPT 推測統計学 【F値とは】分散分析による検定の多重性について|統計検定準1級 統計検定準一級では、2級同様「分散分析」の内容が出てきます。 今回は、前回と視点を変えた「検定の多重性」について解説します。 例題を通して理解していきましょう。 *確実に理解するために、ある程度時間をかけてみましょう。 […]
06/13/2022 / 最終更新日時 : 05/31/2024 生成AI/GPT ベイズ 【ベイズ因子】オッズ比の使われ方を紹介します こんにちは、青の統計学です。 今回はロジスティック回帰の解釈で定番の、オッズ比について考えていきます。 オッズ比は二つのカテゴリに分けられるデータに対して有用な指標であり、特に、疾患や事象が発生する確率について研究する際 […]
06/06/2022 / 最終更新日時 : 05/12/2024 生成AI/GPT ベイズ 【尤度って?】尤度関数と最尤推定量の解説と例題 確率分布のパラメータ\(θ\)を推定する方法の一つとして、最尤推定というものがあります。 最尤推定には、尤度関数を使うことが必須です。まずは尤度関数については見てみましょう。 尤度(likelihood)について 抑えて […]
06/04/2022 / 最終更新日時 : 05/11/2024 生成AI/GPT 推測統計学 【例題つき】正規分布(ガウス分布)の確率密度について|R 二項分布やポアソン分布のようなカウントデータを扱う離散分布の他に、連続データを扱う連続分布があります。 今回は、連続分布の代表格である「正規分布」について扱います。 確率密度に関する例題とともに、分布の再生性についても取 […]
06/03/2022 / 最終更新日時 : 02/29/2024 生成AI/GPT 推測統計学 【モデル選択】AIC(赤池情報量基準)についてわかりやすく解説 モデルを比較する時に、観測したデータとの当てはまりの良さで判断することがあります。 これは最大対数尤度で考えています。 「対数尤度が大きいモデルが良い」と言うのは、一つの軸ではありますが複雑なモデル(=実用的ではないし、 […]
05/30/2022 / 最終更新日時 : 05/08/2023 生成AI/GPT 推測統計学 【統計検定2級】第一種の過誤と第二種の過誤について 今回は、統計検定2級で頻出の「第一種の過誤(type I error)と第二種の過誤(type II error)」について解説します。 仮説検定では、比較するモデル同士を帰無仮説と対立仮説に分けます。パラメーター数が少 […]
05/30/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT Python 【統計検定】ポアソン過程をわかりやすく解説|待ち行列理論 こんにちは、青の統計学です。 今回は統計検定準一級から登場する確立過程の一つ「ポアソン過程」について解説いたします。 このコンテンツに全て詰まっているのでブックマーク推奨です! ポアソン過程とは(poisson proc […]
05/24/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT Python 【GLM】一般化線形モデルを解説|ポアソン回帰 今回はGLMと呼ばれる「一般化線形モデル(generalized liner model)」を解説します。 よく似た名前として、分散分析や共分散分析などの「一般線形モデル」が有りますが、一般線形モデルは正規線形モデルの一 […]
05/23/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT Python 【python】分散分析(ANOVA)の基礎から応用まで|統計的仮説検定 こんにちは、青の統計学です。 今回は、分散分析について解説いたします。 分散分析(ANOVA) 分散分析(ANOVA)は、統計学において複数の群間で平均値に有意な差があるかどうかを判断する手法です。 管理人の主観ですが、 […]
05/20/2022 / 最終更新日時 : 05/05/2024 生成AI/GPT 推測統計学 【統計検定2級】分散分析の信頼区間について|python 統計検定2級の中でも手強い分野の一つ、「分散分析」を扱います。 中でも、分散分析の信頼区間は盲点になることが多いです。例題を通して学んでいきましょう。 分散分析について基礎から学びたい方は、以下のコンテンツをご覧ください […]