06/22/2022 / 最終更新日時 : 05/08/2023 生成AI/GPT Python 【共線性解決!?】pythonで主成分分析(PCA)をやってみた 青の統計学へようこそ。 今回は、教師なし学習の一つ「主成分分析」について解説いたします。 数学的背景まで掘り下げたコンテンツは以下になります。 【python】主成分分析(+回帰)の仕組みとコード例|教師なし学習 主成分 […]
06/19/2022 / 最終更新日時 : 10/31/2023 生成AI/GPT Python 【python】ガウス過程回帰の仕組みと実務での応用|ノンパラメトリック機械学習 こんにちは、青の統計学です。 今回はガウス過程回帰について解説いたします。 製造業の現場など、n=20やそこらぐらいのデータセットで予測を行う必要がある時によく使われます。 ガウス過程は少数データとの相性がよく、予測値の […]
06/18/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT Python 【python】共分散分析(ANCOVA)の基礎から応用まで|因果推論 こんにちは、青の統計学です。 今回は交絡因子の影響を調整する共分散分析を解説しようと思います 共分散分析 共分散分析は、調整平均を用いて、共変量(covariate)の影響を考慮した上で、群間の平均値の差を検定する方法で […]
06/15/2022 / 最終更新日時 : 01/16/2024 生成AI/GPT 大学数学 【線形代数】固有値や固有ベクトルは機械学習にどう使われているのか|主成分分析 こんにちは、青の統計学です。 今回は、前回大好評だった「線形代数がデータサイエンスにどう使われているのかシリーズ」の第二弾です。 大学数学で勉強した固有値や固有ベクトルが一体何の役に立っているのか…対角化で冪 […]
06/15/2022 / 最終更新日時 : 02/11/2024 生成AI/GPT 推測統計学 【F値とは】分散分析による検定の多重性について|統計検定準1級 統計検定準一級では、2級同様「分散分析」の内容が出てきます。 今回は、前回と視点を変えた「検定の多重性」について解説します。 例題を通して理解していきましょう。 *確実に理解するために、ある程度時間をかけてみましょう。 […]
06/13/2022 / 最終更新日時 : 05/05/2023 生成AI/GPT 推測統計学 【説明変数の相関】多重共線性を解説します。 重回帰分析を勉強していると、最小二乗法の仮定の一つに「多重共線性がないこと」と見たことがあると思います。 今回は、多重共線性の内容と、対処法を2つ解説いたします。 多重共線性の論文に関しては、以下で解説しています。 【論 […]
06/08/2022 / 最終更新日時 : 01/27/2024 生成AI/GPT ベイズ 【GLMM】一般化線形混合モデルについて解説|R こんにちは、青の統計学です。 GLMMを学ぶ前には、固定効果とランダム効果(変量モデル)、そしてGLM(一般化線形モデル)を理解しておく必要があります。 まだ理解が足りてない方には、まず先に以下のコンテンツをご覧ください […]
06/06/2022 / 最終更新日時 : 03/24/2024 生成AI/GPT ベイズ 【尤度って?】尤度関数と最尤推定量の解説と例題 確率分布のパラメータ\(θ\)を推定する方法の一つとして、最尤推定というものがあります。 最尤推定には、尤度関数を使うことが必須です。まずは尤度関数については見てみましょう。 尤度(likelihood)について 抑えて […]
06/04/2022 / 最終更新日時 : 01/08/2024 生成AI/GPT 推測統計学 【例題つき】正規分布(ガウス分布)の確率密度について|R 二項分布やポアソン分布のようなカウントデータを扱う離散分布の他に、連続データを扱う連続分布があります。 今回は、連続分布の代表格である「正規分布」について扱います。 確率密度に関する例題とともに、分布の再生性についても取 […]
06/03/2022 / 最終更新日時 : 02/29/2024 生成AI/GPT 推測統計学 【モデル選択】AIC(赤池情報量基準)についてわかりやすく解説 モデルを比較する時に、観測したデータとの当てはまりの良さで判断することがあります。 これは最大対数尤度で考えています。 「対数尤度が大きいモデルが良い」と言うのは、一つの軸ではありますが複雑なモデル(=実用的ではないし、 […]
06/03/2022 / 最終更新日時 : 07/16/2023 生成AI/GPT Python 【二項分布】ロジスティック回帰について|R GLMモデルと呼ばれる、一般化線形モデルにはポアソン分布だけではなく、色々の分布が使われます。 今回は二項分布を使った「ロジスティック回帰」について解説いたします。 Rではなく、pythonでコードを見たい方は【分類タス […]
05/31/2022 / 最終更新日時 : 01/20/2023 生成AI/GPT Python 【少ないデータを多く見せる】ブートストラップ法について|R 今回は、ブートストラップ法について解説します。 ブートストラップ法(bootstrap method) ブートストラップ法とは、乱数を使って何らかの確率分布を予測する方法です。大事なのは、「重複を許し」てデータセットを複 […]
05/30/2022 / 最終更新日時 : 05/08/2023 生成AI/GPT 推測統計学 【統計検定2級】第一種の過誤と第二種の過誤について 今回は、統計検定2級で頻出の「第一種の過誤(type I error)と第二種の過誤(type II error)」について解説します。 仮説検定では、比較するモデル同士を帰無仮説と対立仮説に分けます。パラメーター数が少 […]
05/27/2022 / 最終更新日時 : 01/19/2024 生成AI/GPT Python 【汎用性抜群】尤度比検定をわかりやすく解説します 尤度比検定とは、汎用性の高い統計モデルの検定です。 その汎用性の高さは、サンプル数が十分大きい時には、尤度比検定統計量の対数に2をかけたものがカイ2乗分布に従う性質にあります。 python中心に解説したコンテンツは以下 […]
05/24/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT Python 【GLM】一般化線形モデルを解説|ポアソン回帰 今回はGLMと呼ばれる「一般化線形モデル(generalized liner model)」を解説します。 よく似た名前として、分散分析や共分散分析などの「一般線形モデル」が有りますが、一般線形モデルは正規線形モデルの一 […]
05/23/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT Python 【python】分散分析(ANOVA)の基礎から応用まで|統計的仮説検定 こんにちは、青の統計学です。 今回は、分散分析について解説いたします。 分散分析(ANOVA) 分散分析(ANOVA)は、統計学において複数の群間で平均値に有意な差があるかどうかを判断する手法です。 管理人の主観ですが、 […]
05/20/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT 推測統計学 【統計検定2級】分散分析の信頼区間について|python 統計検定2級の中でも手強い分野の一つ、「分散分析」を扱います。 中でも、分散分析の信頼区間は盲点になることが多いです。例題を通して学んでいきましょう。 分散分析について基礎から学びたい方は、以下のコンテンツをご覧ください […]
05/17/2022 / 最終更新日時 : 02/16/2024 生成AI/GPT 推測統計学 【t検定】t統計量(t値)の求め方 統計検定2級の後半で頻出の「t統計量」についてご説明します。 標準誤差を知っておく必要があるので、標準誤差を知らない方は、【Standard Error】標準誤差を例題を通して解説。をご覧ください。 t統計量 例題1 サ […]
05/13/2022 / 最終更新日時 : 12/10/2023 生成AI/GPT Python 【python/Rコードつき】標準誤差を例題を通して解説。 統計検定などで、信頼区間を求めることは多くあります。 そこで必要なのが標準誤差という概念です。 分布によって誤差の作り方が異なったりするため厄介です。 丁寧に学んでいきましょう。 標準誤差(standard error) […]
05/04/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT 推測統計学 【例題つき】固定効果推定と固定効果モデルについて解説|ランダム効果も添えて まず、固定効果推定を行うのは「対象を複数時点で観察する」場合です。 社会科学の分野では、パネルデータ分析とよく言われています。 では、パネルデータ分析の時になぜ固定効果が必要な場合があるのでしょうか? 今回は、固定効果推 […]
05/03/2022 / 最終更新日時 : 01/16/2024 生成AI/GPT Python 【時系列】ARモデルをわかりやすく解説|Yule-Walker法や最尤法も こんにちは、青の統計学です。 今回解説するのは、時系列モデルの基礎であるARモデルです。 まずは数式を見てみましょう。 ARモデル(autoregression model) $$y_{n} = \sum_{j=1}^{ […]
05/01/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT 推測統計学 【n-1で割る理由】不偏分散と不偏性についてわかりやすく解説 不偏分散とは、不偏性を持つ分散のことです。 まず、不偏性について詳しく理解する必要があります。 分散から理解したい方はこちらをご覧ください。 【高校数学でわかる】分散と標準偏差とは?|散らばりの指標 統計検定のチートシー […]
04/29/2022 / 最終更新日時 : 11/11/2023 生成AI/GPT 推測統計学 【統計検定2級で最も厄介(主観)】分散分析を解説します② さて、前回の記事に続いて分散分析を解説していきます。見ていない方は、是非ご確認ください。 記事1:【統計検定2級で最も手強い(主観)】分散分析について解説します① まずはおさらいからです。 統計検定では、「分散分析」とい […]
04/25/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT 推測統計学 【統計検定2級で最も手強い(主観)】分散分析について解説します① 統計検定では、「分散分析」というものがよく出ます。「自由度」や「残差平方和」などの知識が必要で厄介です。 分散分析とは 分散分析とは、「データ全体の平均値からの各データのズレ」を以下の2つの要素に分解する手法です。 ①水 […]
04/24/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT 推測統計学 【統計検定2級で頻出】歪度と尖度を実例を通して解説|python こんにちは、青の統計学です。 今回は尖度と歪度という2つの統計量をみてみましょう。 Rとpythonどちらのコードも用意してあります。 歪度/skewness $$\frac{E[(x-μ)^3]}{σ^3}$$ 統計検 […]
04/23/2022 / 最終更新日時 : 01/13/2024 生成AI/GPT Python 【統計学】ポアソン分布についてわかりやすく解説 こんにちは青の統計学です。 今回はポアソン分布について解説します。 確率分布には、離散確率分布と連続確率分布の2種類がありますが、ポアソン分布は、離散確率分布の一つです。 ポアソン分布(poisson dis […]
04/22/2022 / 最終更新日時 : 11/11/2023 生成AI/GPT Python 決定係数とは?説明変数の確らしさを図る指標の一つ。 作った回帰モデルはどの程度データと当てはまっているのか調べる方法の一つです。 決定係数(coefficient of determination)とは 決定係数とは、回帰モデルの説明力を表す指標の一つです。 もっと厳密に […]