08/04/2022 / 最終更新日時 : 01/13/2025 bluest Python 【共変量の調整】傾向スコア・マッチングによる因果推論 | python こんにちは、青の統計学です。今回は傾向スコアをご紹介します。 因果推論に必要な考え方ですので、しっかり習得しましょう。 傾向スコア (propensity score) 傾向スコアとは、群間比較研究において、介入を受けた […]
08/02/2022 / 最終更新日時 : 02/07/2023 bluest Python 【N-gram】テキストをベクトルで表現するには | 自然言語処理 自然言語処理において、モデルへの入力はベクトルで与えることが想定されているので、テキストをモデルに変換する必要があります。 テキストをベクトルで表現するには、まず形態素解析などでテキストを単語に分割する必要があります。 […]
08/01/2022 / 最終更新日時 : 06/06/2023 bluest Python 【python】階層型クラスタリングとデンドログラムの実装について クラスタリングには、階層型と非階層型があります。今回は、階層型のクラスタリングについて解説しようと思います。 実装で使うデータは、【共線性解決】pythonで主成分分析をやってみたでも使った、学生のテストのデータを使って […]
07/27/2022 / 最終更新日時 : 04/22/2024 bluest Python 【自然言語処理】検索クエリをベクトル空間に写像してクラスタリングしたい こんにちは、青の統計学です。 筆者の業務で使うので、勉強がてらまとめていきます。 参考となるコードも紹介していますので、ぜひ最後までご覧ください。 タスクについて|検索クエリの分析について 以下のようなことに挑戦してみま […]
07/23/2022 / 最終更新日時 : 10/26/2024 bluest Python 【外れ値に対処】順位相関係数と相関係数の違いについて | python 相関係数は、外れ値があると大きく値が変わってしまうという特徴があり、正確な関係の把握が難しい場合があります。 そこで、外れ値に対処できる頑健(ロバスト)な相関係数が必要とされます。 それが、スピアマンの順位相関係数と呼ば […]
07/19/2022 / 最終更新日時 : 10/21/2023 bluest Python 【自然言語処理】単語の出現頻度を可視化させてみましょう | python 今回は、形態素解析した単語たちを出現頻度ごとに集計してグラフ化させてみます。 アンケートや問い合わせの文言から、どんなキーワードがユーザーの不満や満足に繋がっているのかという示唆を得られる点では、かなり実務的なスキルにな […]
07/16/2022 / 最終更新日時 : 01/04/2025 bluest Python マルコフ連鎖をわかりやすく解説【MCMC法への応用】 1. マルコフ連鎖の基本原理 1.1 マルコフ連鎖 マルコフ連鎖 (Markov Chain) は、確率過程の一種です。離散時間マルコフ連鎖を例にとると、時刻 ${t = 0, 1, 2, \dots}$ に観測される状 […]
07/15/2022 / 最終更新日時 : 01/13/2025 bluest Python 【非等分散編】pythonでWelch(ウェルチ)のt検定をやってみた 2標本問題において、標本間の母分散が等しいという等分散の仮定は、限られた場でしか信憑性がありません。 今回は、標本間の母分散が異なるときに使えるWelchのt検定を学びましょう。 等分散の仮定を置いた2標本問題の方が簡単 […]
07/09/2022 / 最終更新日時 : 03/15/2025 bluest Python 【完全ガイド】k-means法とは？周辺のクラスタリング手法と比較 クラスタリングのモチベーション クラスタリングは、似た特徴を持つデータをグループ分けすることで、顧客セグメンテーション、マーケティング戦略、異常検知などの幅広いビジネス課題に対応するための手法です。 データの集合をグルー […]
07/05/2022 / 最終更新日時 : 11/03/2024 bluest Python 【周期性を掴もう】pythonでコレログラムを書いてみましょう ヒストグラムや折れ線グラフなどはよく耳にしますが、「コレログラム」は聞いたことがないかたも多いと思います。 今回は統計検定2級や準一級でよく出る「コレログラム」についてまとめてみました。 統計検定のチートシートは以下をク […]
06/30/2022 / 最終更新日時 : 01/25/2025 bluest Python コサイン類似度とは？高校数学で理解する 1. コサイン類似度とは？ ベクトル同士の“方向の近さ”を測る指標 コサイン類似度（Cosine Similarity）とは、主に2つのベクトルがどのくらい同じ方向を向いているかを測定するための指標です。計算結果の値は- […]
06/27/2022 / 最終更新日時 : 03/18/2025 bluest Python 自己組織化マップとは？データの視覚的探索と次元削減の手法 自己組織化マップとは？ 自己組織化マップ（Self-Organizing Map,SOM）は、高次元のデータを2次元（時には1次元や3次元も）の格子状に配置されたニューロンの集合体に投影することで、データの可視化と理解を […]
06/22/2022 / 最終更新日時 : 09/11/2024 bluest Python 主成分分析（PCA）をわかりやすく解説【統計検定準一級】｜python 主成分分析 青の統計学へようこそ。 今回は、教師なし学習の一つ「主成分分析」について解説いたします。 数学的背景まで掘り下げたコンテンツは以下になります。 【python】主成分分析(+回帰)の仕組みとコード例|教師なし […]
06/20/2022 / 最終更新日時 : 10/14/2024 bluest Python 【統計検定準一級】ランダムウォークとマルチンゲールの話。 こんにちは、青の統計学です。 統計検定準一級では、「この確立過程Sは、マルチンゲールかどうか？」という問題が出ることがあります。 マルコフ性と並んで登場する「マルチンゲール」に、とっつきにくさを感じた方も多いと思います。 […]
06/19/2022 / 最終更新日時 : 10/31/2023 bluest Python 【python】ガウス過程回帰の仕組みと実務での応用|ノンパラメトリック機械学習 こんにちは、青の統計学です。 今回はガウス過程回帰について解説いたします。 製造業の現場など、n=20やそこらぐらいのデータセットで予測を行う必要がある時によく使われます。 ガウス過程は少数データとの相性がよく、予測値の […]
06/18/2022 / 最終更新日時 : 09/09/2024 bluest Python 【python】共分散分析(ANCOVA)の基礎から応用まで|因果推論 共分散分析 共分散分析は、調整平均を用いて、共変量（covariate）の影響を考慮した上で、群間の平均値の差を検定する方法です。 分散分析（ANOVA）と似ていますが、共分散分析は共変量を考慮する点で異なります。 →こ […]
06/11/2022 / 最終更新日時 : 01/13/2024 bluest Python 【因果推論】差の差(DID)分析による平均処置効果の推定|計量経済学 こんにちは、青の統計学です 今回は、社会科学の分野でもよく使われる「差の差分析」について解説いたします。 シンプルで理解しやすいかつ強力な分析手法ですが、並行トレンドの仮定など前提となるルールもあります。 差の差分析(d […]
06/03/2022 / 最終更新日時 : 09/16/2024 bluest Python ロジスティック回帰についてわかりやすく解説【二項分布】【統計検定】 ロジット関数とロジスティック関数 こんにちは、青の統計学です、 今回は、分類タスクの王道「ロジスティック回帰」について解説していきます。 しっかり復習したい方は、以下の記事をご覧ください。 基本は、線形回帰の拡張でしたね […]
05/31/2022 / 最終更新日時 : 11/26/2024 bluest Python ブートストラップ法についてわかりやすく解説|R ブートストラップ法(bootstrap method) ブートストラップ法とは、限られた標本データから母集団の特性を推定するための統計的リサンプリング手法です。 特徴は、データの復元抽出による多数のサンプルセットの生成に […]
05/30/2022 / 最終更新日時 : 09/08/2024 bluest Python 【統計検定】ポアソン過程をわかりやすく解説|待ち行列理論 こんにちは、青の統計学です。 今回は統計検定準一級から登場する確立過程の一つ「ポアソン過程」について解説いたします。 このコンテンツに全て詰まっているのでブックマーク推奨です！ 関わりの深い生存時間解析は、こちらで学習で […]
05/27/2022 / 最終更新日時 : 11/16/2024 bluest Python 【汎用性抜群】尤度比検定をわかりやすく解説します 尤度比検定(likelihood ratio test) 尤度比検定とは、汎用性の高い統計モデルの検定です。 専門的な用語抜きに説明すると、尤度比検定とは二つのモデルのうち、観測データをよりよく説明するのはどちらだろうか […]
05/24/2022 / 最終更新日時 : 09/16/2024 bluest Python 【GLM】一般化線形モデルをわかりやすく解説|ポアソン回帰 一般化線形モデル(generalized liner model) 今回はGLMと呼ばれる「一般化線形モデル(generalized liner model)」を解説します。 よく似た名前として、分散分析や共分散分析など […]
05/23/2022 / 最終更新日時 : 01/09/2025 bluest Python 分散分析と共分散分析：基礎からPython実装までわかりやすく解説 こんにちは、青の統計学です。 「分散分析（ANOVA）」と、そこからさらに一歩進んだ「共分散分析（ANCOVA）」について解説します。ビジネスシーンや研究、データ分析の現場でも活用範囲が広い手法であり、知っておくと有用で […]
05/13/2022 / 最終更新日時 : 01/10/2025 bluest Python 【統計】標準誤差を例題を通してわかりやすく解説｜python 統計検定などで、信頼区間を求めることは多くあります。 そこで必要なのが標準誤差という概念です。 分布によって誤差の作り方が異なったりするため厄介です。 丁寧に学んでいきましょう。 標準誤差(standard error) […]
05/10/2022 / 最終更新日時 : 09/22/2024 bluest Python 【高校数学でわかる】分散と標準偏差をわかりやすく解説|散らばりの指標 分散(variance)と標準偏差(standard deviation) こんにちは、青の統計学です。 今回は、統計の基本である分散と標準偏差について解説していきます。 高校数学でも扱われる内容なので、高度な数学は必要 […]
05/06/2022 / 最終更新日時 : 09/19/2024 bluest Python 【統計検定準一級】回帰診断法とは？｜残差プロットとleverageをわかりやすく解説 回帰診断法 回帰診断法は、回帰分析において誤差項の仮定が成立しているかどうかを評価する手法です。 仮定について詳しく深掘りたい方は、こちらを先に見た方がいいかもしれないです …で、これらの仮定を確認するために […]
05/03/2022 / 最終更新日時 : 11/30/2024 bluest Python 【時系列】ARモデルをわかりやすく解説|Yule-Walker法や最尤法も こんにちは、青の統計学です。 今回解説するのは、時系列モデルの基礎であるARモデルです。 まずは数式を見てみましょう。 ARモデル(autoregression model) $$y_{n} = \sum_{j=1}^{ […]
05/01/2022 / 最終更新日時 : 09/09/2024 bluest Python 【python】行列式や逆行列は機械学習でどう使われるのか|線形代数の活用方法 大学数学で習う線形代数は、統計学や機械学習ではどのように活用されているのでしょうか？ なんとなく説明変数をたくさん書かなくても行ベクトル一つ書いておけば良いから楽、程度に考えているかもしれませんが、実はもっと役に立ってお […]
04/24/2022 / 最終更新日時 : 09/07/2024 bluest Python 【統計検定2級】歪度と尖度をわかりやすく解説|python こんにちは、青の統計学です。 今回は尖度と歪度という2つの統計量をみてみましょう。 モーメントを使った算出式を使っておりますが、尖度と歪度の計算の仕方は色々あります。 統計検定2級に挑戦したい方は、こちらのnoteもぜひ […]
04/23/2022 / 最終更新日時 : 12/06/2024 bluest Python 【統計学】ポアソン分布についてわかりやすく解説 ポアソン分布(poisson distribution) 統計学および確率論で用いられるポアソン分布とは、ある事象が一定の時間内に発生する回数を表す離散確率分布です。 定数\( \lambda > 0\ […]
04/22/2022 / 最終更新日時 : 11/04/2024 bluest Python 【R^2】決定係数をわかりやすく説明|python こんにちは、青の統計学です。 今回は、決定係数について解説します。 決定係数とは、作った回帰モデルはどの程度学習データと当てはまっているのか調べる方法の一つです。 統計検定2級に挑戦したい方は、こちらのnoteもぜひご覧 […]
