階層型クラスタリングとデンドログラムを解説|k-means法との比較
階層型クラスタリング(ウォード法)を実装する方法を解説します。デンドログラム(樹形図)の作成方法と見方、k-means法との違いまで、教師なし学習の基礎をサンプルコード付きで学びましょう。
階層型クラスタリング(ウォード法)を実装する方法を解説します。デンドログラム(樹形図)の作成方法と見方、k-means法との違いまで、教師なし学習の基礎をサンプルコード付きで学びましょう。
高校数学では、「0110を10進数に直しましょう」などのN進数の問題が扱われます。 ただ、一瞬で単元が終わり、理解ができず、そのまま忘れてしまった方も多いと思います。 また、N進数の問題は基本情報処理技術者試験でも出題されます。…
相関係数は、外れ値があると大きく値が変わってしまうという特徴があり、正確な関係の把握が難しい場合があります。 そこで、外れ値に対処できる頑健(ロバスト)な相関係数が必要とされます。 それが、スピアマンの 順位相関係数 と呼ばれるものです。…
マルコフ連鎖の基本原理(マルコフ性・推移確率行列)と定常分布についてわかりやすく解説。さらに、ベイズ統計学で重要なMCMC法(マルコフ連鎖モンテカルロ法)への応用として、MH法やギブスサンプリングとの関係性もPythonコード例と共に紹介します。
2標本問題において、標本間の母分散が等しいという等分散の仮定は、限られた場でしか信憑性がありません。 今回は、標本間の母分散が異なるときに使えるWelchのt検定を学びましょう。…
k-means法とは何か、そのアルゴリズムの仕組みやビジネスでの活用法をわかりやすく解説します。初期値問題や最適なクラスタ数kの決定方法(エルボー法)に加え、k-means++、X-means、ソフトk-meansなどの発展的手法も比較・紹介する完全ガイドです。
統計検定準一級には、積率母関数についての問題があります。 マクローリン展開や合成関数の微分の知識が必要なことから、避けられがちですが、使う分には便利なものです。 今回は、モーメント法と積率母関数について解説します。…
対数正規分布とは何か、その特徴や正規分布との違いをわかりやすく解説します。売上や需要予測など、ビジネスにおける在庫管理での具体的な活用例(平均・中央値・最頻値の計算)も紹介。データサイエンスに役立つ確率分布の知識を深めましょう。
こんにちは、青の統計学です。 今回は、2標本問題について扱います。 確率変数が2つ登場するため難しいですが、応用上用いられることが多いのが「2標本問題」です。 中でも今回は、 二つの確率変数が同一の分散であると仮定した「等分散の仮定」…
1. 幾何分布(Geometric Distribution)の概要 幾何分布は、離散確率分布の一種で「ある試行を繰り返したときに、 初めて成功が得られる試行回数 に関する分布」を表します。 管理人…
多項分布って? 多項分布とは、 複数のカテゴリにまたがって起こりうる事象を、一定回数の試行によって観測したとき に、その観測結果がどのような確率で生じるかを表す分布です。…
ガンマ分布とは ガンマ分布とは、連続型の確率分布の一種で、 主に「待ち時間」や「寿命」「損害額」などのモデリングに広く使われる分布 です。その汎用性の高さが特徴的です。 管理人…
ベイズ推定の目的 ベイズの定理からしっかり解説するので、これからベイズ推定について知見を深めたい人や、MCMC法を使ってベイズ推定をしたい方など、さまざまな人におすすめです。 ベイズの定理 まず第一に ベイズ統計学…
回帰分析等で算出した推定量を評価するとき、どのような指標があるでしょうか。 これまでは、一致性や不偏性を取り上げてきました。簡単に復習しましょう。 一致性(consistency):…
主成分分析 青の統計学へようこそ。 今回は、教師なし学習の一つ「主成分分析」について解説いたします。 数学的背景まで掘り下げたコンテンツは以下になります。 【python】主成分分析(+回帰)の仕組みとコード例|教師なし学習…
こんにちは、青の統計学です。 統計検定準一級では、「この確立過程Sは、マルチンゲールかどうか?」という問題が出ることがあります。 マルコフ性と並んで登場する「マルチンゲール」に、とっつきにくさを感じた方も多いと思います。…
統計検定準一級では、2級同様「分散分析」の内容が出てきます。 今回は、前回と視点を変えた「検定の多重性」について解説します。 例題を通して理解していきましょう。 *確実に理解するために、ある程度時間をかけてみましょう。…
オッズ比とは何か、実例(食中毒)を用いて計算方法と解釈をわかりやすく解説します。さらに、ベイズ因子とオッズの関係やロジスティック回帰での使われ方まで、統計学の観点から深く掘り下げます。
こんにちは、青の統計学です。 今回は、統計学の中で必須の知識「尤度」について解説いたします。 尤度とは? 確率と尤度の違い 管理人 まず、尤度を理解するために、皆さんがよく知っている「確率」との違いを明確にしましょう。…
正規分布とは何かを図解でわかりやすく解説。確率密度関数の意味から、標準化を使った例題(偏差値計算)、標本平均に応用される再生性まで。統計学の基礎であり統計検定対策にも必須の正規分布をマスターしましょう。