【例題あり】一様分布についてわかりやすく解説
一様分布 一様分布は最もシンプルな連続確率分布の一つで、 「同じ確率で起こる」という直感的な概念を数学的に表現したもの です。 例えばこんな感じです。 サイコロの目の出る確率 ランダムな時刻に電車が到着する待ち時間(特定の時間帯内)…
一様分布 一様分布は最もシンプルな連続確率分布の一つで、 「同じ確率で起こる」という直感的な概念を数学的に表現したもの です。 例えばこんな感じです。 サイコロの目の出る確率 ランダムな時刻に電車が到着する待ち時間(特定の時間帯内)…
こんにちは、青の統計学です。 今回は、スパース学習の代表例である、Lasso(回帰)について解説いたします。 正則化項にL2ノルムを使う、リッジ回帰については、以下のコンテンツをご覧ください。…
こんにちは、青の統計学です。 今回は、正規分布を例に取って、フィッシャー情報量とクラメール・ラオの不等式について深掘りできればと思います。 統計検定準一級の試験範囲にもなっておりますので、この機会に是非理解していきましょう。…
1. p値の定義と計算方法 1.1 p値の定義 p値 は、統計検定において次のように定義される数値です。 p値 (p-value) 帰無仮説 ${H_0}$ を前提としたとき、観測された検定統計量と同じかそれ以上に極端な値が得られる確率…
今回は2値の判別問題で効果を発揮する、サポートベクトルマシン(support vector machine)について解説いたします。 数理最適化も扱うことになるのでいい勉強になると思います。…
機械学習の問題は回帰問題と分類問題に大別されます。 そして、分類問題の指標でよく扱われるかつ、不均衡問題で威力を発揮する「ROC曲線」と「AUC」について今回は解説していきます。…
リッジ回帰とは、重回帰分析の一つであり、機械学習には厄介な「多重共線性」の影響を少なくできる手法のひとつです。 複雑なデータをモデルに当てはめるときには、一般に多くの説明変数を使って表現をしますが、…
モーメント法とは?確率分布の平均や分散などの特徴を捉える「モーメント」を使い、パラメータを推定する仕組みを数学的背景から解説。統計検定準1級対策にも最適です。
機械学習における「決定木」の仕組みと数学的背景(ジニ不純度・エントロピー)をわかりやすく解説。CART法や剪定による過学習対策、線形回帰との違いまで網羅しています。データサイエンスの基礎から実装理論まで、最適な完全ガイドです。
ロジスティック分布の定義と性質をわかりやすく解説。なぜ累積分布関数がシグモイド関数になるのか、ロジスティック回帰や機械学習でどのように使われるのか、その数学的背景を学びます。
単回帰分析 教師あり学習 今回は、教師あり学習の基礎中の基礎である「単回帰分析」を実装します。 教師あり学習とは、説明変数(インプット)から目的変数(アウトプット)を予測するモデルを求める手法です。…
階層型クラスタリングとは?ウォード法、最短距離法、群平均法など7手法を徹底比較。メリット・デメリットからクラスタ形状、使い分けまで、デンドログラムと共に解説します。
1. 超幾何分布 1.1 超幾何分布とは 超幾何分布は、 有限個 からなる母集団から 非復元抽出 を行うときに、「特定の属性を持つ要素がサンプル中に何個含まれるか」を表す確率分布です。 非復元抽出…
階層型クラスタリング(ウォード法)を実装する方法を解説します。デンドログラム(樹形図)の作成方法と見方、k-means法との違いまで、教師なし学習の基礎をサンプルコード付きで学びましょう。
相関係数は、外れ値があると大きく値が変わってしまうという特徴があり、正確な関係の把握が難しい場合があります。 そこで、外れ値に対処できる頑健(ロバスト)な相関係数が必要とされます。 それが、スピアマンの 順位相関係数 と呼ばれるものです。…
マルコフ連鎖の基本原理(マルコフ性・推移確率行列)と定常分布についてわかりやすく解説。さらに、ベイズ統計学で重要なMCMC法(マルコフ連鎖モンテカルロ法)への応用として、MH法やギブスサンプリングとの関係性もPythonコード例と共に紹介します。
2標本問題において、標本間の母分散が等しいという等分散の仮定は、限られた場でしか信憑性がありません。 今回は、標本間の母分散が異なるときに使えるWelchのt検定を学びましょう。…
k-means法とは何か、そのアルゴリズムの仕組みやビジネスでの活用法をわかりやすく解説します。初期値問題や最適なクラスタ数kの決定方法(エルボー法)に加え、k-means++、X-means、ソフトk-meansなどの発展的手法も比較・紹介する完全ガイドです。
統計検定準一級には、積率母関数についての問題があります。 マクローリン展開や合成関数の微分の知識が必要なことから、避けられがちですが、使う分には便利なものです。 今回は、モーメント法と積率母関数について解説します。…
対数正規分布とは何か、その特徴や正規分布との違いをわかりやすく解説します。売上や需要予測など、ビジネスにおける在庫管理での具体的な活用例(平均・中央値・最頻値の計算)も紹介。データサイエンスに役立つ確率分布の知識を深めましょう。