共変量シフトって結局なんなのか?|i.i.dを正しく理解する
機械学習の前提であるi.i.d.仮定と、それが崩れる「共変量シフト」の本質を数学的に解説。訓練データとテストデータの分布変化がモデル精度に与える影響や、重要度サンプリング・密度比推定(IW-ERM)による具体的な補正方法まで網羅した理論ガイドです。
機械学習の前提であるi.i.d.仮定と、それが崩れる「共変量シフト」の本質を数学的に解説。訓練データとテストデータの分布変化がモデル精度に与える影響や、重要度サンプリング・密度比推定(IW-ERM)による具体的な補正方法まで網羅した理論ガイドです。
スペクトラルクラスタリングとは?本記事では、非線形データ(半月形や同心円状)の分類を得意とする教師なし学習手法「スペクトラルクラスタリング」について、数学的背景(ラプラシアン行列、固有値分解)からPythonによる実装方法まで、k-meansとの比較を交えてわかりやすく解説します。
DBSCANとは?本記事では、密度ベースのクラスタリング手法「DBSCAN」について、k-meansとの違い(任意の形状のクラスタ検出、ノイズ識別)を明確にしながら、その仕組み(eps, MinPts, コアポイント)からPythonでの実装、パラメータの選び方までをわかりやすく解説します。
グラフニューラルネットワーク(GNN)の基礎理論から、GCN, GraphSAGE, GATなど主要モデルの仕組みまでをわかりやすく解説。創薬・分子特性予測への応用事例や、PyTorch Geometricを使った実装コードも紹介します。
重回帰分析とOLS 重回帰分析は、1つの目的変数と複数の説明変数の間の関係を分析する手法です。 具体的な定義の前に、使い道を確認しておきましょう。…
こんにちは、青の統計学です。 今日は、GPT等の生成AIモデルでも使われているtransformerの中にあるソフトマックス関数についてご紹介いたします。 そのほかの非線形変換について詳しく知りたい方は、以下のコンテンツをご覧ください。…
VAE(変分オートエンコーダ)の仕組みをわかりやすく解説。深層生成モデルの基礎として、オートエンコーダとの違いから、潜在変数、変分下界(ELBO)、KLダイバージェンス、Reparameterization Trickまで数学的背景を交えて説明します。
Google Search Consoleの管理画面では1000件しか見れない検索クエリを、APIとPythonを使って全量取得する方法を解説。Google Cloudの設定手順から、データ取得・CSV保存のコードまで完全網羅。SEOやサイト分析を強化したい方必見です。
K-medoidsとは? K-medoidsは、データをグループ(クラスター)に分割するための教師なし学習アルゴリズムです。 管理人 よく知られているK-meansクラスタリングの堅牢な代替手法として位置づけられています。…
こんにちは、青の統計学です。 今回は、判別タスクに関わる解決手法「カーネルSVM」をご紹介します。 判別タスクは、決定木やロジスティック回帰、線型SVM、k近傍法などたくさんあります。…
こんにちは、青の統計学です。 機械学習アルゴリズムの精度向上において、アンサンブル学習は非常に重要な役割を果たしています。 アンサンブル学習とは、複数の学習アルゴリズムを組み合わせることで、予測精度を向上させる手法です。…
ディープラーニングに必須の「活性化関数」を完全解説。ReLU、Sigmoid、Softmax等の使い分けや特徴を網羅。学習を妨げる勾配消失問題の原因と対策(バッチ正規化や重み初期化など)まで学べる、実務と資格試験に役立つガイドです。
畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)は、画像認識や物体検出などのコンピュータビジョンタスクに広く使用されるディープラーニングの一種です。…
こんにちは、青の統計学です。 今回はデータ量が少ない時に有効な交差検証法の一種、Leave-one-outCVを紹介いたします。 Leave one out CV Leave-One-Out Cross-Validation…
こんにちは、青の統計学です。 今回は教師なし学習の一つ「主成分分析」について解説いたします。 以下の記事よりも数学的背景を重めに取り扱っております。 【共線性解決!?】pythonで主成分分析(PCA)をやってみた…
こんにちは、青の統計学です。 今回は、スパース学習の代表例である、Lasso(回帰)について解説いたします。 正則化項にL2ノルムを使う、リッジ回帰については、以下のコンテンツをご覧ください。…
今回はハイパーパラメータのチューニング手法の一つである、ベイズ最適について解説いたします。 グリッドサーチやランダムサーチに比べて、短い時間で最適なパラメータを発見できるとされています。…
ラグランジュ未定乗数法の基本をわかりやすく解説。制約付き最適化問題とは何か、多次元での計算手順、ヘッセ行列による二次条件まで。経済学の効用最大化問題を例題に、具体的な解き方をステップバイステップで学びます。
今回は、モデル選択やパラメータチューニングの前に行う、特徴量エンジニアリングについて解説いたします。 中でも、非線形変換は特徴量の偏った分布を正規分布に近づけたりすることができ、高い精度につながることが多いです。…
今回は2値の判別問題で効果を発揮する、サポートベクトルマシン(support vector machine)について解説いたします。 数理最適化も扱うことになるのでいい勉強になると思います。…