【自然言語処理】検索クエリをベクトル空間に写像してクラスタリングしたい
こんにちは、青の統計学です。 筆者の業務で使うので、勉強がてらまとめていきます。 参考となるコードも紹介していますので、ぜひ最後までご覧ください。 タスクについて|検索クエリの分析について 以下のようなことに挑戦してみます。…
すべての記事（6ページ目）
【基本情報技術者】N進法を使った問題
高校数学では、「0110を10進数に直しましょう」などのN進数の問題が扱われます。 ただ、一瞬で単元が終わり、理解ができず、そのまま忘れてしまった方も多いと思います。 また、N進数の問題は基本情報処理技術者試験でも出題されます。…
【外れ値に対処】順位相関係数と相関係数の違いについて | python
相関係数は、外れ値があると大きく値が変わってしまうという特徴があり、正確な関係の把握が難しい場合があります。 そこで、外れ値に対処できる頑健(ロバスト)な相関係数が必要とされます。 それが、スピアマンの 順位相関係数 と呼ばれるものです。…
【自然言語処理】単語の出現頻度を可視化させてみましょう | python
今回は、形態素解析した単語たちを出現頻度ごとに集計してグラフ化させてみます。 アンケートや問い合わせの文言から、どんなキーワードがユーザーの不満や満足に繋がっているのかという示唆を得られる点では、かなり実務的なスキルになります。…
マルコフ連鎖をわかりやすく解説【MCMC法への応用】
マルコフ連鎖の基本原理（マルコフ性・推移確率行列）と定常分布についてわかりやすく解説。さらに、ベイズ統計学で重要なMCMC法（マルコフ連鎖モンテカルロ法）への応用として、MH法やギブスサンプリングとの関係性もPythonコード例と共に紹介します。
【非等分散編】pythonでWelch(ウェルチ)のt検定をやってみた
2標本問題において、標本間の母分散が等しいという等分散の仮定は、限られた場でしか信憑性がありません。 今回は、標本間の母分散が異なるときに使えるWelchのt検定を学びましょう。…
【完全ガイド】k-means法とは？周辺のクラスタリング手法と比較
k-means法とは何か、そのアルゴリズムの仕組みやビジネスでの活用法をわかりやすく解説します。初期値問題や最適なクラスタ数kの決定方法（エルボー法）に加え、k-means++、X-means、ソフトk-meansなどの発展的手法も比較・紹介する完全ガイドです。
【周期性を掴もう】pythonでコレログラムを書いてみましょう
ヒストグラムや折れ線グラフなどはよく耳にしますが、「コレログラム」は聞いたことがないかたも多いと思います。 今回は統計検定2級や準一級でよく出る「コレログラム」についてまとめてみました。 統計検定のチートシートは以下をクリック！…
【期待値の応用】モーメント母関数(積率母関数)について
統計検定準一級には、積率母関数についての問題があります。 マクローリン展開や合成関数の微分の知識が必要なことから、避けられがちですが、使う分には便利なものです。 今回は、モーメント法と積率母関数について解説します。…
コサイン類似度とは？高校数学で理解する
1. コサイン類似度とは？ ベクトル同士の“方向の近さ”を測る指標 コサイン類似度（Cosine Similarity）とは、主に 2つのベクトルがどのくらい同じ方向を向いているか を測定するための指標です。計算結果の値は -1から1…
コーシー分布とは？わかりやすく解説
1. コーシー分布とは？ざっくり解説 はじめに、コーシー分布は「 重い裾(fat-tail)を持つ分布 」として知られ、平均や分散が定義できないという面白い特徴を持っています。 確率論を学ぶと真っ先に登場する正規分布とは異なり、…
対数正規分布とは？ビジネスで使える便利な確率分布
対数正規分布とは何か、その特徴や正規分布との違いをわかりやすく解説します。売上や需要予測など、ビジネスにおける在庫管理での具体的な活用例（平均・中央値・最頻値の計算）も紹介。データサイエンスに役立つ確率分布の知識を深めましょう。
混合ガウス分布とは？わかりやすく解説
はじめに 正規分布(ガウス分布)は、統計学や機械学習における基本的な確率分布であり、データが平均を中心に左右対称に分布する特徴を持ちます。この分布を拡張したもの 混合ガウス分布（Gaussian Mixture Model, GMM）…
【等分散の仮定編】2標本問題をわかりやすく解説|推定と検定
こんにちは、青の統計学です。 今回は、2標本問題について扱います。 確率変数が2つ登場するため難しいですが、応用上用いられることが多いのが「2標本問題」です。 中でも今回は、 二つの確率変数が同一の分散であると仮定した「等分散の仮定」…
幾何分布とは？意外とビジネスに役立つ確率分布
1. 幾何分布（Geometric Distribution）の概要 幾何分布は、離散確率分布の一種で「ある試行を繰り返したときに、 初めて成功が得られる試行回数 に関する分布」を表します。 管理人…
多項分布とは？ビジネスの活用範囲の多い分布
多項分布って？ 多項分布とは、 複数のカテゴリにまたがって起こりうる事象を、一定回数の試行によって観測したとき に、その観測結果がどのような確率で生じるかを表す分布です。…
ガンマ分布とは？リスク解析と保険数理に使える分布
ガンマ分布とは ガンマ分布とは、連続型の確率分布の一種で、 主に「待ち時間」や「寿命」「損害額」などのモデリングに広く使われる分布 です。その汎用性の高さが特徴的です。 管理人…
自己組織化マップとは？データの視覚的探索と次元削減の手法
自己組織化マップとは？ 自己組織化マップ（Self-Organizing Map,SOM）は、 高次元のデータを2次元（時には1次元や3次元も）の格子状に配置されたニューロンの集合体に投影すること…
【論文解説】Tregが末梢で生き残るためにはTCRが必要(5)
今回紹介するのは以下の論文です。 Levine, A., Arvey, A., Jin, W. et al. Continuous requirement for the TCR in regulatory T cell…
【論文解説】Tregが末梢で生き残るためにはTCRが必要(4)
今回紹介するのは以下の論文です。 Levine, A., Arvey, A., Jin, W. et al. Continuous requirement for the TCR in regulatory T cell…
