07/27/2022 / 最終更新日時 : 04/22/2024 bluest Python 【自然言語処理】検索クエリをベクトル空間に写像してクラスタリングしたい こんにちは、青の統計学です。 筆者の業務で使うので、勉強がてらまとめていきます。 参考となるコードも紹介していますので、ぜひ最後までご覧ください。 タスクについて|検索クエリの分析について 以下のようなことに挑戦してみま […]
07/24/2022 / 最終更新日時 : 10/31/2023 bluest 情報技術者試験 【基本情報技術者】N進法を使った問題 高校数学では、「0110を10進数に直しましょう」などのN進数の問題が扱われます。 ただ、一瞬で単元が終わり、理解ができず、そのまま忘れてしまった方も多いと思います。 また、N進数の問題は基本情報処理技術者試験でも出題さ […]
07/23/2022 / 最終更新日時 : 10/26/2024 bluest Python 【外れ値に対処】順位相関係数と相関係数の違いについて | python 相関係数は、外れ値があると大きく値が変わってしまうという特徴があり、正確な関係の把握が難しい場合があります。 そこで、外れ値に対処できる頑健(ロバスト)な相関係数が必要とされます。 それが、スピアマンの順位相関係数と呼ば […]
07/19/2022 / 最終更新日時 : 10/21/2023 bluest Python 【自然言語処理】単語の出現頻度を可視化させてみましょう | python 今回は、形態素解析した単語たちを出現頻度ごとに集計してグラフ化させてみます。 アンケートや問い合わせの文言から、どんなキーワードがユーザーの不満や満足に繋がっているのかという示唆を得られる点では、かなり実務的なスキルにな […]
07/16/2022 / 最終更新日時 : 01/04/2025 bluest Python マルコフ連鎖をわかりやすく解説【MCMC法への応用】 1. マルコフ連鎖の基本原理 1.1 マルコフ連鎖 マルコフ連鎖 (Markov Chain) は、確率過程の一種です。離散時間マルコフ連鎖を例にとると、時刻 ${t = 0, 1, 2, \dots}$ に観測される状 […]
07/15/2022 / 最終更新日時 : 01/13/2025 bluest Python 【非等分散編】pythonでWelch(ウェルチ)のt検定をやってみた 2標本問題において、標本間の母分散が等しいという等分散の仮定は、限られた場でしか信憑性がありません。 今回は、標本間の母分散が異なるときに使えるWelchのt検定を学びましょう。 等分散の仮定を置いた2標本問題の方が簡単 […]
07/09/2022 / 最終更新日時 : 03/15/2025 bluest Python 【完全ガイド】k-means法とは？周辺のクラスタリング手法と比較 クラスタリングのモチベーション クラスタリングは、似た特徴を持つデータをグループ分けすることで、顧客セグメンテーション、マーケティング戦略、異常検知などの幅広いビジネス課題に対応するための手法です。 データの集合をグルー […]
07/05/2022 / 最終更新日時 : 11/03/2024 bluest Python 【周期性を掴もう】pythonでコレログラムを書いてみましょう ヒストグラムや折れ線グラフなどはよく耳にしますが、「コレログラム」は聞いたことがないかたも多いと思います。 今回は統計検定2級や準一級でよく出る「コレログラム」についてまとめてみました。 統計検定のチートシートは以下をク […]
