11/27/2022 / 最終更新日時 : 09/09/2024 bluest Python 【分類タスク】ロジスティック回帰の使い方|python 重回帰モデルは、1つの目的変数に対して、説明変数が複数あるモデルです。 今回ご紹介する、「ロジスティック回帰」は目的変数が数値型ではなく、「Yes or No」の2値であるということが最大の特徴です。 pythonではな […]
11/15/2022 / 最終更新日時 : 09/09/2024 bluest Python 【機械学習】単回帰分析をわかりやすく解説|python 単回帰分析 教師あり学習 今回は、教師あり学習の基礎中の基礎である「単回帰分析」を実装します。 教師あり学習とは、説明変数(インプット)から目的変数(アウトプット)を予測するモデルを求める手法です。 訓練データには目的変 […]
09/14/2022 / 最終更新日時 : 05/26/2024 bluest 情報技術者試験 【忙しい人のための】基本情報・応用情報の午前チートシート|総集編 このコンテンツは、基本情報技術者試験・応用情報技術者試験に挑む方向けの午前チートシートです。 前日や試験直前に一瞬見るだけでも良いと思います。「おかげで2問解けた!見といて助かった!」となるコンテンツを目指します。 何の […]
09/14/2022 / 最終更新日時 : 10/10/2022 bluest 情報技術者試験 【試験直前ッ】基本情報・応用情報の午前チートシート|開発・マネジメント編 このコンテンツは、基本情報技術者試験・応用情報技術者試験に挑む方向けの午前チートシート(随時更新)です。 前日や試験直前に一瞬見るだけでも良いと思います。「おかげで2問解けた!見といて助かった!」となるコンテンツを目指し […]
09/09/2022 / 最終更新日時 : 10/10/2022 bluest 情報技術者試験 【試験直前ッ】基本情報・応用情報の午前チートシート|テクノロジー編 このコンテンツは、基本情報技術者試験・応用情報技術者試験に挑む方向けの午前チートシート(随時更新)です。 前日や試験直前に一瞬見るだけでも良いと思います。「おかげで2問解けた!見といて助かった!」となるコンテンツを目指し […]
09/08/2022 / 最終更新日時 : 12/10/2023 bluest 情報技術者試験 【試験直前ッ】基本情報・応用情報の午前チートシート|データベース&プログラミング編 このコンテンツは、基本情報技術者試験・応用情報技術者試験に挑む方向けの午前チートシート(随時更新)です。 前日や試験直前に一瞬見るだけでも良いと思います。「おかげで2問解けた!見といて助かった!」となるコンテンツを目指し […]
09/06/2022 / 最終更新日時 : 10/25/2022 bluest 情報技術者試験 【試験直前ッ】基本情報・応用情報の午前チートシート|システム編 このコンテンツは、基本情報技術者試験・応用情報技術者試験に挑む方向けの午前チートシート(随時更新)です。 前日や試験直前に一瞬見るだけでも良いと思います。「おかげで2問解けた!見といて助かった!」となるコンテンツを目指し […]
09/04/2022 / 最終更新日時 : 04/12/2023 bluest 情報技術者試験 【試験直前ッ】基本情報・応用情報の午前チートシート|ネットワーク編 このコンテンツは、基本情報技術者試験・応用情報技術者試験に挑む方向けの午前チートシート(随時更新)です。 前日や試験直前に一瞬見るだけでも良いと思います。「おかげで2問解けた!見といて助かった!」となるコンテンツを目指し […]
09/04/2022 / 最終更新日時 : 10/25/2022 bluest 情報技術者試験 【試験直前ッ】基本情報・応用情報の午前チートシート|セキュリティ編 このコンテンツは、基本情報技術者試験・応用情報技術者試験に挑む方向けの午前チートシート(随時更新)です。 前日や試験直前に一瞬見るだけでも良いと思います。「おかげで2問解けた!見といて助かった!」となるコンテンツを目指し […]
08/21/2022 / 最終更新日時 : 01/31/2023 bluest NLP 【自然言語処理】gensimを使った単語の分散表現|python 今回は自然言語処理の本質となる「単語の分散表現」について解説したいと思います。 gensimというパッケージの使い方も説明しておりますので、初心者の方でも気軽に勉強できると思われます。 まずは、自然言語処理の基礎から学習 […]
08/04/2022 / 最終更新日時 : 12/10/2023 bluest Python 【共変量の調整】傾向スコア・マッチングによる因果推論 | python こんにちは、青の統計学です。今回は傾向スコアをご紹介します。 因果推論に必要な考え方ですので、しっかり習得しましょう。 傾向スコア (propensity score) 傾向スコアとは、群間比較研究において、介入を受けた […]
08/02/2022 / 最終更新日時 : 02/07/2023 bluest NLP 【N-gram】テキストをベクトルで表現するには | 自然言語処理 自然言語処理において、モデルへの入力はベクトルで与えることが想定されているので、テキストをモデルに変換する必要があります。 テキストをベクトルで表現するには、まず形態素解析などでテキストを単語に分割する必要があります。 […]
08/01/2022 / 最終更新日時 : 06/06/2023 bluest Python 【python】階層型クラスタリングとデンドログラムの実装について クラスタリングには、階層型と非階層型があります。今回は、階層型のクラスタリングについて解説しようと思います。 実装で使うデータは、【共線性解決】pythonで主成分分析をやってみたでも使った、学生のテストのデータを使って […]
07/27/2022 / 最終更新日時 : 04/22/2024 bluest NLP 【自然言語処理】検索クエリをベクトル空間に写像してクラスタリングしたい こんにちは、青の統計学です。 筆者の業務で使うので、勉強がてらまとめていきます。 参考となるコードも紹介していますので、ぜひ最後までご覧ください。 タスクについて|検索クエリの分析について 以下のようなことに挑戦してみま […]
07/24/2022 / 最終更新日時 : 10/31/2023 bluest 情報技術者試験 【基本情報技術者】N進法を使った問題 高校数学では、「0110を10進数に直しましょう」などのN進数の問題が扱われます。 ただ、一瞬で単元が終わり、理解ができず、そのまま忘れてしまった方も多いと思います。 また、N進数の問題は基本情報処理技術者試験でも出題さ […]
07/23/2022 / 最終更新日時 : 03/20/2024 bluest Python 【外れ値に対処】順位相関係数と相関係数の違いについて | python 相関係数は、外れ値があると大きく値が変わってしまうという特徴があり、正確な関係の把握が難しい場合があります。 そこで、外れ値に対処できる頑健(ロバスト)な相関係数が必要とされます。 それが、スピアマンの順位相関係数と呼ば […]
07/19/2022 / 最終更新日時 : 10/21/2023 bluest NLP 【自然言語処理】単語の出現頻度を可視化させてみましょう | python 今回は、形態素解析した単語たちを出現頻度ごとに集計してグラフ化させてみます。 アンケートや問い合わせの文言から、どんなキーワードがユーザーの不満や満足に繋がっているのかという示唆を得られる点では、かなり実務的なスキルにな […]
07/16/2022 / 最終更新日時 : 01/13/2024 bluest NLP 【自然言語処理】形態素解析で文章を単語に分ける | python 今回は自然言語処理の入門編ということで、形態素解析を行なってみます。 pythonの環境がある方向けに、MeCabのインストール方法も併せてご紹介します。 形態素解析 具体的な作業に入る前に、形態素解析をざっくり解説しま […]
07/15/2022 / 最終更新日時 : 04/29/2024 bluest Python 【非等分散編】pythonでWelch(ウェルチ)のt検定をやってみた 2標本問題において、標本間の母分散が等しいという等分散の仮定は、限られた場でしか信憑性がありません。 今回は、標本間の母分散が異なるときに使えるWelchのt検定を学びましょう。 等分散の仮定を置いた2標本問題の方が簡単 […]
07/09/2022 / 最終更新日時 : 02/12/2023 bluest Python 【非階層型】K-means法でクラスタリングをしてみましょう。 今回は、K-means法を取り扱います。クラスター分析に使われる手法です。 実際にどのようにしてクラスターを分けているのかわからない方は多いと思います。 ビジュアライゼーションソフトのtableauの機能の一つ「クラスタ […]
07/05/2022 / 最終更新日時 : 01/07/2024 bluest Python 【周期性を掴もう】pythonでコレログラムを書いてみましょう ヒストグラムや折れ線グラフなどはよく耳にしますが、「コレログラム」は聞いたことがないかたも多いと思います。 今回は統計検定2級や準一級でよく出る「コレログラム」についてまとめてみました。 統計検定のチートシートは以下をク […]
06/30/2022 / 最終更新日時 : 09/07/2024 bluest 推測統計学 【期待値の応用】モーメント母関数(積率母関数)について 統計検定準一級には、積率母関数についての問題があります。 マクローリン展開や合成関数の微分の知識が必要なことから、避けられがちですが、使う分には便利なものです。 今回は、モーメント法と積率母関数について解説します。 統計 […]
06/30/2022 / 最終更新日時 : 09/08/2024 bluest NLP 【python】コサイン類似度は高校数学の知識で理解できます!|自然言語処理 コサイン類似度(cosign similarity) コサイン類似度とは、「2つのベクトルがどれだけ近い(似ている)のかを示す指標」です。高校数学のベクトルの知識があればスムーズに理解できると思います。 もう少し詳細に説 […]
06/28/2022 / 最終更新日時 : 09/22/2024 bluest 推測統計学 【等分散の仮定編】2標本問題をわかりやすく解説|推定と検定 こんにちは、青の統計学です。 今回は、2標本問題について扱います。 確率変数が2つ登場するため難しいですが、応用上用いられることが多いのが「2標本問題」です。 中でも今回は、二つの確率変数が同一の分散であると仮定した「等 […]
06/25/2022 / 最終更新日時 : 08/28/2024 bluest ベイズ 【ベイズの定理】事後分布から推定量を導く方法について|python 今回はベイズ統計学の基礎の基礎を解説いたします。 ベイズの定理の理解の後、ベイズ更新のやり方を学んでいく形にします。 ベイズ統計学 ベイズ統計とは? ベイズ統計学は、経験を数値化し、数学的に扱う手法です。この手法はベイズ […]
06/24/2022 / 最終更新日時 : 09/09/2024 bluest 推測統計学 【MSEを最小化】ガウス・マルコフの定理と最良線形不偏推定量について 回帰分析等で算出した推定量を評価するとき、どのような指標があるでしょうか。 これまでは、一致性や不偏性を取り上げてきました。簡単に復習しましょう。 一致性(consistency):サンプル数を∞に近づけると、推定量はパ […]
06/22/2022 / 最終更新日時 : 09/11/2024 bluest Python 主成分分析(PCA)をわかりやすく解説【統計検定準一級】|python 主成分分析 青の統計学へようこそ。 今回は、教師なし学習の一つ「主成分分析」について解説いたします。 数学的背景まで掘り下げたコンテンツは以下になります。 【python】主成分分析(+回帰)の仕組みとコード例|教師なし […]
06/20/2022 / 最終更新日時 : 10/14/2024 bluest Python 【統計検定準一級】ランダムウォークとマルチンゲールの話。 こんにちは、青の統計学です。 統計検定準一級では、「この確立過程Sは、マルチンゲールかどうか?」という問題が出ることがあります。 マルコフ性と並んで登場する「マルチンゲール」に、とっつきにくさを感じた方も多いと思います。 […]
06/19/2022 / 最終更新日時 : 10/31/2023 bluest Python 【python】ガウス過程回帰の仕組みと実務での応用|ノンパラメトリック機械学習 こんにちは、青の統計学です。 今回はガウス過程回帰について解説いたします。 製造業の現場など、n=20やそこらぐらいのデータセットで予測を行う必要がある時によく使われます。 ガウス過程は少数データとの相性がよく、予測値の […]
06/18/2022 / 最終更新日時 : 09/09/2024 bluest Python 【python】共分散分析(ANCOVA)の基礎から応用まで|因果推論 共分散分析 共分散分析は、調整平均を用いて、共変量(covariate)の影響を考慮した上で、群間の平均値の差を検定する方法です。 分散分析(ANOVA)と似ていますが、共分散分析は共変量を考慮する点で異なります。 →こ […]
06/15/2022 / 最終更新日時 : 04/27/2024 bluest 大学数学 【線形代数】固有値や固有ベクトルは機械学習にどう使われているのか|主成分分析 こんにちは、青の統計学です。 今回は、前回大好評だった「線形代数がデータサイエンスにどう使われているのかシリーズ」の第二弾です。 大学数学で勉強した固有値や固有ベクトルが一体何の役に立っているのか…対角化で冪 […]
06/15/2022 / 最終更新日時 : 05/05/2024 bluest 推測統計学 【F値とは】分散分析による検定の多重性について|統計検定準1級 統計検定準一級では、2級同様「分散分析」の内容が出てきます。 今回は、前回と視点を変えた「検定の多重性」について解説します。 例題を通して理解していきましょう。 *確実に理解するために、ある程度時間をかけてみましょう。 […]
06/13/2022 / 最終更新日時 : 10/14/2024 bluest ベイズ 【ベイズ因子】オッズ比の使われ方を紹介します こんにちは、青の統計学です。 今回はロジスティック回帰の解釈で定番の、オッズ比について考えていきます。 オッズ比は二つのカテゴリに分けられるデータに対して有用な指標であり、特に、疾患や事象が発生する確率について研究する際 […]