08/21/2022 / 最終更新日時 : 01/31/2023 bluest NLP 【自然言語処理】gensimを使った単語の分散表現|python 今回は自然言語処理の本質となる「単語の分散表現」について解説したいと思います。 gensimというパッケージの使い方も説明しておりますので、初心者の方でも気軽に勉強できると思われます。 まずは、自然言語処理の基礎から学習 […]
08/04/2022 / 最終更新日時 : 12/10/2023 bluest Python 【共変量の調整】傾向スコア・マッチングによる因果推論 | python こんにちは、青の統計学です。今回は傾向スコアをご紹介します。 因果推論に必要な考え方ですので、しっかり習得しましょう。 傾向スコア (propensity score) 傾向スコアとは、群間比較研究において、介入を受けた […]
08/02/2022 / 最終更新日時 : 02/07/2023 bluest NLP 【N-gram】テキストをベクトルで表現するには | 自然言語処理 自然言語処理において、モデルへの入力はベクトルで与えることが想定されているので、テキストをモデルに変換する必要があります。 テキストをベクトルで表現するには、まず形態素解析などでテキストを単語に分割する必要があります。 […]
08/01/2022 / 最終更新日時 : 06/06/2023 bluest Python 【python】階層型クラスタリングとデンドログラムの実装について クラスタリングには、階層型と非階層型があります。今回は、階層型のクラスタリングについて解説しようと思います。 実装で使うデータは、【共線性解決】pythonで主成分分析をやってみたでも使った、学生のテストのデータを使って […]