12/21/2023 / 最終更新日時 : 11/17/2024 bluest Python 【AICで使う】KL divergence(カルバック-ライブラー情報量)をわかりやすく解説|python こんにちは、今回はKL divergenceを解説します。 KL divergenceは、2つの確率分布間の相違を測定するために使用され、NLPにおける文書や単語の分布を比較する際に役立ちます。 レベル感としては、統計検 […]
11/17/2023 / 最終更新日時 : 12/11/2023 bluest 自然言語処理 【API】Google Search Consoleから1000行以上の検索クエリを取得したい|Google Cloud こんにちは、青の統計学です。 今回は、掲題の通りサーチコンソールから検索クエリをたくさんとる方法についてまとめていきます。 業務で使う機会があったので備忘がわりです。 Google Cloudで行うこと Search c […]
08/21/2022 / 最終更新日時 : 01/31/2023 bluest Python 【自然言語処理】gensimを使った単語の分散表現｜python 今回は自然言語処理の本質となる「単語の分散表現」について解説したいと思います。 gensimというパッケージの使い方も説明しておりますので、初心者の方でも気軽に勉強できると思われます。 まずは、自然言語処理の基礎から学習 […]
08/02/2022 / 最終更新日時 : 02/07/2023 bluest Python 【N-gram】テキストをベクトルで表現するには | 自然言語処理 自然言語処理において、モデルへの入力はベクトルで与えることが想定されているので、テキストをモデルに変換する必要があります。 テキストをベクトルで表現するには、まず形態素解析などでテキストを単語に分割する必要があります。 […]
07/27/2022 / 最終更新日時 : 04/22/2024 bluest Python 【自然言語処理】検索クエリをベクトル空間に写像してクラスタリングしたい こんにちは、青の統計学です。 筆者の業務で使うので、勉強がてらまとめていきます。 参考となるコードも紹介していますので、ぜひ最後までご覧ください。 タスクについて|検索クエリの分析について 以下のようなことに挑戦してみま […]
07/19/2022 / 最終更新日時 : 10/21/2023 bluest Python 【自然言語処理】単語の出現頻度を可視化させてみましょう | python 今回は、形態素解析した単語たちを出現頻度ごとに集計してグラフ化させてみます。 アンケートや問い合わせの文言から、どんなキーワードがユーザーの不満や満足に繋がっているのかという示唆を得られる点では、かなり実務的なスキルにな […]
07/16/2022 / 最終更新日時 : 01/13/2024 bluest Python 【自然言語処理】形態素解析で文章を単語に分ける | python 今回は自然言語処理の入門編ということで、形態素解析を行なってみます。 pythonの環境がある方向けに、MeCabのインストール方法も併せてご紹介します。 形態素解析 具体的な作業に入る前に、形態素解析をざっくり解説しま […]
06/30/2022 / 最終更新日時 : 09/08/2024 bluest Python 【python】コサイン類似度は高校数学の知識で理解できます！|自然言語処理 コサイン類似度(cosign similarity) コサイン類似度とは、「2つのベクトルがどれだけ近い(似ている)のかを示す指標」です。高校数学のベクトルの知識があればスムーズに理解できると思います。 もう少し詳細に説 […]
