12/21/2023 / 最終更新日時 : 11/17/2024 bluest Python 【AICで使う】KL divergence(カルバック-ライブラー情報量)をわかりやすく解説|python こんにちは、今回はKL divergenceを解説します。 KL divergenceは、2つの確率分布間の相違を測定するために使用され、NLPにおける文書や単語の分布を比較する際に役立ちます。 レベル感としては、統計検 […]
11/17/2023 / 最終更新日時 : 12/11/2023 bluest 自然言語処理 【API】Google Search Consoleから1000行以上の検索クエリを取得したい|Google Cloud こんにちは、青の統計学です。 今回は、掲題の通りサーチコンソールから検索クエリをたくさんとる方法についてまとめていきます。 業務で使う機会があったので備忘がわりです。 Google Cloudで行うこと Search c […]
08/02/2022 / 最終更新日時 : 02/07/2023 bluest Python 【N-gram】テキストをベクトルで表現するには | 自然言語処理 自然言語処理において、モデルへの入力はベクトルで与えることが想定されているので、テキストをモデルに変換する必要があります。 テキストをベクトルで表現するには、まず形態素解析などでテキストを単語に分割する必要があります。 […]
07/27/2022 / 最終更新日時 : 04/22/2024 bluest Python 【自然言語処理】検索クエリをベクトル空間に写像してクラスタリングしたい こんにちは、青の統計学です。 筆者の業務で使うので、勉強がてらまとめていきます。 参考となるコードも紹介していますので、ぜひ最後までご覧ください。 タスクについて|検索クエリの分析について 以下のようなことに挑戦してみま […]
07/19/2022 / 最終更新日時 : 10/21/2023 bluest Python 【自然言語処理】単語の出現頻度を可視化させてみましょう | python 今回は、形態素解析した単語たちを出現頻度ごとに集計してグラフ化させてみます。 アンケートや問い合わせの文言から、どんなキーワードがユーザーの不満や満足に繋がっているのかという示唆を得られる点では、かなり実務的なスキルにな […]
06/30/2022 / 最終更新日時 : 01/25/2025 bluest Python コサイン類似度とは？高校数学で理解する 1. コサイン類似度とは？ ベクトル同士の“方向の近さ”を測る指標 コサイン類似度（Cosine Similarity）とは、主に2つのベクトルがどのくらい同じ方向を向いているかを測定するための指標です。計算結果の値は- […]
