【自然言語処理】単語の出現頻度を可視化させてみましょう | python

import MeCab
import pandas as pd

txt ="自然言語処理は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野である。計算言語学との類似もあるが、自然言語処理は工学的な視点からの言語処理をさすのに対して、計算言語学は言語学的視点を重視する手法をさす事が多い。データベース内の情報を自然言語に変換したり、自然言語の文章をより形式的な表現に変換するといった処理が含まれる。応用例としては予測変換、IMEなどの文字変換が挙げられる。自然言語の理解をコンピュータにさせることは、自然言語理解とされている。自然言語理解と、自然言語処理の差は、意味を扱うか、扱わないかという説もあったが、最近は数理的な言語解析手法が広められた為、パーサなどが一段と精度や速度が上がり、その意味合いは違ってきている。もともと自然言語の意味論的側面を全く無視して達成できることは非常に限られている。このため、自然言語処理には形態素解析と構文解析、文脈解析、意味解析などをSyntaxなど表層的な観点から解析をする学問であるが、自然言語理解は、意味をどのように理解するかという個々人の理解と推論部分が主な研究の課題になってきており、両者の境界は意思や意図が含まれるかどうかになってきている。"

#分かち書き
tagger = MeCab.Tagger('-Owakati')
print(tagger.parse(txt))

#形態素解析
tagger = MeCab.Tagger()
parsed_txt = tagger.parse(txt)
elements = parsed_txt.split('\n')[:-2]
elements

#名詞のみを抽出してみます。
all_words = []
parts = ["名詞"]
stop_words = ["の"]
words = tagger.parse(txt).splitlines()
words_arr = []
for i in words:
    if i == "EOS" or i=="":continue
    word_tmp = i.split()[0]
    part = i.split()[1].split(",")[0]
    if not (part in parts):continue
    #stop_wordsだった場合に、words_arrに加えないようにする。
    if word_tmp in stop_words:continue
    words_arr.append(word_tmp)
all_words.extend(words_arr)
words_arr

all_words_df = pd.DataFrame({"words":all_words,"count":len(all_words)*[1]})
all_words_df = all_words_df.groupby("words").sum()
all_words_df.sort_values("count",ascending=False)

#ライブラリのインポート
!pip install japanize_matplotlib

import matplotlib.pyplot as plt
import japanize_matplotlib
%matplotlib inline

from collections import defaultdict
#辞書のバリューがint型
word_freq = defaultdict(int)

for result in results:
    if result['品詞'] == '名詞':
        word_freq[result["基本形"]] += 1
word_freq

#単語と回数。回数を基準にする。
#ここでkey=LAMBDA
sorted_word_freq = sorted(word_freq.items(), key=lambda x:x[1], reverse=True)
sorted_word_freq

#内包表記
#for 分をリスト形式で書いている
keys = [_[0] for _ in sorted_word_freq[:10]]

#内包表記その2
values = [_[1] for _ in sorted_word_freq[:10]]

plt.figure(figsize=(8, 4))
plt.bar(keys, values)
plt.show()