如何在条形图中从一列列表中绘制词频

Question

我有数据框

我很难在所有推文、真实推文和虚假推文的条形图中显示前 10 个词。有什么建议吗？

将所有文本分成单词，计算频率，select 10 个最常见的并绘制它们。我认为这样的方法可行，但作为新手，我不确定如何实现它。

提前感谢您的帮助:)

Answer 1

主要要求是用pandas.Series.explode把一个list中的所有值分隔开来分隔行。
.groupby 并聚合 .count 列中的值，然后 .sort_values
使用pandas.DataFrame.plot.bar来绘制单词

import pandas as pd
import matplotlib.pyplot as plt

# test dataframe
df = pd.DataFrame({'lemmatized': [['se', 'acuerdan', 'de', 'la', 'pelicula el', 'dia'], ['milenagimon', 'miren', 'sandy', 'en', 'ny', 'tremenda'], ['se', 'acuerdan', 'de']]})

# display(df)
                                      lemmatized
0       [se, acuerdan, de, la, pelicula el, dia]
1  [milenagimon, miren, sandy, en, ny, tremenda]
2                             [se, acuerdan, de]

# use explode to expand the lists into separate rows
dfe = df.lemmatized.explode().to_frame().reset_index(drop=True)

# groupby the values in the column, get the count and sort
dfg = dfe.groupby('lemmatized').lemmatized.count() \
                               .reset_index(name='count') \
                               .sort_values(['count'], ascending=False) \
                               .head(10).reset_index(drop=True)

# display(dfg)
    lemmatized  count
0     acuerdan      2
1           de      2
2           se      2
3          dia      1
4           en      1
5           la      1
6  milenagimon      1
7        miren      1
8           ny      1
9  pelicula el      1

# plot the dataframe
dfg.plot.bar(x='lemmatized')

替代实施

使用.value_counts代替.groupby

# use value_counts and plot the series
dfe.lemmatized.value_counts().head(10).plot.bar()

使用seaborn.countplot

import seaborn as sns

# plot dfe
sns.countplot(x='lemmatized', data=dfe, order=dfe.lemmatized.value_counts().iloc[:10].index)
plt.xticks(rotation=90)

如何在条形图中从一列列表中绘制词频

How to plot word frequency, from a column of lists, in a bar chart

python

twitter

matplotlib

pandas

替代实施