Jupyter Notebook数据分析实验：用Dataframe查询词频统计表

之前有个帖子：想用爬虫软件爬取微博话题-博士当辅导员是屈才吗, 并且做情感分析

记录了网页抓取工具采集到的数据，导入到集搜客文本分词和情感分析软件

生成的数据表中有个词频统计表。我就用Jupyter Notebook的pandas来读取这个词频统计表， 然后做一些查询统计练习，以跟帖的形式记录下来。

原文件是这个：
首先在Jupyter Notebook中把文件导入

1.     import pandas as pd
   
2.     df = pd.read_excel('博士当辅导员_词频表_20210303091849990.xlsx')

复制代码

先看一下有几行几列， 查看下前5行数据和后5行数据：

1. #查询有几行几列
   
2. df.shape
   
3. 
   
4. #显示前5行
   
5. df.head(5)
   
6. 
   
7. #显示后5行
   
8. df.tail(5)

复制代码

1. #查询词频数大于80的记录
   
2. df.loc[df['词频'] > 80]

复制代码

按某一列的值group by之后做统计

1. #按词性分别统计对应的标签词个数
   
2. df.groupby(["词性"], as_index=False)['标签词'].count()

复制代码

马涌河畔 发表于 2021-3-3 11:49
按某一列的值group by之后做统计

每一种表的数据探索的notebook能不能共享一下？

Fuller 发表于 2021-3-3 15:34
每一种表的数据探索的notebook能不能共享一下？

这是上面实验的notebook文件：

要放在哪个目录下才能将数据导入呢？

王建国 发表于 2021-3-3 16:18
要放在哪个目录下才能将数据导入呢？

上面那个.ipynb里，是读取当前目录下的excel文件(也就是Jupyter notebook定义的根目录下)，不过这样不好管理， 我准备按这篇文档的目录结构做修改：《Jupyter Notebook在机器学习领域的项目目录结构规划》

马涌河畔 发表于 2021-3-3 16:43
上面那个.ipynb里，是读取当前目录下的excel文件(也就是Jupyter notebook定义的根目录下)，不过这样不好 ...

1. import pandas as pd
   
2. data_path="D:/08浏览器下载/博士当辅导员_词频表_20210303091849990/博士当辅导员_词频表_20210303091849990.xlsx"
   
3. df = pd.read_excel(data_path)
   
4. print(df)

复制代码

我用这段代码导入了