我在抓推特的过程中,遇到了麻烦。推特没有翻页按钮,往下拉就会一直更新,所以我设置不了翻页,就只能抓到当前页面的20条。怎么办啊,求各位走过路过的大神们

举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2022-2-26 18:02

沙发
wangyong 版主 发表于 2021-8-3 15:08:38 | 只看该作者
再最新版的集搜客数据管家中不用再定义采集规则,有推特的快捷采集,输入链接就可以直接采集,其中也用到了连续滚屏来适应没有翻页按钮的推特瀑布流网页。操作步骤如下:
下载集搜客数据管家从左侧工具条进入快捷采集,找到社交网站下Twitter的采集入口


快捷采集中现在有三个Twitter采集入口,分别是:
推特关键词搜索采集(TwitterSearchData)
推特推主推文数据采集(TwitterAuthorTweetsData)
推特推文评论采集(TwitterTwittesCommentData)


进入对应的采集入口,添加与示例网址相同的网址,启动采集就可以免规则采集数据了

这是推特关键词搜索采集(TwitterSearchData)的采集结果示例:
举报 使用道具
板凳
曹寅飞 新手上路 发表于 2022-2-26 18:02:47 | 只看该作者
可是根本就采集不了呀,200多条评论就抓去了13条数据怎么回事呢?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-26 21:57