21#
yanhanruoyu961121 初级会员 发表于 2020-3-14 19:35:17 | 只看该作者
Fuller 发表于 2020-3-14 19:29
这个规则看起来没有什么问题。用连续滚屏的话,会有很多重复数据,要做重复过滤。产生重复的原因有多种: ...

好的,我现在去试试!
举报 使用道具
22#
yanhanruoyu961121 初级会员 发表于 2020-3-14 20:00:02 | 只看该作者
Fuller 发表于 2020-3-14 19:29
这个规则看起来没有什么问题。用连续滚屏的话,会有很多重复数据,要做重复过滤。产生重复的原因有多种: ...

重复的话我拿Excel的查重删除似乎可以解决了。。。。。o(╥﹏╥)o搞了一下午到现在似乎是可以正常用了,真的真的非常感谢您!!!!!!!!!!
从一开始想学python到用了好几个软件都搞不定,因为自学似乎有太多疑问没办法解决。。也不知道您是gooseeker的工作人员还是社区爱好者,真的为我解决了一个大难题!!再次感谢您花费自己的私人时间为我解惑!!!

举报 使用道具
23#
scraper 论坛元老 发表于 2021-3-15 11:43:36 | 只看该作者
在集搜客快捷采集中可以采集Twitter的数据,一共有三个板块:推特关键词搜索采集(TwitterSearchData)
推特推主推文数据采集(TwitterAuthorTweetsData)
推特推文评论采集(TwitterTwittesCommentData)

其中推特推主推文数据采集(TwitterAuthorTweetsData)可以采集的推特主页发布大信息
使用方式如下:
1,集搜客数据管家,从左侧工具条进入快捷采集,选择推特推主推文数据采集(TwitterAuthorTweetsData)

输入要采集的推主链接,如果要同时采集多个推主就选择输入多条网址
确认条件后,数据管家就会自动启动采集任务
2,待采集状态变成已采集,在快捷采集管理页面就可以打包下载结果数据了


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
24#
jwinwhusim 初级会员 发表于 2021-3-28 17:24:16 | 只看该作者
自定义规则采集时任务一直不结束,我定义了滚屏的,一直在最后一条数据那里滚动
举报 使用道具
25#
wangyong 版主 发表于 2021-3-28 19:42:46 | 只看该作者
jwinwhusim 发表于 2021-3-28 17:24
自定义规则采集时任务一直不结束,我定义了滚屏的,一直在最后一条数据那里滚动 ...


在设置的配置中勾上重复内容中断,采集到最后会自动中断

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-25 05:33