81#
Fuller 管理员 发表于 2016-4-20 23:38:40 | 只看该作者
cattysue 发表于 2016-4-20 18:54
微博关键词搜索,然后现在还有个问题,爬微博启动了一段时间,大概二三十页吧,然后就停了,状态还是显示在 ...

停下来的截图发一个就好了,我们根据截图就能准确判断原因。

DS爬虫群窗口运行了几个?可以同时运行两个,一个抓数据,一个做入库,你不用关心哪个具体是做采集还做入库,他们会自己安排。

同时运行两个的话,就会随时把抓取结果入到数据库中。很快就有数据可供打包。

如果只运行一个DS窗口,我建议把DS窗口重新运行一下,等一分钟,看看是否还在“采集中”状态

举报 使用道具
82#
linjian1 新手上路 发表于 2016-4-22 10:16:48 | 只看该作者
微博评论 只能自己爬一页吗?爬一会儿就白屏 然后一直显示采集中怎么回事啊? 弄了好多次了 ...求助!
举报 使用道具
83#
Fuller 管理员 发表于 2016-4-22 10:49:40 | 只看该作者
linjian1 发表于 2016-4-22 10:16
微博评论 只能自己爬一页吗?爬一会儿就白屏 然后一直显示采集中怎么回事啊? 弄了好多次了 ...求助! ...

滚屏打开了吗?

加入qq群,在线讨论一下吧,帮你把问题诊断一下:GooSeeker网页抓取工具 242144153
举报 使用道具
84#
xandy 论坛元老 发表于 2016-4-22 11:09:12 | 只看该作者
linjian1 发表于 2016-4-22 10:16
微博评论 只能自己爬一页吗?爬一会儿就白屏 然后一直显示采集中怎么回事啊? 弄了好多次了 ...求助! ...

微博转发&评论采集工具,输入的应该是独立微博的网址,比如说http://weibo.com/5233485928/Dnhe ... t#_rnd1461294535086,而不是博主主页的网址。
举报 使用道具
85#
tttr2_ 初级会员 发表于 2016-4-22 13:12:04 | 只看该作者
请问如果想再采集下这些转发人的地理位置信息该怎么做呢
举报 使用道具
86#
xandy 论坛元老 发表于 2016-4-22 14:18:17 | 只看该作者
tttr2_ 发表于 2016-4-22 13:12
请问如果想再采集下这些转发人的地理位置信息该怎么做呢

你可以使用博主主页详细资料采集工具,在该工具输入博主的独立主页网址,可以采集该博主的所在地信息。
举报 使用道具
87#
ydmydm1 新手上路 发表于 2016-4-25 14:06:09 | 只看该作者
转发任务采集的竟然是评论内容/(ㄒoㄒ)/~~
举报 使用道具
88#
xandy 论坛元老 发表于 2016-4-25 14:37:35 | 只看该作者
ydmydm1 发表于 2016-4-25 14:06
转发任务采集的竟然是评论内容/(ㄒoㄒ)/~~

每个工具都是经过反复测试之后才上线的,转发和评论采集类型是需要选择的,如果采集类型选择的是评论,抓取的自然是评论内容。

图1是测试微博的最新转发内容


图2是用工具抓到的最新转发内容


经过再次测试,工具是没有问题的。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
89#
Fuller 管理员 发表于 2016-4-25 17:43:27 | 只看该作者
ydmydm1 发表于 2016-4-25 14:06
转发任务采集的竟然是评论内容/(ㄒoㄒ)/~~

在界面上录入抓取目标的时候,要同时选择 评论 or 转发
举报 使用道具
90#
ccpower 初级会员 发表于 2016-4-25 19:58:29 | 只看该作者
Fuller 发表于 2016-4-20 11:56
停止的现象是什么?比如
1,DS的内置浏览器空白了
2,DS中间一条是控制面板,有两串字符,停止闪动了,停 ...

谢谢

内置浏览器空白,请问这个是什么问题导致的啊?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-21 20:56