1101#
Fuller 管理员 发表于 2020-6-25 15:47:10 | 只看该作者
z6182003 发表于 2020-6-25 15:37
我想咨询一下,微博博主资料采集中已停止是什么原因啊?
还有微博评论和转发采集的过程中也会出现已停止, ...

已停止就是爬虫遇到问题了,没有运行到底。最可能的问题是:
1,DS打数机窗口在运行过程中不能缩小,更不能最小化,因为微博是动态内容,窗口不够大就不会显示。如果使用集搜客数据管家采集微博,也是一样的。窗口上面可以覆盖其他窗口,但是不能最小化
2,没有在集搜客浏览器或者数据管家浏览器中预先登录微博
3,网络不稳定,某条网址失败了。微博评论和转发特别容易出现这种问题
4,微博自己做了删评论工作,翻页到某一页后就看不到评论了,就会失败

还有可能爬虫规则不适合网页,失败了。

点击“已停止”按钮,应该能看到添加的网址,找到那条失败的,发出来我们看看。
举报 使用道具
1102#
z6182003 初级会员 发表于 2020-6-25 19:00:42 | 只看该作者
Fuller 发表于 2020-6-25 15:47
已停止就是爬虫遇到问题了,没有运行到底。最可能的问题是:
1,DS打数机窗口在运行过程中不能缩小,更不 ...

快捷采集微博评论 我看显示流程错误
举报 使用道具
1103#
z6182003 初级会员 发表于 2020-6-25 19:13:13 | 只看该作者
Fuller 发表于 2020-6-25 15:47
已停止就是爬虫遇到问题了,没有运行到底。最可能的问题是:
1,DS打数机窗口在运行过程中不能缩小,更不 ...

采集过程中 加载网页能不能设置成不显示图片呢 加载速度能快点
举报 使用道具
1104#
Fuller 管理员 发表于 2020-6-25 22:44:18 | 只看该作者
z6182003 发表于 2020-6-25 19:13
采集过程中 加载网页能不能设置成不显示图片呢 加载速度能快点

快捷采集的爬虫参数是预先设置好的,运行的时候自己修改不了
举报 使用道具
1105#
18196595805 新手上路 发表于 2020-7-8 11:06:19 | 只看该作者
想问一下这个关键字采集可以采集到的微博发布地的经纬度坐标信息吗
举报 使用道具
1106#
Fuller 管理员 发表于 2020-7-8 11:21:14 | 只看该作者
18196595805 发表于 2020-7-8 11:06
想问一下这个关键字采集可以采集到的微博发布地的经纬度坐标信息吗

用户发布微博的时候,这个用户所在的经纬度?这个信息采集不到,只能采集网页上看得见的内容
举报 使用道具
1107#
小蜜蜂测试162 高级会员 发表于 2020-7-8 15:35:06 | 只看该作者
18196595805 发表于 2020-7-8 11:06
想问一下这个关键字采集可以采集到的微博发布地的经纬度坐标信息吗

可以采集到发布微博的城市名称,百度地图和高德地图都可以根据城市名称转换为经纬度
举报 使用道具
1108#
18196595805 新手上路 发表于 2020-7-12 11:17:46 | 只看该作者
小蜜蜂测试162 发表于 2020-7-8 15:35
可以采集到发布微博的城市名称,百度地图和高德地图都可以根据城市名称转换为经纬度
...

请问怎么采集到发布微博的城市名称呢
举报 使用道具
1109#
18196595805 新手上路 发表于 2020-7-12 11:21:40 | 只看该作者
请问怎么采集到发布微博的城市名称呢
举报 使用道具
1110#
18196595805 新手上路 发表于 2020-7-12 11:23:48 | 只看该作者
请问怎么采集到发布微博的城市名称呢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-23 17:56