采集微博数据要注意多方面的设置,这个帖子不准备罗列所有情况,这里只讲一种情况:使用快捷采集工具 微博签到采集-来过此地的人  老是失败的问题。

例如,采集这个地点:喀纳斯湖,主页网址是:https://weibo.com/p/100101B2094757D06FABFB499F/home

1,看到这样的失败情况


2,网址是这样得到的
点击 签到的人,从浏览器的地址输入栏拷贝这个网址


3,添加到快捷采集工具
使用这个快捷采集工具:微博签到采集-来过此地的人
添加方法如下:
1,选中快捷采集工具
2,输入第二步得到的网址
3,选择要采集的页数
4,点击获取数据


4,采集失败诊断
就像第二步截图所示,有时候点击 签到的人 其实是看不到网页内容的,这个网址就无效。还有另一个位置的网址可用,点击 “xxx人在这里签到”获得的网址


5,总结
这个故障是因为使用的网址不合适,可以在微博网页上找找,找更加合适的网址进行采集。在给快捷采集添加网址之前,先点开看看能不能显示出来内容,如果能显示内容,才能采集成功



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2020-2-22 19:18

沙发
Fuller 管理员 发表于 2020-2-22 19:18:20 | 只看该作者
已经上线了4个微博签到数据的快捷采集,不用做规则,直接使用:
1,微博签到采集_主页
2,微博签到采集_探索此地
3,微博签到采集_此地热议
4,微博签到采集_来过此地的人

用这些工具把微博数据采集下来以后,可以把里面的地址信息找出来,然后再在百度地图api上翻译成经纬度。

找的过程中,可以手工找,手工去查百度得到经纬度。如果数量很大,那就要写一个程序翻译经纬度,或者委托我们做处理
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-27 11:22