本帖最后由 scraper 于 2017-5-8 16:09 编辑


【启动采集前的配置】
  • 预先登陆网站:否
  • 配置打码平台:否

【运行方法】— 详见数据DIY图文教程

  • 用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问天眼查列表页面;
  • 输入一条网址,或者点击“输入多条网址”,然后点击“获取数据”;
  • 点击“启动采集”按钮,采集完成后点击“打包”按钮,就可以下载数据了。

【常见问题】— 欢迎跟帖留言
   1.普通用户只能查看到100家公司,因此只能采到100家公司。
举报 使用道具
| 回复

共 17 个关于本帖的回复 最后回复于 2017-3-15 15:26

沙发
xyz2017 新手上路 发表于 2017-3-9 11:53:44 | 只看该作者
详细数据弄不下来啊,点采集按钮提示已开始采集。可以按钮没有变灰啊?
举报 使用道具
板凳
HJLing 版主 发表于 2017-3-9 15:14:09 | 只看该作者
xyz2017 发表于 2017-3-9 11:53
详细数据弄不下来啊,点采集按钮提示已开始采集。可以按钮没有变灰啊?

天眼查的详细页面又有变动,规则也修改了,查看到你的任务都采集成功了,没有问题了吧?

举报 使用道具
地板
xyz2017 新手上路 发表于 2017-3-10 16:14:17 | 只看该作者
现在好了。
举报 使用道具
5#
hg946902208 初级会员 发表于 2017-3-14 16:02:20 | 只看该作者
列表不会自动翻页,最多只有20条
举报 使用道具
6#
HJLing 版主 发表于 2017-3-14 16:09:34 | 只看该作者
hg946902208 发表于 2017-3-14 16:02
列表不会自动翻页,最多只有20条

测试没问题
不翻页是你没有修改页数 默认只采1页

举报 使用道具
7#
hg946902208 初级会员 发表于 2017-3-14 16:48:57 | 只看该作者
HJLing 发表于 2017-3-14 16:09
测试没问题
不翻页是你没有修改页数 默认只采1页

不好意思之前看错了,没注意到右边的,抱歉

一页20条,一共有50页。这不是浪费了很多数据吗。

举报 使用道具
8#
HJLing 版主 发表于 2017-3-14 16:49:41 | 只看该作者
hg946902208 发表于 2017-3-14 16:48
不好意思之前看错了,没注意到右边的,抱歉

一页20条,一共有50页。这不是浪费了很多数据吗。

什么浪费数据?

举报 使用道具
9#
hg946902208 初级会员 发表于 2017-3-14 17:08:11 | 只看该作者
HJLing 发表于 2017-3-14 16:49
什么浪费数据?

理论应该有1000条数据,但实际只扫描出340个,剩下的不就浪费了吗

举报 使用道具
10#
HJLing 版主 发表于 2017-3-14 17:10:07 | 只看该作者
hg946902208 发表于 2017-3-14 17:08
理论应该有1000条数据,但实际只扫描出340个,剩下的不就浪费了吗

这是网站问题 有时候连续翻页就会失败看不到数据 这种情况下爬虫当然也就采不下去了
你可以把断开的那一页的网址重新添加进去继续采集

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-23 19:25