快捷导航
2 947

网贷之家数据采集攻略

xandy 于 2017-1-12 16:40 发表 [复制链接]
网贷之家网站数据DIY各页面之间的组合采集攻略如下(绿框是页面名称,橙色字体是采集结果表中的网址字段):

网贷之家_网贷平台列表”和其他页面组合使用
思路
  • 该页面的“档案链接”可以作为“网贷之家_网贷平台基本信息”和“网贷之家_网贷平台更多信息”的线索网址
  • 该页面的“平台点评链接”可以作为“网贷之家_网贷平台点评内容”的线索网址
方法
  • 从父页面数据结果表将链接拷贝出来,作为子页面的线索网址
  • 点击“输入多条网址”,就可以将网址批量粘贴进去开始运行采集了

网贷之家_网贷平台基本信息”和其他页面组合使用

思路
  • 该页面的“平台点评链接”可以作为“网贷之家_网贷平台点评内容”的线索网址
方法
  • 从父页面数据结果表将链接拷贝出来,作为子页面的线索网址
  • 点击“输入多条网址”,就可以将网址批量粘贴进去开始运行采集了

【附注】
数据DIY某网站某页面采集到的网址,可以作为同网站其他页面的线索网址,只要和样例网址的页面结构是一样的,就可以把网址批量添加进去,从而使得各页面之间能够组合使用,发挥数据DIY最大的价值。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2018-4-24 09:39

王巴旦在这儿 初级会员 发表于 2018-4-24 08:55:44 | 显示全部楼层
您好!网贷之家_网贷平台点评信息采集失败,输入多条网址只采集到名称,无具体数据,麻烦看一下吧!感谢~

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
数据集 高级会员 发表于 2018-4-24 09:39:58 | 显示全部楼层
王巴旦在这儿 发表于 2018-4-24 08:55
您好!网贷之家_网贷平台点评信息采集失败,输入多条网址只采集到名称,无具体数据,麻烦看一下吧!感谢~ ...

采集之前需要先用gs浏览器登录网站账号,还有这个数据diy的规则好像失效了,现在已经修改过来了,可以继续使用
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息
  • 批量爬取亚马逊商品价格、评论信息
  • 批量爬取eBay商品价格、销售情况信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-7-20 08:54