一级线索:公寓搜索;
二级线索:公寓搜索列表;
一级线索已成功完成自动输入关键字,但是网页结构无变化导致二级线索抓取失败!

举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2017-8-23 18:51

沙发
曾经也是小何 初级会员 发表于 2017-8-23 17:06:21 | 只看该作者
可以把规则名也发出来看看。
举报 使用道具
板凳
不能输一辈子 初级会员 发表于 2017-8-23 17:17:27 | 只看该作者
规则名:公寓搜索和公寓搜索列表
举报 使用道具
地板
umsung 高级会员 发表于 2017-8-23 18:06:48 | 只看该作者
本帖最后由 umsung 于 2017-8-24 09:17 编辑

你做的规则是没有问题,但是因为当做了翻页动作,翻到时网页的结构会发生变化,会显示无法定位抓取内容,爬虫定位不到翻页后要采集内容的位置,所以采集第二页之后的数据会失败。所以需要在搜索出来的公寓界面,分别对第一页和第二页的抓取内容和整理箱都做上定位标志映射去精确定位翻页后需要抓取内容的位置,这样就能抓取到翻页后的内容。
举报 使用道具
5#
不能输一辈子 初级会员 发表于 2017-8-23 18:32:17 | 只看该作者
“翻到第二页给抓取的内容和整理箱做上定位标志就能抓取到翻页后的内容。”能具体点说吗,需要给整理箱定位标志吗?
举报 使用道具
6#
Fuller 管理员 发表于 2017-8-23 18:51:22 | 只看该作者
不能输一辈子 发表于 2017-8-23 18:32
“翻到第二页给抓取的内容和整理箱做上定位标志就能抓取到翻页后的内容。”能具体点说吗,需要给整理箱定位 ...

第二个规则我加载了,电话号码加载失败,其他字段加载成功,我看到你用了定位标志映射,你给电话号码也用上定位标志映射吧,那个row tel 很适合



举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 07:39