我有一套连续动作,通过选择不同的select,得到不同的数据,但是有的数据可能是空的,导致匹配失败,如何处理才能匹配成功呢?有什么校验吗
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2017-11-22 17:51

沙发
Fuller 管理员 发表于 2017-11-21 23:13:16 | 只看该作者
遇到这种情况,爬虫就变慢了,因为要一直等到超时才能进行下一个选择。

遇到空数据的时候,网页上有没有特殊内容,如果有,在同一个主题下定义两个规则,一个抓取正常数据,一个抓取空内容时的标志,他们的主题名相同,用不同的规则编号进行区分
举报 使用道具
板凳
dukewang666 初级会员 发表于 2017-11-21 23:49:05 | 只看该作者
大神你好,如果定义了2个规则,会不会两个规则同时被执行啊?
举报 使用道具
地板
maomao 论坛元老 发表于 2017-11-22 07:23:41 | 只看该作者
dukewang666 发表于 2017-11-21 23:49
大神你好,如果定义了2个规则,会不会两个规则同时被执行啊?

要相同主题名,就不会分别运行,因为DS打数机运行的时候只用主题名,会当成一个,运行的时候会自动判断用哪个
举报 使用道具
5#
dukewang666 初级会员 发表于 2017-11-22 10:52:29 | 只看该作者
maomao 发表于 2017-11-22 07:23
要相同主题名,就不会分别运行,因为DS打数机运行的时候只用主题名,会当成一个,运行的时候会自动判断用 ...

好的 谢谢 我下午试试
实在感谢二位
举报 使用道具
6#
dukewang666 初级会员 发表于 2017-11-22 16:57:33 | 只看该作者
本帖最后由 dukewang666 于 2017-11-22 17:08 编辑

刚刚试了下 在同一个主题下定义了两个规则  但是第一个规则报错了 没有去自动执行第二个规则?请问需要做一下条件判断吗?需要的话 怎么去做呢?其实第二个规则是没有唯一性标志的。。这样怎么处理啊
这个网页
http://weixin.dsweishang.com/app ... m=jf_product_search
品牌选择   A 奥迪
车型   A4
就会抱这个错


主题名是guanyu_details
举报 使用道具
7#
umsung 高级会员 发表于 2017-11-22 17:29:44 | 只看该作者
本帖最后由 umsung 于 2017-11-22 17:34 编辑

这个主题下只有一个规则,没有看到两个规则啊,只看到这个规则有两个整理箱。

是建立两个规则名相同编号不同的规则,所以两个规则必须要都要有唯一标志作为关键内容才行,这是很关键的一点,采集时DS打数机才会自动判断当前页面该使用哪个规则编号的规则。

参考这个教程《怎样采集同一网站的不同网页结构信息 》

举报 使用道具
8#
dukewang666 初级会员 发表于 2017-11-22 17:51:09 | 只看该作者
umsung 发表于 2017-11-22 17:29
这个主题下只有一个规则,没有看到两个规则啊,只看到这个规则有两个整理箱。

是建立两个规则名相同编号不 ...

好吧 我是纯小白 有空得多看看教程啊
谢谢大神指点
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-25 17:44