添加新线索

昨天写的规则已经成功抓取了一轮数据，今天添加新的线索继续抓取却不能翻页了，可能是什么原因呢。
主题名拉勾040201

这个规则就是昨天你说一直翻不了页，但是突然能翻页了，是不是？要不这样修改一下，通常作线索定位映射的时候，使用代表整个翻页取的那个div做映射，改成这样试试是否有改善

Fuller 发表于 2017-4-3 17:02
这个规则就是昨天你说一直翻不了页，但是突然能翻页了，是不是？要不这样修改一下，通常作线索定位映射的 ...

哈哈，大神还记得。
修改之后新线索还是只能抓取第一页。但是昨天的那个线索是还可以正确翻页的，是线索的问题吗？我昨天抓的是拉勾广州站的信息，今天添加的是上海深圳北京的样本线索。

mafan11 发表于 2017-4-3 17:15
哈哈，大神还记得。
修改之后新线索还是只能抓取第一页。但是昨天的那个线索是还可以正确翻页的，是线索 ...

你把网址发出来我试试

Fuller 发表于 2017-4-3 17:19
你把网址发出来我试试

https://www.lagou.com/jobs/list_?px=new&city=深圳#filterBox

https://www.lagou.com/jobs/list_?px=new&city=北京#filterBox

                                                                                                                        https://www.lagou.com/jobs/list_?px=new&city=上海#filterBox                               

mafan11 发表于 2017-4-3 17:27
https://www.lagou.com/jobs/list_?px=new&city=深圳#filterBox

https://www.lagou.com/jobs/list_?px=n ...

确实网页结构不一样，还好，只有翻页区不一样，内容部分是一样的，干脆用一个新主题吧。你可以这样操作
1，加载规则
2，在地址输入栏输入新的网址
3，选择菜单 规则-〉刷新页面结构，在 分析页面
4，就能看到分析新网页失败，就是翻页那里失败
5，重新做爬虫路线的映射
6，修改 命名主题 和 爬虫路线 工作台上的主题名
7，存规则

Fuller 发表于 2017-4-3 18:18
确实网页结构不一样，还好，只有翻页区不一样，内容部分是一样的，干脆用一个新主题吧。你可以这样操作
1 ...

提示加载的页面变化，工作台操作无意义

mafan11 发表于 2017-4-3 20:10
提示加载的页面变化，工作台操作无意义

我直接重新写了一个规则，问题解决了，确实是网页结构不一样

mafan11 发表于 2017-4-3 20:10
提示加载的页面变化，工作台操作无意义

出现这个提示的原因是网页还没有完全加载完你就执行“后续分析”，过了一会网页加载完了，网页内容有些变化，从而导致以前分析定位的节点对不上了。如果遇到这种情况，执行如下步骤：
1，选择菜单 规则-〉刷新页面结构
2，选择菜单 规则-〉分析页面
再进行内容映射或者线索映射，就不会有这个提示了

Fuller 发表于 2017-4-3 20:42
出现这个提示的原因是网页还没有完全加载完你就执行“后续分析”，过了一会网页加载完了，网页内容有些变 ...

恩，好的，收到。