中国土地市场网爬取数据问题

老师您好，我在爬取中国土地市场网（https://www.landchina.com/）的数据时，一开始筛选了地区，但爬取时，发现地区又变成了未筛选的状态，请问这个问题该怎么解决？这是定义规则前，我选的。



这是数据爬取时，页面的情况。筛选的条件又被重置了。
这个问题困扰了我很久，之前一直没有解决，现在急用。请老师给出详细的解决方案。谢谢！

规则名是什么?

我测试了一下，查询公告的网址是这个：https://www.landchina.com/default.aspx?tabid=263
输入查询条件以后，生成一个新网址，但是这个网址中含有一个安全校验的代码，瞬间有效。所以，必须要在上述网页上做连续动作

时间和地点都做输入动作就行。参看高级教程里面的连续输入类型：https://www.gooseeker.com/doc/article-371-1.html

如果有很多输入条件，需要购买旗舰版，输入词在会员中心添加，不用做到规则中。规则中最多放5个词

我会买会员，但估计暂时没钱买旗舰版的。如果只输入时间和地点，普通会员是否可以实现？

另外，有没有视频的教程？这个文字的，看的还不太懂。

dolphin_1983 发表于 2020-5-12 16:48
我会买会员，但估计暂时没钱买旗舰版的。如果只输入时间和地点，普通会员是否可以实现？ ...

在规则里面，每个输入框可以输入5个词，多了就需要旗舰版。

时间这个输入很麻烦，通常需要配对输入，起始时间-终止时间 要配对，所以，在旗舰版中专门有一个动作类型：组合词。最适合输入时间

老师您好，经过权衡，时间也可以先不筛选，但地区必须要能够筛选。我要爬取的中国土地交易网的网页（https://www.landchina.com/default.aspx?tabid=263&ComName=default）和教程上中国知网的网页（https://www.jisouke.com/doc/article-372-1.html）不太一样。教程上知网的网页，是下拉式菜单，点击后可以直接选择；中国土地交易网的地区筛选按钮，点击后是个弹出的对话框，这个应该怎么设置呢？教程中的知网，点开后是个下拉式菜单，可以直接选。


中国知网的，点击1后，弹出的是一个对话框，这个该怎么设置呢？

dolphin_1983 发表于 2020-5-12 23:26
老师您好，经过权衡，时间也可以先不筛选，但地区必须要能够筛选。我要爬取的中国土地交易网的网页（https: ...

地点名称，有没有试试用输入动作？预先把名字都整理出来，导入到这个线索中，让爬虫自动输入。

如果用点击进行选择，遇到树状结构就很麻烦了，很难让爬虫按着树状结构逐个点击

老师，我试过了，这个好像无法用输入动作。输入完点搜索，不能完成筛选。要不您帮我仔细看看吧。网址是https://www.landchina.com/defaul ... amp;ComName=default
谢谢老师！

dolphin_1983 发表于 2020-5-13 11:34
老师，我试过了，这个好像无法用输入动作。输入完点搜索，不能完成筛选。要不您帮我仔细看看吧。网址是http ...

我试了几种方法，我认为输入地区这个查询条件没法用，因为点击以后显示了一个新窗口，在新窗口中选择城市。新窗口中的选择没法实现。

我建议输入时间，起止时间段短一些，搜出来的内容不要超过200页，因为只能显示200页。通过连续输入编排好的时间段，把全国的都采集下来，最后在导出结果中把不同地区的筛选出来。

输入时间段需要用到旗舰版的“组合词”功能