今日热榜下方的历史数据怎么批量采集

网址：

https://tophub.today/n/mproPpoq6O

网页下方有历史数据



请问怎么做动作让其自动选择日期采集下方当天的数据，谢谢！

全部用点击动作：
1，点击展开年
2，选择年
3，点击展开月
4，选择月
5，点击横向时间线，选择日

点击动作的教程是：https://www.gooseeker.com/doc/article-546-1.html

请问想自动，可以用这个吗
https://www.gooseeker.com/doc/article-424-1.html
怎样安排比较合理

kodiaxu 发表于 2021-6-25 18:43
请问想自动，可以用这个吗
https://www.gooseeker.com/doc/article-424-1.html
怎样安排比较合理

这个网页就定义一级规则就行了，动作后的规则名不变。

动作顺序像我列出来的那些步骤。最后一个动作勾上“必做”中间步骤都不用勾必做

请问您这样能自动做动作选择各个年份，各个月份吗 谢谢

请教点击日期，的xpath是什么，帮忙看看好吗，谢谢

kodiaxu 发表于 2021-6-26 22:31
请问您这样能自动做动作选择各个年份，各个月份吗 谢谢

可以。主要技巧如下：

如果在定义规则状态下要点击展开一个菜单，那么首先要点右上角的“内容定位”按钮，关闭这个功能，按钮变成灰色的，就可以点开菜单了。如下图


再次点击“内容点位”，启用这个功能，点击菜单第一项 2021年。看到DOM上定位到一个A节点，点击生成xpath按钮，可以先试试“偏好class”，看到生成了一个xpath，点击右边的搜索按钮，看看能搜到几个菜单项。我们期望能搜到所有3个年份的菜单，不多不少。但是，测试以后发现搜到了两个，一个是年份，一个是月份。说明自动生成的xpath不合适。要手工修改


观察发现，年份的菜单放在红框那个div下面，这个div有特殊的class，那么xpath要用上这个定位标志，修改成这样：//div[contains(@class, 'year_group')]//*[@class='dropdown-menu']/li/a 。再点击搜索按钮，刚好能搜到3个菜单项。把这个xpath填写到点击动作的“交互位置”输入框，爬虫就会自动构成一个循环，每次循环点击一个菜单。月份和日期也是这样做的。


点击菜单是最麻烦的动作，一开始应该先针对简单的网页练习熟了再做难的。也可以委托我们定义规则，收费的，一个规则300元

这个教程虽然是老版本爬虫软件的界面，但是值得读一下，讲了基本概念和怎样自动构成多层循环：https://www.gooseeker.com/doc/article-370-1.html

十分感谢！！！！请大神收下我的膝盖！我先试试！