我在看一个pubscholar_cn页面,首页是https://pubscholar.cn/explore,经过下图的筛选:
然后想采集列表页。这个页面是瀑布流,没有翻页,普通滚屏试了不行。我是旗舰版用户,尝试了下滚轮滚屏,但是每次都只能往下滚一页,然后就因为"数据重复"而退出了。
我使用的滚屏区域xpath是://*[@class='Card AppSearchMain']
麻烦帮忙看看,怎样调整才能往下滚多屏?另外,每条记录的“下载链接”,如果手工点击可以下载文件,但是没有链接,爬虫是不是就下载不了
任务名:
pubscholar_list_pre
pubscholar_list
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
|
|
|
|
共 1 个关于本帖的回复 最后回复于 2024-7-5 11:54