页面有很多张图片 怎么采集完了都只下载第一张图 是哪里有问题
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2018-1-10 16:40

沙发
HJLing 版主 发表于 2016-10-9 17:30:55 | 只看该作者
应该是没有做样例复制 你可以在谋数台点测试看看输入结果 有没有多个图片的网址 如果只有一个就是没有做样例复制 只采到一个图片的网址 所以也就只下载了一张图
举报 使用道具
板凳
ITSophia 新手上路 发表于 2017-2-24 14:50:44 | 只看该作者
HJLing 发表于 2016-10-9 17:30
应该是没有做样例复制 你可以在谋数台点测试看看输入结果 有没有多个图片的网址 如果只有一个就是没有做样 ...

可是样例复制只能做一次
举报 使用道具
地板
ym 版主 发表于 2017-2-24 15:04:06 | 只看该作者
本帖最后由 ym 于 2017-2-24 15:06 编辑

根据网页结构的情况,整理箱可以建立多层结构,支持做嵌套的样例复制
你只采到一张图,可能是样例映射没做好,可以把主题名发出来看看。
举报 使用道具
5#
789456123 初级会员 发表于 2018-1-9 15:28:20 | 只看该作者
http://www.mafengwo.cn/photo/poi/5436258.html
为什么这个每次都只能抓到前640张?明明加载全部了呀,但是抓取下来只有前640个呢?
举报 使用道具
6#
数据集二期 中级会员 发表于 2018-1-9 15:38:19 | 只看该作者
本帖最后由 数据集二期 于 2018-1-9 15:39 编辑
789456123 发表于 2018-1-9 15:28
http://www.mafengwo.cn/photo/poi/5436258.html
为什么这个每次都只能抓到前640张?明明加载全部了呀,但 ...

采集的时候需要滚屏,可能是因为滚屏加载慢导致中断,在打数机的配置中把滚屏速度调慢一点,同时把超时时长的参数调大一些。
也有可能一共只有640张图片


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
7#
789456123 初级会员 发表于 2018-1-10 15:21:05 | 只看该作者
数据集二期 发表于 2018-1-9 15:38
采集的时候需要滚屏,可能是因为滚屏加载慢导致中断,在打数机的配置中把滚屏速度调慢一点,同时把超时时 ...

蟹蟹,确定已经加载完了到底了,但是图片有1000多,每次都只能抓取前660张
举报 使用道具
8#
yangwenge 金牌会员 发表于 2018-1-10 16:40:19 | 只看该作者
789456123 发表于 2018-1-10 15:21
蟹蟹,确定已经加载完了到底了,但是图片有1000多,每次都只能抓取前660张
...

是图片下载了660张?还是EXCEL里面的链接只有660个?把规则名贴出来帮你看看
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-24 21:52