目录
- 快捷采集
- 初级教程(新版)
- 初级教程(老版)
- 数据转Excel处理
- 爬虫规则管理
- 高级教程(新版)
- 高级教程(老版)
- 用爬虫群分布式高效采集
- 爬虫关键知识拓展
- 问题集锦
- 实战演练案例
- 爬虫安装说明
- 关于集搜客
集搜客交流群
2000人群:点击加入
没有网址怎样采集二级数据?
没有网址怎样采集二级数据?
抓到不完整的网址能做下级地址吗
抓取到网页,里面的超链接无法打开呢,比如 [align=center][attach]252[/attach] [/align]这种地址,爬取下来的链接地址在网页中打不开,有什么办法么?我想在下级线索中,用这个地址爬取下级地址的列表 答:不能直接打开是因为不是完整地址,但是如果作为下级线索,可以直接用,爬虫生成下级线索的时候会把网址补齐
没有下一级的网址?
[attach]8465[/attach]
没有真实网址,可以做二级线索吗?如图
一级线索遇到些问题,他网站的网站不是真实网址,只有后边的一部分网址,这个网址是相对路径吧,还可以做二级线索吗?
href不是完整的网址
里的那个参配按钮 进新的页面以后然后再收集 然后我现在就找参配的href 然而找到的href是图2里那种不全的网址只是在之前的网址上加了一个后缀的.shtml的东西 我该怎么办啊 我刚学没多久 求大神帮忙
采到的网址是不完整的,可以做下级规则的线索(待抓网址)吗
[/url] > 采到的网址是不完整的,可以做下级规则的线索(待抓网址)吗[/size][/color][b][color爬取下来的链接地址在网页中打不开,有什么办法么?想在下级线索中,用这个地址爬取下级网页数据 [align=center][attach]303[/attach] [/align] [b]解答:[/b]不能直接打开是因为网站自身显示的就是相对网址,并不是完整地址,但是如果作为下级线索,是可以直接用,爬虫生成下级线索的时候会把网址补齐
像这种标题没有完整 用...表示的 能爬到完整的标题吗?
像这种标题没有完整 用...表示的 能爬到完整的标题吗?[attach]11430[/attach]
免费版,二级线索是否有上限?
一级爬取了超过400个网页,确认生成了400个xml文件,且每个文件有10个链接,共4000个线索给二级 二级任务,到了请问这个是免费版的问题嘛?付费是不是就能够解决?
二级网址要修改怎么办?
[b]问[/b]:做了两个抓取规则,形成两级抓取关系,第一级抓取到的网址生成第二级线索,但是,第一级抓到的网址不太适合,需要稍微修改一下[b]答[/b]: 如果第一级抓取下来的网址需要做一些修改才生成第二级线索,比如,修改一下url参数,免费版不支持这个功能,[url=http://www.gooseeker.com/about/enterprise.html]只有购买企业版[使用免费版的话,可以先把抓取结果处理了以后,再用DS打数机的右键弹出菜单“管理线索”->“添加”,手工成批导入调整好的网址
映射出来的二级网址是javascript:void
链接出来的二级网址是这样的[attach]2431[/attach] 截取的 [attach]2432[/attach]里面的 [attach]2433[/attach]这种二级链接是不是不一样,设置下级线索的话?
新版第一步输入网址没反应
新版本点击加号然后把想爬取的网址复制过来,加载不出来,没有任何反应是怎么回事呀
怎么翻页抓取第二级网址啊?
教程里面好像也没看到有做的,所以问问。。
抓取第二页时网页还没有加载完就停止抓取了
抓取第二页时网页还没有加载完就停止抓取了,有xml文件输出,但第二页抓到的内容是空的(第一页有内容)。因为页数比较多,所以希望有一个不用减慢滚屏也能全部抓取的方法。
网站的二级页面和一级页面时同一个网址,如何获取二级页面
happy1314gao 于 2019-4-8 10:06 编辑 [/i] [b][size=7]链接为[/size][/b] [b]获取二级链接的时候无法获取][attach]10767[/attach] [attach]10768[/attach] 这样的如何获取二级页面
二级页面没有进行内容采集
我这边遇到的问题是:自己创建任务进行爬取的时候,一级页面可以跳转到二级页面,但是在二级页面中没有进行相关数据的采集。我创建的任务名称: 一级任务:脉脉评论 二级任务:脉脉评论详细 ps:还想请问一下这是不是要开启飞掠模式呢,新版本数据管家中旗舰会员的飞掠模式要怎么点开呀,谢谢!