目录
- 快捷采集
- 初级教程(新版)
- 初级教程(老版)
- 数据转Excel处理
- 爬虫规则管理
- 高级教程(新版)
- 高级教程(老版)
- 用爬虫群分布式高效采集
- 爬虫关键知识拓展
- 问题集锦
- 实战演练案例
- 爬虫安装说明
- 关于集搜客
集搜客交流群
2000人群:点击加入
高德地图连续点击问题
在高德地图上做连续点击,抓取店铺的信息,但是第一页的店铺信息基本上都是相同的,主题名是:测试陈仓区建材连续点击2
高德地图上怎么抓取数据?
[url]http://ditu.amap.com/[/url] 怎么抓取高德地图或者百度地图的数据?
如何利用百度或高德地图批量查找距离?
如题,有没有一个办法可以在地图上爬两点的距离?比如一个仓库到几百个门店的距离?
高德地图为啥翻不了页抓呢,,试了好多次
如图 请教大神给个解决方案
像高德地图谷歌地图的实时车流量能不能获得准确的数据?
[b][size=3]像高德地图谷歌地图的实时车流量能不能获得准确的数据?实时路况等等的信息可以抓取下来吗?
Python 程序如何高效地调试?
[i=s] 本帖最后由 shenzhenwan10 于 2016-11-1 11:53 编辑 [/i] [b]BUG有2种:[/b] [b]第一种,直接造成了错误,程序抛了个异常[/b]。 这种情况可以使用IPython, 抛出异常时自动把你带到 IPython Shell [b]第二种:隐藏BUG,也就是并没有报错,但是输出不符合预期[/b] 一般使用如下三个方法: [list=1] [*] 抛异常。直接让你想要调试的位置让它先跑个异常,比如Flask的DEBUG的模式下,werkzeug里面的DebuggedApplication就会把Web页面渲染成一个可调试和可执行的环境,直接进行调试。 [*] 在对应位置使用print和logging。这是最基础的玩法。 [*]自己维护一些用于调试的库。我会把工作中常用到的、有用的一些函数、方法搜集起来,放在一个库里。其中有个获取调用栈的函数类似这样: [/list][code]import sys def get_cur_info(): print sys._getframe().f_code.co_filename # 当前文件名 print sys._getframe(0).f_code.co_name # 当前函数名 print sys._getframe(1).f_code.co_name # 调用该函数的函数的名字,如果没有被调用,则返回module print sys._getframe().f_lineno # 当前行号[/code][backcolor=rgb(247, 247, 247)] 可以通过看当前上下文的调用栈的输出来帮助你揪出那个隐藏的「虫」[/backcolor]
搜集企业高管出生地的信息
我需要搜集企业高管出生地的信息 数据量比较大 可以实现吗
爬取图片地址
求问各位大神想爬下来图片的地址,但是当我将src内容映射到详情页面的时候,测试的时候所有图片的地址都是[img]http:img.hznzcn.com/images/white.png[/img]只有当我去网站上点击每一个DIV的时候才能出现图片原本的存储地址还有data-original这个属性是什么意思,包含的内容与src一样,能不能通过内容映射到这个属性上得到图片网址?
采集数字敦煌高清图片
www.e-dunhuang.com/cave/10.0001/0001.0001.0107 要先点击东壁 然后马上浏览 会有高清图我想下载这些高清图 但是没找到图片的网址 [attach]1860[/attach]
【中国城市拥堵榜-高德交通分析报告】#集搜客GooSeeker数据集开放目录#
city=110000]中国城市拥堵榜-高德交通分析报告[/url]】#集搜客GooSeeker数据集开放目录#[/size] [*][size=3]分类:交通运输 [/size] [*][size=3]关键词:高德地图,拥堵指数,拥堵延时指数是以高德海量用户和行业专业浮动车数据相结合的交通数据分享平台。含年度报告、季度报告、节假日报告、互联网+交通,数据报告可供下载 [/align] [quote]报告是基于高德积累的海量交通出行数据此报告客观地从多维度反映城市的交通拥堵状况,力争做到精准、精细、精确,为公众交通出行、机构研究、政府决策提供有价值的理论参考依据
抓取图片地址问题
图片地址是其他站点的,抓取不到,怎么解决?急急急!!!!
百度地图 两地距离 自动跳出我的位置
想抓取百度地图 两个城市之间的距离。用了一些系列的规则: 1 百度地图选驾车(内含连续动作,选路线,点驾车,删除自动跳出的我的位置) 2 [color=rgbE5%9B%BE%E8%BE%93%E5%85%A5%E5%9C%B0%E7%82%B9&pageNum=1&p=1]百度地图输入地点E5%9B%BE%E4%B8%A4%E5%9C%B0%E8%B7%9D%E7%A6%BB&pageNum=1&p=1]百度地图两地距离PS 百度地图所有网页 网址不变,一直是map.baidu.com。所以我在连续动作的时候用了飞掠模式。
怎么做到通过小图的地址获取大图?
backcolor=rgb(255, 237, 196)][size=13.3333px]我做这个的规则,样例复制好像只能抓取小图,大图的连接抓不到, 但是大图的连接是小图里面60*60去掉后的链接地址,要怎么把小图的链接变成大图的链接[/size][
在地图上怎么抓取信息
想在高德地图上抓取一个行业所有店铺的店铺名称,店铺地址,电话以及链接,有哪位大师可以指教已下怎么操作吗?
新人请高手帮忙看下这个网站的图
product/1-1455566381 这个网址上折线图的数据如何能抓到XML或者Excel里呢?