网络爬虫软件使用交流,网页数据采集技术讨论

新窗 | 最新 | 热门 | 精华

新窗更多 \| 显示置顶	作者	回复/查看	最后发表

	16075 请问一下如何解决爬取数据页面不一致的问题呢？爬取好大夫在线的医生数据，但是医生有的有开通个人网站有的没有开通，而我又希望能进入个人网站爬取数据，因此把医生的个人网站设... 7 瑛姑于 2018-9-7 发表最后回复 2018-9-8 16:03
	10079 有可以解决网页结构不一致的方法吗？想要爬取好大夫在线网站的医生信息，但是医生个人网站链接里面由于开通的功能不一样，网页的结构有所差异导致爬出的数据有的是空白的请问有... 1 瑛姑于 2018-9-8 发表最后回复 2018-9-8 16:02
	16352 同一结构的网页中，有一个小地方的形式不同，如何解决？ 5 xiaohongseeker1 于 2018-2-14 发表最后回复 2018-9-8 16:01
	8335 为什么今天爬数据老是失败呢，开始还可以爬20多页，越试越少了，现在爬3也就失败了 2 boyi88 于 2018-9-8 发表最后回复 2018-9-8 15:14
	20995 怎样修改useragent 5 shenzhenwan10 于 2016-5-25 发表最后回复 2018-9-7 16:17
	9455 关于网页图片数量采集问题请教 1 gooseeker_influen 于 2018-9-7 发表最后回复 2018-9-7 11:52
	16281 规则测试成功，但是正式抓取时抓取的数据项是空的，请教各位什么原因呢 4 gooseeker_influen 于 2018-9-7 发表最后回复 2018-9-7 11:49
	19065 同一网址如何实现翻页采集 6 ellachen 于 2018-9-6 发表最后回复 2018-9-7 09:35
	10798 如果我要采集非固定格式的内容怎么操作？ 5 13675159803 于 2018-4-28 发表最后回复 2018-9-5 17:11
	10939 请教关于xpath规避采集元素不定出现的情况 1 haowowvoe 于 2018-9-5 发表最后回复 2018-9-5 16:30
	10331 抓取京东商品信息，连续动作的输入动作好像不起作用 1 friday5 于 2018-9-5 发表最后回复 2018-9-5 10:56
	14063 映射给记号的节点没有包容在映射给线索的节点内部？ 5 diane5 于 2018-8-29 发表最后回复 2018-9-3 08:52
	27024 翻页区无法选定，没有对应dom 11 HydraL 于 2018-9-1 发表最后回复 2018-9-2 19:07
	13857 怎麼會重複重複抓取3次內容 5 huangh 于 2018-9-1 发表最后回复 2018-9-1 10:47
	18135 如何抓取页面中不规则的url地址？ 3 huang3878221 于 2018-5-4 发表最后回复 2018-8-31 22:15
	24895 问一下怎么把网页上的图片也采集下来呢？我看了网上的教程发现还是采集不下来，多图片网页 6 王秋菊的春天于 2018-4-20 发表最后回复 2018-8-31 16:56
	26953 必须点开加号，才能采集数据，设置的一级二级，单独测试都ok，一启动一级采集就不采不到数据 13 niniliya 于 2018-8-30 发表最后回复 2018-8-31 15:52
	18410 二层爬虫 8 971208zyx 于 2018-8-30 发表最后回复 2018-8-31 09:09
	9473 价格是星号显示，怎么爬取 1 YOUTHPLUS 于 2018-8-30 发表最后回复 2018-8-31 08:56
	14626 连续动作（模拟点击）一层可以全部点开，二层点开后采集不到数据 5 niniliya 于 2018-8-29 发表最后回复 2018-8-30 13:13