网络爬虫软件使用交流,网页数据采集技术讨论

新窗 | 最新 | 热门 | 精华

新窗更多 \| 显示置顶	作者	回复/查看	最后发表

	18881 采集创世中文学网，出现两次点击到采集页面，如何写规则 5 langjunlan 于 2018-9-12 发表最后回复 2018-9-12 20:07
	9763 采集今日头条怎样用xpath定位原创标志 1 xiaoxiao_123 于 2018-9-12 发表最后回复 2018-9-12 18:00
	12508 如何采集有JS内容的网页 2 zhongqucaiji 于 2018-8-27 发表最后回复 2018-9-12 09:40
	10180 采集红袖文学网，连续动作有问题 1 MYK-鸿鹄于 2018-9-11 发表最后回复 2018-9-11 15:45
	15512 已经保存到本地的html文件可以采集吗？ 5 氧分子网于 2016-10-20 发表最后回复 2018-9-11 08:52
	21677 求助：如何解决抱歉！页面无法访问. 3 houyulin1993 于 2018-9-9 发表最后回复 2018-9-10 10:00
	16460 采集网络作家的微博 7 zhouer 于 2018-9-9 发表最后回复 2018-9-9 10:43
	9861 采集当当网新书榜单 1 MYK-鸿鹄于 2018-9-9 发表最后回复 2018-9-9 09:49
	17035 请问一下如何解决爬取数据页面不一致的问题呢？爬取好大夫在线的医生数据，但是医生有的有开通个人网站有的没有开通，而我又希望能进入个人网站爬取数据，因此把医生的个人网站设... 7 瑛姑于 2018-9-7 发表最后回复 2018-9-8 16:03
	10538 有可以解决网页结构不一致的方法吗？想要爬取好大夫在线网站的医生信息，但是医生个人网站链接里面由于开通的功能不一样，网页的结构有所差异导致爬出的数据有的是空白的请问有... 1 瑛姑于 2018-9-8 发表最后回复 2018-9-8 16:02
	17092 同一结构的网页中，有一个小地方的形式不同，如何解决？ 5 xiaohongseeker1 于 2018-2-14 发表最后回复 2018-9-8 16:01
	8829 为什么今天爬数据老是失败呢，开始还可以爬20多页，越试越少了，现在爬3也就失败了 2 boyi88 于 2018-9-8 发表最后回复 2018-9-8 15:14
	21906 怎样修改useragent 5 shenzhenwan10 于 2016-5-25 发表最后回复 2018-9-7 16:17
	9918 关于网页图片数量采集问题请教 1 gooseeker_influen 于 2018-9-7 发表最后回复 2018-9-7 11:52
	17124 规则测试成功，但是正式抓取时抓取的数据项是空的，请教各位什么原因呢 4 gooseeker_influen 于 2018-9-7 发表最后回复 2018-9-7 11:49
	20096 同一网址如何实现翻页采集 6 ellachen 于 2018-9-6 发表最后回复 2018-9-7 09:35
	11270 如果我要采集非固定格式的内容怎么操作？ 5 13675159803 于 2018-4-28 发表最后回复 2018-9-5 17:11
	11584 请教关于xpath规避采集元素不定出现的情况 1 haowowvoe 于 2018-9-5 发表最后回复 2018-9-5 16:30
	10874 抓取京东商品信息，连续动作的输入动作好像不起作用 1 friday5 于 2018-9-5 发表最后回复 2018-9-5 10:56
	14946 映射给记号的节点没有包容在映射给线索的节点内部？ 5 diane5 于 2018-8-29 发表最后回复 2018-9-3 08:52