快捷导航
1,引言

Python即时网络爬虫项目: 内容提取器的定义》一文我们定义了一个通用的python网络爬虫类,期望通过这个项目节省程序员一半以上的时间。本文将用一个实例讲解怎样使用这个爬虫类。我们将爬集搜客老版论坛,是一个用Drupal做的论坛。

2,技术要点


我们在多个文章都在说:节省程序员的时间。关键是省去编写提取规则的时间,尤其是调试规则的正确性很花时间。在《1分钟快速生成用于网页内容提取的xslt
》演示了怎样快速生成提取规则,接下来我们再通过GooSeeker的api接口实时获得提取规则,对网页进行抓取。本示例主要有如下两个技术要点:
  • 通过GooSeeker API实时获取用于页面提取的xslt
  • 使用GooSeeker提取器GsExtractor从网页上一次提取多个字段内容。

3,python源代码

  1. # _*_coding:utf8_*_
  2. # crawler_gooseeker_bbs.py
  3. # 版本: V1.0

  4. from urllib import request
  5. from lxml import etree
  6. from gooseeker import GsExtractor

  7. # 访问并读取网页内容
  8. url = "http://www.gooseeker.com/cn/forum/7"
  9. conn = request.urlopen(url)
  10. doc = etree.HTML(conn.read())

  11. bbsExtra = GsExtractor()   
  12. bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "gooseeker_bbs_xslt")   # 设置xslt抓取规则,第一个参数是app key,请到会员中心申请
  13. result = bbsExtra.extract(doc)   # 调用extract方法提取所需内容

  14. print(str(result))

复制代码
源代码下载位置请看文章末尾的GitHub源。

4,抓取结果


运行上节的代码,即可在控制台打印出提取结果,是一个xml文件,如果加上换行缩进,内容如下图:

gooseeker_bbs_result.png




5,相关文档

1, Python即时网络爬虫项目: 内容提取器的定义

6,集搜客GooSeeker开源代码下载源
1, GooSeeker开源Python网络爬虫GitHub源

7,文档修改历史
1,
2016-05-27:V1.0
2,2016-05-28:V2.0
3,2016-05-29:V2.1,增加GitHub下载源
4,2016-09-22:V2.2,更新了api key,原来的过期了。








举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2018-5-13 11:12

zhuohui1987 金牌会员 发表于 2018-5-13 10:34:44 | 显示全部楼层
from gooseeker import GsExtractor  没有这包
举报 使用道具
chenxj102 新手上路 发表于 2018-5-13 11:12:15 | 显示全部楼层
文章开头有写可插拔提取器的定义:https://www.gooseeker.com/doc/thread-1800-1-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-11-17 10:05