GooSeeker API 例子——用Java下载内容提取器

1，引言

本文讲解怎样用Java使用 GooSeeker API 接口下载内容提取器，这是一个示例程序。什么是内容提取器？为什么用这种方式？源自GooSeeker的Python开源项目：通过生成内容提取器，大幅节省程序员时间。具体请参看《内容提取器的定义》。

这是一系列实例程序中的一个，就目前编程语言发展来看，Java实现网页内容提取并不合适，除了语言不够灵活便捷以外，整个生态不够活跃，可选的类库增长缓慢。另外，要从JavaScript动态网页中提取内容，Java也很不方便，需要一个JavaScript引擎。其它更合适的编程语言示例是：

• 《GooSeeker API例子——用JavaScript下载内容提取器》
  

2，具体实现

注解：

• 使用java类库 jsoup（1.8.3以上版本），可以很便利、快速的获取网页dom。
• 通过GooSeeker API 获取xslt（参考 1分钟快速生成用于网页内容提取的xslt）
• 使用java自带的类TransformerFactory执行网页内容转换
  

源代码如下：

1.     public static void main(String[] args)
   
2.     {
   
3.         InputStream xslt = null;
   
4.         try
   
5.         {
   
6.             String grabUrl = "http://m.58.com/cs/qiuzu/22613961050143x.shtml"; // 抓取网址
   
7.             String resultPath = "F:/temp/xslt/result.xml"; // 抓取结果文件的存放路径
   
8.             // 通过GooSeeker API接口获得xslt
   
9.             xslt = getGsExtractor();
   
10.             // 抓取网页内容转换结果文件
    
11.             convertXml(grabUrl, xslt, resultPath);
    
12.         } catch (Exception e)
    
13.         {
    
14.             e.printStackTrace();
    
15.         } finally
    
16.         {
    
17.             try
    
18.             {
    
19.                 if (xslt != null)
    
20.                     xslt.close();
    
21.             } catch (IOException e)
    
22.             {
    
23.                 e.printStackTrace();
    
24.             }
    
25.         }
    
26.     }
    
27. 
    
28.     /**
    
29.      * @description dom转换
    
30.      */
    
31.     public static void convertXml(String grabUrl, InputStream xslt, String resultPath) throws Exception
    
32.     {
    
33.         // 这里的doc对象指的是jsoup里的Document对象
    
34.         org.jsoup.nodes.Document doc = Jsoup.parse(new URL(grabUrl).openStream(), "UTF-8", grabUrl);
    
35.         W3CDom w3cDom = new W3CDom();
    
36.         // 这里的w3cDoc对象指的是w3c里的Document对象
    
37.         org.w3c.dom.Document w3cDoc = w3cDom.fromJsoup(doc);
    
38.         Source srcSource = new DOMSource(w3cDoc);
    
39.         TransformerFactory tFactory = TransformerFactory.newInstance();
    
40.         Transformer transformer = tFactory.newTransformer(new StreamSource(xslt));
    
41.         transformer.transform(srcSource, new StreamResult(new FileOutputStream(resultPath)));
    
42.     }
    
43. 
    
44.     /**
    
45.      * @description 获取API返回结果
    
46.      */
    
47.     public static InputStream getGsExtractor()
    
48.     {
    
49.         // api接口
    
50.         String apiUrl = "http://www.gooseeker.com/api/getextractor";
    
51.         // 请求参数
    
52.         Map<String,Object> params = new HashMap<String, Object>();
    
53.         params.put("key", "xxx");  // Gooseeker会员中心申请的API KEY
    
54.         params.put("theme", "xxx");  // 提取器名，就是用MS谋数台定义的规则名
    
55.         params.put("middle", "xxx");  // 规则编号，如果相同规则名下定义了多个规则，需填写
    
56.         params.put("bname", "xxx"); // 整理箱名，如果规则含有多个整理箱，需填写
    
57.         String httpArg = urlparam(params);
    
58.         apiUrl = apiUrl + "?" + httpArg;
    
59.         InputStream is = null;
    
60.         try
    
61.         {
    
62.             URL url = new URL(apiUrl);
    
63.             HttpURLConnection urlCon = (HttpURLConnection) url.openConnection();
    
64.             urlCon.setRequestMethod("GET");
    
65.             is = urlCon.getInputStream();
    
66.         } catch (ProtocolException e)
    
67.         {
    
68.             e.printStackTrace();
    
69.         } catch (IOException e)
    
70.         {
    
71.             e.printStackTrace();
    
72.         }
    
73.         return is;
    
74.     }
    
75. 
    
76.     /**
    
77.      * @description 请求参数
    
78.      */
    
79.     public static String urlparam(Map<String, Object> data)
    
80.     {
    
81.         StringBuilder sb = new StringBuilder();
    
82.         for (Map.Entry<String, Object> entry : data.entrySet())
    
83.         {
    
84.             try
    
85.             {
    
86.                 sb.append(entry.getKey()).append("=").append(URLEncoder.encode(entry.getValue() + "", "UTF-8")).append("&");
    
87.             } catch (UnsupportedEncodingException e)
    
88.             {
    
89.                 e.printStackTrace();
    
90.             }
    
91.         }
    
92.         return sb.toString();
    
93.     }
    

复制代码

返回结果如下：

3，展望
同样可以用python来获取指定网页内容，感觉python的语法更加简洁，后续增加python语言的示例，有兴趣的小伙伴可以加入一起研究。

4，相关文档
1， GooSeeker API说明(1)--下载内容提取器
2， GooSeeker API例子——用JavaScript下载内容提取器

5，集搜客GooSeeker开源代码下载源
1， GooSeeker开源Python网络爬虫GitHub源

6，文档修改历史
1，2016-06-07：V1.0
2，2016-06-10：V2.0，将JavaScript代码分出去另起一篇