Home › Forums › Web信息提取

网易新闻评论隐藏重复盖楼问题？

Tue, 06/14/2011 - 17:51 — jinggzhao

Fuller,你好：
最近在抓网易的新闻评论，遇到一些问题，我定义的主题名是网易-third-6-zj2，目标页面网址是http://comment.news.163.com/news3_bbs/742DCOIM00014AED.html。
问题是，对于那些重复评论，网易都把它给隐藏起来了，DataScraper在抓取时只能抓到“已经隐藏重复盖楼 [点击展开]”这几个字样，但[点击展开]后的评论抓不到，也就是，如果不手动点击，浏览器看不到那些重复评论。而且，在定义信息规则时，点击展开这个动作前后，其DOM树是不一样的。希望能尽快得到Fuller的解答！非常感谢！

‹ 人人网首页的“更多新鲜事”怎么获得啊？ 没有text节点如何做记号映射进行翻页？ ›
Tue, 06/14/2011 - 23:54 — Fuller

这个问题不好解决

如果网页上只有一个“点击展开”，则可以仿照 http://www.gooseeker.com/cn/node/document/metaseeker/cookbookv4/simulate... 模拟点击，但是，如果网页上有很多“点击展开”，当前版本就无能为力了，需要定制开发才行。

Wed, 06/15/2011 - 09:11 — jinggzhao

Thank you！

非常感谢Fuller！