用户wangyong新发布了一个采集规则:
抓取优酷评论
详细信息:
抓取优酷视频下的评论信息,包括用户名称、评论内容、评论时间和来自网站。采集这些信息可了解网民态度。

希望大家喜欢!下载地址: http://www.gooseeker.com/res/detail_89136.html
举报 使用道具
| 回复

共 15 个关于本帖的回复 最后回复于 2016-11-25 14:18

沙发
tthaizhiguang 新手上路 发表于 2015-8-14 09:26:07 | 只看该作者
如果一个内容很多页,我只能把一页的内容抓下来,多页码的怎么抓下来啊?
举报 使用道具
板凳
For数据 高级会员 发表于 2015-8-14 10:03:21 | 只看该作者
@tthaizhiguang  问题已经在社区页提问中回答,详见社区页面http://www.gooseeker.com/doc/thread-216-1-1.html
举报 使用道具
地板
tthaizhiguang 新手上路 发表于 2015-8-14 23:33:01 | 只看该作者
这个是抓取一个视频的多页评论是吧。。?
举报 使用道具
5#
tthaizhiguang 新手上路 发表于 2015-8-15 22:39:39 | 只看该作者
我点击了下载,在这个系统 ->我的下载  ,里面能找到这个资源,如果我想再次运行该怎么办?
举报 使用道具
6#
gooseeker_info 金牌会员 发表于 2015-8-15 23:47:33 | 只看该作者
tthaizhiguang 发表于 2015-8-15 22:39
我点击了下载,在这个系统 ->我的下载  ,里面能找到这个资源,如果我想再次运行该怎么办? ...

可以激活线索,在DS打数机的主题列表中,先搜到这个主题,选中他,点鼠标右键,在弹出菜单中选择 管理线索-〉激活所有线索

或者添加新线索,也是在右键菜单中有这个添加菜单。一行一条网址。但是要注意,新添加的网页结构要与这个抓取规则的一致,否则就会抓取失败
举报 使用道具
7#
tthaizhiguang 新手上路 发表于 2015-8-16 16:37:05 | 只看该作者
gooseeker_info 发表于 2015-8-15 23:47
可以激活线索,在DS打数机的主题列表中,先搜到这个主题,选中他,点鼠标右键,在弹出菜单中选择 管理线 ...

这个 从我的下载 里面看到的资源名称 和 在DS打数机 里面看到的主题名是不一样的是吧?

我用我的下载 里面的 “抓取资源评论” 在DS 打数机里面搜索,没找到呢。。
但是在我的打数机里面多了一个和youku*  相关的 主题 ,
举报 使用道具
8#
tthaizhiguang 新手上路 发表于 2015-8-16 16:38:04 | 只看该作者
本帖最后由 tthaizhiguang 于 2015-8-16 17:56 编辑

这个第一页的评论抓取很快,第 2 、3、4 。。。后面的几页怎么那么慢呢?我自己尝试着 做了一个规则 基本每页 评论下来 需要10分钟的时间,
这个规则最快的也得3分钟,还有办法提高效率吗? 一个小时才抓20页的评论啊。。

如果一个优酷视频有100页, 抓取优酷一个栏目下的视频要花费很长时间了
举报 使用道具
9#
wangyong 版主 发表于 2015-8-16 20:15:14 | 只看该作者
可以在DS打数机配置中勾选“定时器触发”,关于定时器触发功能的解释:
     定时器触发:一些动态网页会在加载之后,还会与服务器一直通信(即所谓的AJAX动态网页),导致爬虫以为网页没有加载完毕,一直等待而不执行抓取,一直等到超时,这样会严重拖慢抓取速度。勾选“定时器触发”后,在抓取这种动态网页时,爬虫会在一定时间后就执行抓取。在抓一些淘宝店铺的网页时通常需要勾选“定时器触发”。

Tips:勾选“定时器触发”后,有时也会在网页没有完全显示时,就执行抓取,这时就有可能漏抓内容。 那么,通常的使用原则是:先不设置此选项,如果发现确有必要才设置。
举报 使用道具
10#
yyw115 新手上路 发表于 2015-8-25 22:54:06 | 只看该作者
哇 多页也可以抓取啊!!!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 19:40