冻结页面
指保持网页结构不变。有些网站在加载网页内容之后,还会与服务器实时通信,获得新数据,这样不仅会改变网页内容,还会改变网页结构。为了保持页面内容、结构不变,需要勾选冻结页面,在定义抓取规则期间,网页结构必须保持不变。 一些动态内容网站在页面完全加载之后,还会持续运行Javascript程序,可能会持续不断地改变网页内容,比如,新浪微博上显示的微博消息发布时间就会不断变化。在这种情形下用MS谋数台定义网页抓取规则,会有以下问题:
为避免上述问题,或者在遇到上述问题后,可采用冻结页面措施,即以下步骤:
由于Javascript已经被禁止了,网页结构不再改变,定义抓取规则操作就不会造成崩溃。 MS谋数台从V5版本开始,提供了快捷键冻结页面功能,应用场景是这样的:鼠标悬停在网页某个位置,会用浮窗的方式显示弹出内容,鼠标移走 了,这块内容就消失了,如果想为这样的内容定义抓取规则,显然是不能移走鼠标的,也就是说,此时鼠标不能用来点击菜单,那么就需要使用快捷键 alt + F,就能打开“文件”菜单,然后按H键或者向下箭头键,选择“冻结页面”菜单,一旦冻结了页面,鼠标就可以移走了,就能用鼠标完成普通的抓取规则定义操 作。 网络爬虫DS打数机 运行过程是否会受Javascript影响?答案是不会影响,因为网络爬虫是对网页内容做快照,瞬间快照,没有时间跨度,就感觉不到网页结构变化。 |
oubinke: 那是不是有一种并行操作的意思呢?那同时抓取同一个主题的话,所得到的结果会不会重复呢
bowieD: 每一个规则都可以用一个集搜窗口来运行采集,“与原来的管理窗口同时抓取网页数据”的意思是 是集搜窗口与管理窗口同时抓取同一个主题的网页数据。 ...
oubinke: “点击主题的“集搜”按钮后,弹出“抓取网页”会话窗口,设置抓取线索数量并确定后,将会自动弹出新的简化版DS打数机窗口(集搜窗口),与原来的管理窗口同时抓 ...
a12345617: 什么工具,一点都不会。完全不知道要干什么
waq0902: 单搜和集搜的设置线索数是什么意思?什么情况下线索不是1?