本帖最后由 minde新生活_2019 于 2019-8-2 23:57 编辑

任务名:微博高级搜索26期--动作1
任务名:微博高级搜索26期--抓取2
问题:DS打数机执行动作1报错?(已设置延时)
是否xpath有错?
步骤4连续动作应该是点击还是提交?


举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2019-8-4 17:31

Fuller 管理员 发表于 2019-8-3 10:00:04 | 显示全部楼层
用连续动作的话,爬虫速度很慢,而且容易出错。这个网站不用做连续动作。你先手工选择好,点击提交,就能看到这样的网址

https://s.weibo.com/weibo?q=%E8% ... aspic=1&Refer=g

这里面含有关键词参数,还有类型参数,还有包含图片参数,这些参数都有了。所以,你就用这个网址做第二级规则就行了。不需要第一级
举报 使用道具
minde新生活_2019 中级会员 发表于 2019-8-3 20:26:03 | 显示全部楼层
谢谢答复。可能也正是如此,取消了第26期的视频教程《连续动作设置微博高级搜索》。

我只是在学习连续动作的设置。目前遇到的问题是无法启动二级规则?是否现在的新浪微博的高级搜索是个“飞掠模式”?我暂没有购买旗舰版,所以二级动作无法执行? 不是说我的xpath设置有误?

集搜客的“飞掠模式”是专门针对那些没有独立网址的弹窗网页,就是指点击之后会弹出一个新页签但网址却不变。
举报 使用道具
Fuller 管理员 发表于 2019-8-4 16:55:14 | 显示全部楼层
minde新生活_2019 发表于 2019-8-3 20:26
谢谢答复。可能也正是如此,取消了第26期的视频教程《连续动作设置微博高级搜索》。

我只是在学习连续动作 ...

我测试了一下,在第一级,第一个动作,你用的xpath是
  1. //*[@class='action']/a/text()
复制代码
应该是
  1. //*[@class='action']/a
复制代码
要点击到A节点上才有效。

运行DS打数机的时候,应该关掉自动滚屏,不然的话弹出的选择条件窗口看不到。关闭自动滚屏的方法是:DS打数机菜单 配置-》滚屏参数,把滚屏次数设置成0
举报 使用道具
minde新生活_2019 中级会员 发表于 2019-8-4 17:31:07 | 显示全部楼层
在您的指点下:修正了xpath,并关闭滚屏参数,现在一切正常。谢谢!

这个事例也说明了:以后还是要以微博采集工具为主。

我们这些非程序员出生的研究人士,可以节约数据采集的时间与精力,以便开展下一阶段的数据分析与挖掘。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 09:22