抓取推特推主主页信息

yanhanruoyu961121 发表于 2020-3-14 03:21
我将那个规则加载出来时遇到的问题，您看看能帮到我吗？

加载抓取规则遇到的错误：

你是下载的这个现成的规则？

Fuller 发表于 2020-3-14 08:24
你是下载的这个现成的规则？

对

Fuller 发表于 2020-3-14 08:24
你是下载的这个现成的规则？

twitter_shouye253778    您能帮看看失败原因在哪吗？。。

yanhanruoyu961121 发表于 2020-3-14 14:15
twitter_shouye253778    您能帮看看失败原因在哪吗？。。

我把规则修改了一下，您在重新下载一次，就可以用上我新修改的规则。

这次我把规则改动比较大，加了连续动作，是“滚屏”类型的动作，因为推特是瀑布流的网页，往下滚的时候就会有新内容显示出来。所以需要滚屏动作。这样就要注意，不能打开DS打数机的滚屏。DS打数机菜单 配置-》滚屏参数，把滚屏次数设置成0，否则会互相干扰。
滚屏动作里面，滚动次数是500，如果你觉得不够，可以加载规则以后修改这个数字

Fuller 发表于 2020-3-14 15:56
我把规则修改了一下，您在重新下载一次，就可以用上我新修改的规则。

这次我把规则改动比较大，加了连续 ...

您好，我加载好您更新后的规则了，在样板网站上也成功爬取了数据。  我自己个人研究了半天如何爬推特，由于对于编程零基础，所以只能根据教程探索，在制定这个规则上想问您几个问题。。
1. 我观察您的规则，您似乎没有做样例复制映射，是为什么呢？
2、有定位编号的是您有做精确的内容映射吗？然后定位标志映射就是做一个大致是吗？
3.如果不适用谋数台的连续动作而使用ds打数机的滚屏也可以吗？还是说基于您的爬虫规则，一定要用谋数台？（因为滚的有些慢。。。是因为额外延时的关系吗？）
4.因为从主页上往前爬取的数目有限，加载到一定数目就不加载了，我想用这条规则去抓推特以时间为变量搜索的页面，能够识别但爬的不全，请问我要如何去修改这条规则呢？（https://twitter.com/search?f=live&q=(from%3ART_com)%20until%3A2020-03-01%20since%3A2019-09-01&src=typed_query） 比如这个网页。。。我开始爬的话它是从29号开始的，不知道为什么。。

最后非常感谢您更新规则！！！

yanhanruoyu961121 发表于 2020-3-14 17:19
您好，我加载好您更新后的规则了，在样板网站上也成功爬取了数据。  我自己个人研究了半天如何爬推特，由 ...

1，可以用定位标志映射代替样例复制，参看教程：《定位标志采集列表数据》。
给推特定义规则时，我发现网页上有好多一样的class属性值，如果不限定一下整理箱的最顶层容器节点的定位，就很容易抓取到不想要的内容。所以，我经过几次测试以后，发现用样例复制没法做定位限制，所有就采用了定位标志映射代替样例复制映射。

2，定位标志映射是为了限定网页位置，需要在内容映射基础上做定位标志映射，能更精准地采集数据。 以前版本是允许只做定位标志映射的，现在不提倡这样用了，而是要在内容映射基础上在做定位标志映射。定位标志相当于在网页上划定一个范围，而不是整个网页的范围，这样做可以精准定位

3，我本来是用DS打数机的自动滚屏，发现twitter这个网站比较特殊，滚屏到下面的时候，上面的内容就没有了，所以，用DS打数机的自动滚屏功能，等滚屏完成后再去采集，只会采集到最新显示出来的内容。所以，不能用DS打数机的自动滚屏。而是用连续动作的滚屏，连续动作每做一次都要采集一次，所以，就不怕twitter把老内容清除了。

4，twitter我用的不多，我感觉跟微博一样，用advanced search功能设置好时间，就能得到一个网址，把这个网址添加到规则中就行。设置时间段的时候，不要跨度太大，尤其是一些热门的关键词，不能跨度大了。

关键词搜索结果用这个规则不一定合适，这个规则是采集某个推主发表的tweet的

Fuller 发表于 2020-3-14 18:06
1，可以用定位标志映射代替样例复制，参看教程：《定位标志采集列表数据》。
给推特定义规则时，我发现网 ...

真的非常非常感谢您的耐心回答，我真的学到好多好多。。
由于我需要爬以时间搜索为结果的页面，我依照您的设计规则逻辑设计了一个新的规则，在爬的时候日志没有一项一项成功的显示，而且爬出来后以几个数据为一组，会出现重复的情况，然后新的数据也会几个为一组，出现重复的情况。
我设计的规则叫做 推特抓取111111
下面是图片展示
您能简单帮我看看问题出在哪里吗？ 是我的内容映射和定位标志映射不够准确吗？。。。

Fuller 发表于 2020-3-14 18:06
1，可以用定位标志映射代替样例复制，参看教程：《定位标志采集列表数据》。
给推特定义规则时，我发现网 ...

我回看了一下我下午用您的规则爬的样板网站的数据，数据也是重复的现象，不知道是不是因为我之前调过打数机的配置。。但是我爬的时候都是把打数机的滚屏调为0的。。。。
我刚刚又试了一次，也是重复的。。。
您能帮我看看原规则有什么问题吗？还是我调了打数机的设置？我重装软件会不会好？o(╥﹏╥)o

Fuller 发表于 2020-3-14 18:06
1，可以用定位标志映射代替样例复制，参看教程：《定位标志采集列表数据》。
给推特定义规则时，我发现网 ...

我直接重新下载原规则加载完直接爬出来的也是重复的

yanhanruoyu961121 发表于 2020-3-14 18:36
真的非常非常感谢您的耐心回答，我真的学到好多好多。。
由于我需要爬以时间搜索为结果的页面，我依照您 ...

这个规则看起来没有什么问题。用连续滚屏的话，会有很多重复数据，要做重复过滤。产生重复的原因有多种：
1，网页内容变化导致的，比如，很热的关键词，正滚屏到下一页，由于出现新的消息，分页就会改变，会造成重复
2，滚屏次数可能不合适，现在是每次滚一屏，也许滚一屏并不能激发加载新的内容，因为，网页可能一开始预先加载了3屏。所以，可以改成3试试，改的大了也许会漏数据