推特现在采集不了了吗

可以采集，你输入的是什么网址，是推特搜索采集的链接吗？

wangyong 发表于 2022-8-18 09:16
可以采集，你输入的是什么网址，是推特搜索采集的链接吗？

您好，是无法采集的。想采集某账号发布的贴文内容，按照规则输入的是账号首页网站，但总是失败

然后我现在每次采集状态跟楼主一样

估计网站改版了，今天技术会进行升级

ida1015 发表于 2022-10-9 01:43
然后我现在每次采集状态跟楼主一样

技术测试是可以采集的。
你把采集失败的网址发出来我们测试下

gz51837844 发表于 2022-10-9 09:21
技术测试是可以采集的。
你把采集失败的网址发出来我们测试下

已私信回复，感谢！

ida1015 发表于 2022-10-9 21:53
已私信回复，感谢！

你发的几条网址这里测试是OK的。估计推特会根据不同的国家地区，用户等，分别展示不同结构的网页。

你可以按如下方法保存一个本地html文件发给我，我们看看能否针对你看到的页面结构增加一个采集规则来匹配：
1. 在数据管家上面打开一个采集失败的推特页面，等待几十秒等页面加载完成。注意，下图的微博页面只是作为示意
2. 在网页内容空白处鼠标右键点击，然后选择“存样本页面”

3. 到电脑的爬虫文件夹，我电脑上是下图的路径，你的电脑会有不同， 把GSSamplePage目录打包发给我

gz51837844 发表于 2022-10-10 16:38
你发的几条网址这里测试是OK的。估计推特会根据不同的国家地区，用户等，分别展示不同结构的网页。

你可 ...

您好！现已能够进行瀑布流采集，但出现的问题是博主推文共4000+但我这里只能采集800多条。