微博展开原文

有什么办法可以在使用关键词高级搜索的同时展开原文吗？
数据量比较大，重新爬取比较耗时耗力
查看源代码发现 展开原文是是一个新的p tag

感觉技术上实现问题不大。。

如果那个标签中有完整的微博内容，直接做规则，用内容映射的方式，把这个隐藏的html元素映射给抓取内容。

但是，我记得这个元素内容是空的，点击以后才填上内容。每点击一次是要花时间的。还存在一个问题，就是每点击一次都会采集一次内容，是采集当前整个网页，那么就会有大量的重复数据

Fuller 发表于 2020-4-8 23:13
如果那个标签中有完整的微博内容，直接做规则，用内容映射的方式，把这个隐藏的html元素映射给抓取内容。

...

好像不用点击就可以看到  可以在关键词高级搜索那个快捷采集的基础上修改吗？还是需要我重新创建一个规则？

sdt110 发表于 2020-4-9 09:59
好像不用点击就可以看到  可以在关键词高级搜索那个快捷采集的基础上修改吗？还是需要我重新创建一个规 ...

我也用chrome开发者工具看了，不点击看不到内容，我可能找了一条后面的微博，不是第一屏的，也许第一屏的微博预先加载了。

点击展开全文的时候，在开发者工具上能很明显地看到新建了一个div节点

可以把微博的详情链接（发布时间里就是微博详情链接）采集下来，详情里是展开全部博文的，对详情采集即可获取到完整博文。
集搜客有提供详情页面的采集工具《微博博文展开全部采集》，可以先用《微博关键词搜索结果采集工具》采集到微博的详情链接，再把链接添加到《微博博文展开全部采集》采集博文详情。

Fuller 发表于 2020-4-9 11:16
我也用chrome开发者工具看了，不点击看不到内容，我可能找了一条后面的微博，不是第一屏的，也许第一屏的 ...

可以啊 我也是从后面随便找的一页  而且你查看网页源代码 也是可以找到feed_list_content_full这个标签的。我自己新建规则，后面下载是不是还要转excel啊 有没有办法直接下下来就是excel啊

sdt110 发表于 2020-4-9 13:05
可以啊 我也是从后面随便找的一页  而且你查看网页源代码 也是可以找到feed_list_content_full这个标签的 ...

爬虫采集下来的原始结果是xml格式的，想转成什么格式的你可以自己写程序处理