像百度新闻或是网易新闻关键字怎样可以爬取到搜索到的正文内容

技术支持，你好，我想问一下，像百度新闻或是网易新闻关键字这种爬虫规则，怎样可以爬取到搜索到的正文内容？

要点进去抓取。
1，从百度上搜到的网址不是真实网址，而且过段时间以后就会失效，要尽早点进去抓详细网页
2，不用模拟点击，做个两级规则就可以了，因为从搜索结果网页上能够抓到每个结果的独立网址，虽然是百度编码过的网址
3，虽然网址过段时间会失效，但是，有足够时间运行第二级规则

第二级很容易做，可以做一个通用规则，把body节点映射给抓取内容，把整个网页内容抓下来

详细页上的内容就别精准抓取了，每个网页结构不一样，只能做一个通用规则，把整个文本抓下来