您好我想问一下,链家网站自己搜索到3万多条数据,为什么只能爬3千条出来?添加的链接是:https://bj.lianjia.com/zufang/



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2021-3-16 18:01

沙发
maomao 论坛元老 发表于 2021-3-16 17:52:39 | 只看该作者
链家快捷工具采集的?
举报 使用道具
板凳
thursdayrain 中级会员 发表于 2021-3-16 17:55:05 | 只看该作者
对,是用这个快捷工具采集的,我添加的链接是https://bj.lianjia.com/zufang/   ,选择页数是全部,采集的时候,看着也翻到最后一页了。
举报 使用道具
地板
maomao 论坛元老 发表于 2021-3-16 18:01:27 | 只看该作者
本帖最后由 maomao 于 2021-3-16 18:02 编辑

你把这个链接添加进去,这个网页的页数最大是100页,每页是30条数据,所以最多采集到3000条数据。

要想采集的多,要按区采集,

比如选择东城区https://bj.lianjia.com/zufang/dongcheng/   把这个链接添加进去,采集的是东城区的房源。最多100页,最多3000条。最共有十几个区,应该有3万多条了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为

热门用户

GMT+8, 2025-2-6 19:11