篩選內容後網址亦為相同的爬蟲方法

王建国 发表于 2020-8-25 14:13
是指查询节点的xpath搜索只能定位到一个节点吗？如果是这样的话是正常的

謝謝大神回復！
由於我看了樓上大神跟我說的連續動作教學後，
我發現飛掠可能會較適合我所使用的網頁
但是我看教學上的XPATH節點都是有很多筆的，我所需要使用的這個網頁卻是一個
實作幾次後還是失敗XDDD

Fuller 发表于 2020-8-25 15:11
你是说在第二级里面，有一张表，目前只能爬到第一行数据，现在想爬到所有行数据。如果是这个问题，那么就 ...

管理員您好：

謝謝你的不吝指教
我的這個頁面不管是搜尋還是點選任一公司的「查詢」按鈕進去查看後
網址都是一模一樣的
那這樣我可以怎麼去做呢 ?
我有爬了連續動作的每一篇文章，都試作過不過都是失敗收場

Wei_AA25 发表于 2020-8-25 15:52
謝謝大神回復！
由於我看了樓上大神跟我說的連續動作教學後，
我發現飛掠可能會較適合我所使用的網頁

你的xpath中，tr那个step，应该写成 tr[position()>=2]，这样就能把第二行开始的所有行都查到。

飞掠模式并不是随便用的，如果点击以后，并没有在新弹出的窗口中显示内容，就不能用飞掠。否则，就会抓取失败。

另外，弹出的窗口要区分是一个完整的window还是当前windows中的一个网页块，飞掠只能用于新window。你可以截个图我看看什么样子

Wei_AA25 发表于 2020-8-25 15:54
管理員您好：

謝謝你的不吝指教

用连续动作爬数据，就是可以不用管网址是否改变。如果网址是变化的，那就不要用连续动作，而是用层级采集，因为连续动作要一口气执行完，失败率会很高，而层级采集是一个个网址分别运行，失败一个也不会影响另一个。

Fuller 发表于 2020-8-25 15:57
你的xpath中，tr那个step，应该写成 tr，这样就能把第二行开始的所有行都查到。

飞掠模式并不是随便用的 ...

原來是這樣！！！抱歉讓你見笑了
以下附上圖片再麻煩你多指教指教

Fuller 发表于 2020-8-25 15:59
用连续动作爬数据，就是可以不用管网址是否改变。如果网址是变化的，那就不要用连续动作，而是用层级采集 ...

我看教學網頁裡有提到層級我也都照著做
可能是我有地方做錯
不過我想請問
我這個是適合用「回退」方式的嗎 ?

Wei_AA25 发表于 2020-8-25 16:07
我看教學網頁裡有提到層級我也都照著做
可能是我有地方做錯
不過我想請問

每条信息有独立网址的话，可以层级采集，层级采集最方便：https://www.gooseeker.com/doc/article-343-1.html

王建国 发表于 2020-8-25 16:09
每条信息有独立网址的话，可以层级采集，层级采集最方便：https://www.gooseeker.com/doc/article-343-1. ...

謝謝回覆！
不過很可惜它的網址都是一樣的XDDD

Wei_AA25 发表于 2020-8-25 16:11
謝謝回覆！
不過很可惜它的網址都是一樣的XDDD

看样子只能用飞掠模式，飞掠模式会自动关闭窗口，不用点击“回上一页”，也不用做回退动作

如果不是飞掠的话，要么点击“回上一页”，要么用回退动作，反正要返回去，但是飞掠的话，窗口会自动消失了

Fuller 发表于 2020-8-25 16:15
看样子只能用飞掠模式，飞掠模式会自动关闭窗口，不用点击“回上一页”，也不用做回退动作

如果不是飞掠 ...

这个网址不需要用飞掠，点击查询并不会出现新的弹窗，所以只需要用到点击和回退动作就可以：https://www.gooseeker.com/doc/article-381-1.html