【求助】关于采集阿里巴巴国际站访客详情分页及数据合并问题

wangyong 发表于 2018-7-18 16:02
内容表达式是相对于定位表达式的，这两个xpath合在一起在谋数台里搜索能正常定位到节点吗？
...

请问怎么解决呀，没法获取到id，两个表的数据就关联不起来

Fuller 发表于 2018-7-18 12:53
如果用 ./text()作为内容表达式，采集到的数据将是3这个数字，用来匹配第一和第二级不太容易，因为可能别 ...

请问获取访客 xpath 这个问题怎么解决呀，急急急

meiquanjin 发表于 2018-7-18 15:51
.//*[@class='td-visitor align-left']/a/text()
.//[@class='td-visitor align-left']/a/text()
这两种 ...

为什么都采集到一个访客的id，这是因为写的内容表达式不对，相对于被点击节点写xpath，肯定不能用 //* ，因为这样是相对于全网页的
而用.//[@class='td-visitor align-left']/a/text()    ，我不知道行不行，因为不知道你的网页结构，关键看这个td-visitor align-left表示的是谁，如果也是一个全局意义的，一定也会不对。

你最好把DOM结构截个图出来。在这个DOM上能显示出被点击节点和他相关的访客ID节点的关系，我看看应该怎样写。通常会基于当前被点击节点写好几级 ../../../ 这样才能回溯到被点击节点与访客id节点的共同祖先节点，然后 就是 ../../../div[@class='xxxx']/text()，假设访客id节点刚好是共同祖先节点的字节点，而且含有一个class=xxxx

meiquanjin 发表于 2018-7-18 17:49
请问获取访客 xpath 这个问题怎么解决呀，急急急

根据你前面一个截图，xpath应该这么写./../../td[@class='td-visitor align-left']/a[position()=1]/text()


我假定你点击的是那个span[@class='td-pv-span']

Fuller 发表于 2018-7-18 19:12
根据你前面一个截图，xpath应该这么写./../../td[@class='td-visitor align-left']/a/text()

点击浏览量抓取二级弹框数据时，当浏览量0的时候，点击是没有弹框的，这时应该采集不到二级弹框的数据才对，但是实际会把上一个二级弹框的数据采集到


为0时把上个[size=13.3333px][url=]D18071713[/url][size=13.3333px] 的二级数据采集了

meiquanjin 发表于 2018-7-19 09:53
点击浏览量抓取二级弹框数据时，当浏览量0的时候，点击是没有弹框的，这时应该采集不到二级弹框的数据才 ...

这种其实影响不大，后续可以直接对采集的结果进行处理，把访客数为0的数据全部过滤筛选出来

meiquanjin 发表于 2018-7-19 09:53
点击浏览量抓取二级弹框数据时，当浏览量0的时候，点击是没有弹框的，这时应该采集不到二级弹框的数据才 ...

这个弹出的窗口在关闭时，可能只是隐藏了。找到这个窗体的最上级的DOM节点，可能可以观察到在隐藏以后的style值。

如果是用style控制的，那么也把这个style抓取下来，在处理抓取结果的时候，根据这个style值判断抓到的内容是不是显示出来的。

抓取style不能用内容映射，因为在GS浏览器的DOM中没有@style这个节点，指定自定义xpath。自定义xpath的时候定位表达是和内容表达式可以不同。对于这种情况，定位表达式定位到DOM上存在的节点，比如包含这个@style属性的div节点或者div的属性节点，而内容表达式定位到这个@style属性

请问抓取二级页时为什么会跳过，规则没有变

有的会抓取，有的会跳过去

meiquanjin 发表于 2018-10-31 11:59
有的会抓取，有的会跳过去

如果是有规律的跳， 那你要检查一下点击动作里的xpath表达式，是否包含了所有要点击的节点