怎样使用快捷采集（以采集京东评论为例）

gz51837844 发表于 2023-2-9 10:53
后台查了一下，你昨天采集的所有的TwitterAuthorTweetsData，原始入库11205条，去重后是3705条，总共的博 ...

推特推主推文数据采集(TwitterAuthorTweetsData)_20230208171421，您看看这个是不是131个博主。

JeromeL 发表于 2023-2-9 13:29
推特推主推文数据采集(TwitterAuthorTweetsData)_20230208171421，您看看这个是不是131个博主。
...

是的。可能上午看的时候你有些数据没有入库完成，我现在看从昨天到今天，已经采集并去重后的数据有二十几万条

gz51837844 发表于 2023-2-9 16:23
是的。可能上午看的时候你有些数据没有入库完成，我现在看从昨天到今天，已经采集并去重后的数据有二十几 ...

我能拿到目前的数据吗？因为我这边有一个采集任务还开着，但是我不确定采集完成后，我能顺利打包下载。131个博主的任务打包后下载只有几百条，我也不知道问题在哪。谢谢，您看下载的数据，可不可直接在我的设备上存储，不需要去重。我自己去重就可以。有这个功能吗，把下载到的数据直接存在我本地。

您好，任务名是：Strictlyviolin荀博视频抓取。我想请教一下，1.任务目的是采集前100个视频的标题文本信息，为何我设置了滚屏动作以后点击测试却只能采集到二三十个这样子？2.有无办法采集到各个视频的点赞数和时长？每次点击点赞数位置总是显示无法定位到节点？3.像这样的网站能否采集到各个视频的评论呢？十分感谢！

gz51837844 发表于 2023-2-9 11:11
你这个网址https://www.douyin.com/music/692 ... 7132342125139594533， 需要修改成https://www.douyin.c ...

好的好的！谢谢您！

JeromeL 发表于 2023-2-9 16:42
我能拿到目前的数据吗？因为我这边有一个采集任务还开着，但是我不确定采集完成后，我能顺利打包下载。13 ...

在本地是以多个xml文件的形式存储，不是excel格式的。

提问：
使用【推特推主推文数据采集】，无法采集到全部推文（比如需要采集全部推文4000+，但只能得到800+）；
改用【推特关键词搜索采集】，根本无法运行采集，关键词示例为from:VisitBeijingcn since:2019-10-01 until:2022-09-30
求解答，感谢！！！

我输入了131个推主，推特推主推文数据采集(TwitterAuthorTweetsData)_20230208171421，数据去重后8w条，但是 只有24个推主的。请问其他推主是都去重去掉了吗？我可以打包不去重数据吗？看着采集到的数据，为什么最后打包没有了。

ida1015 发表于 2023-2-9 19:38
提问：
使用【推特推主推文数据采集】，无法采集到全部推文（比如需要采集全部推文4000+，但只能得到800+） ...

twitter的网页是瀑布流，很难采集完整

JeromeL 发表于 2023-2-10 10:43
我输入了131个推主，推特推主推文数据采集(TwitterAuthorTweetsData)_20230208171421，数据去重后8w条，但 ...

twitter是瀑布流网页，而且访问比较困难。建议分批输入链接，每批少量，爬完了，检查完数据，再输入下一批。