采集b站视频评论

前情提要工具选择

小白完成这个需求,依旧可以使用八爪鱼采集器来做。

计划步骤

滚轮下拉页面查看。页面是否通用,有没有特殊的内容。(防止出现特殊情况,导致无法定位采集的数据。)该采集场景没有特殊情况。

直接新建一个任务。打开八爪鱼采集器,新建一个自定义任务。

注意,新建的任务,采集器里浏览器cookie是空的,所以采集器里浏览器应该是游客状态。

接下来,我们先用八爪鱼采集器自带的自动识别网页。这个是自带的相对智能的一键采集功能。新手可以快速上手使用。

实操步骤

直接复制网址到采集器中新建的自定义任务中。

置入眼帘的这个界面,浏览器中是游客状态。

可以看到这里的头像框是蓝底白字的登录。

工具会自动滚动页面识别页面中的数据。

这里比较自动化,但是不是很智能,因为会出错。

它会自以为是的将一些数据进行命名。并且会出错。比如这里圈中的几个字段就是无效的。

接下来就需要对字段进行修改,不需要的数据进行删除。剩下下面这三个字段的数据。

就会得到一个基础的采集流程。这个流程对于现在这个需求其实大差不差已经完成,就是还需要在细节上进行处理。

可以看见右侧出现了一个采集流程图。

这个采集流程图是刚刚工具自动识别后,我对采集的数据进行筛选之后形成的采集规则。

全程无需自己直接对这个流程图进行操作。

接下来就是细节优化了。

数据预览中就多了个时间字段

最后我们需要设置一个非常关键的配置,然后就要大功告成了。

流程图的优化

在基础设置中设置循环次数为100。

在高级设置中,

先选中执行前等待,设置1或2秒,

然后选中等待指定元素出现,

这样就全部设置好了。

选择本地采集。

采集结果如上。

还有一点瑕疵。设置点赞数空的情况设置默认值为0。

完美。

没有什么问题。

结语感悟

需求是百变的,如果有需求,就应该把他记录下来,可以自己去寻找解决办法,去学习。

也可以请教高手,请高手出手,可以让你事半功倍。

谨记,靠人不如靠己。

发布于 2025-07-21
100
目录

    推荐阅读