蜂集采集器如何添加采集模块

更新于 2020年9月30日 说明书

蜂集采集是一款全自动的wordpress采集插件,如果还没有下载,可以去蜂集采集下载页面去下载。想要采集,首先从添加采集模块开始,本文将介绍蜂集采集器如何添加采集模块!

安装蜂集采集器后,后台将会新增一个名为“蜂集”的菜单。依次进入 蜂集 -> 采集模块 中,点击“添加文章采集模块”按钮来创建一个新的采集模块。

一个完整的采集模块需要设定:基本信息、列表规则、内容规则

设置基本信息

基本信息由规则名称和网页完整性检测两个填写项,如下图

规则名称为必填项,这里以采集腾讯新闻为例子。规则名称填写腾讯新闻采集,网页完整性检测是为了确保下载的网页是完整的,避免采集失败。一般情况下不用填写,如果您发现采集的时候很多网页都没采集到内容,那么你需要在网页完整性检测中填写</html>或者网页最后面一些标志性文本。 简单来说,一般不填,出现经常网页采集不完整填写

编辑列表规则

点击列表规则,进入列表规则编辑栏。列表规则的作用是收集一些内容页面的链接供我们后续采集。

以腾讯新闻为例子,我们用chrome打开腾讯新闻的首页 www.qq.com。

打开网页之后,再打开chrome的开发者工具(windows通过按F12或者ctrl+shift+i,MAC通过cmd+option+i打开)点击开发者工具左上角的小箭头,然后把鼠标放在你想要采集的链接上,你就能看到这片链接所处的区域和格式了。

我们发现列表页里面链接的特点,发现新闻链接都包含new.qq.com和html,我们可以在网址包含里面写上 new.qq.com&&html,意思是同时包含new.qq.com和html。如果我们只需要采集入口页面的地址,那么可以勾选终止列表获取,这样这个规则就不会对下一级的网页生效。网址区域大部分情况下可以不用填写,一般来说使用网址包含/不包含,标题包含/不包含足够覆盖大部分场景,如果场景必须要填写网址区域,那么此处的网址区域是一个正则表达式。

最终效果如下图,请根据图填写在你的采集规则中

接下来可以测试一下链接获取是不是正确。点击抓取测试,然后填上文章测试地址,这里填写https://www.qq.com,由于这个是我们的入口页面,因此层级为0(注意,层级从0开始,从0级页面上获取到的页面层级为1,从层级为1的页面获取到的地址层级为2,以此类推…)。

填写之后点击抓取测试,你应该可以看到下面获取到的链接和标题了,如下图。

编辑内容规则

我们最终都需要采集内容,因此内容规则关系到我们采集的内容。下图中,内容规则的左侧是采集的字段名称,默认涵盖了wordpress的文章基本信息字段,title为文章标题,content为文章内容,category为文章分类,tag为文章标签,author为文章作者。

采集标题: title

标题用h1匹配,系统已经给了你默认值,大多数情况可以不用更改,使用系统默认的即可。如下图

如果网页的标题不是h1,可以使用多种方式去匹配您需要的内容,蜂集支持使用正则,xpath,固定字符这三种方式。

采集正文:content

conten可以使用自动获取正文的方式,该方式可以智能分析网页中的正文,自动获取,蜂集采集器默认已经将该选项设置为是,如下图:

一般情况下,以文本为主的网站大多可以使用智能获取正文来抓取正文,如果只能获取抓取不到,您还可以使用正则,xpath来获取。

如果此时用正则或者xpath,那么请把智能获取正文选择为否,否则下面的规则不会生效

同样的方式,您还需要设置category, tag, author 这三个,这里就不再赘述。

测试采集

当所有的规则都编写完毕之后,我们需要验证一下采集器是不是可以根据该规则正确采集,进入测试抓取Tab,填写链接和页面层级,点击抓取测试,查看效果,如下图:

如果对采集器有使用上的疑惑,可以到蜂集采集交流群(群号在采集器的关于我们中可以找到)进行交流。

好看 (0) 很好看 (0) 非常好看 (0)
赞赏

微信赞赏支付宝赞赏