蜂集采集如何进行全站采集

更新于 2020年12月7日说明书

今天给大家带来一个超级简单的抓取全站的教程，文末有小福利哦～

话不多说，我们开始吧！

第一步：设置列表规则

想要抓取全站，就需要一个能够不断获取站内链接的列表页规则。一般来说，一个好的网站是利于蜘蛛抓取的，通过一个入口就可以找到站点内所有的文章链接，因此列表页的规则就是匹配文章地址。

列表规则默认会获取当前页面上所有的链接，我们需要做的就是通过一系列的规则把需要的网址提取出来，不需要的网址剔除掉。

以lz13为例，它所有的文章链接都以.html结尾，所以我们的网址包含规则里写上.html，为了不让蜘蛛乱爬，我们限制蜘蛛在这个站点内爬行，因此网址还需要包含lz13.cn，规则就是.html&&lz13.cn。这里的&&表示且，意思就是一个链接需要同时满足这两个条件才会被匹配到。

抓取全站的重点就在于终止列表获取这个选项，不勾选表示所有的地址都会使用这个规则，这样就能源源不断获取新的链接，达到抓取全站的目的。

比如我们使用首页测试一下抓取，可以看到下面抓取了很多链接

我们再用内部文章页面测试抓取，可以看到下面依然有新的链接

第二步：设置正文规则

如果你懂XPath或者正则，那么写一个抓取正文的规则是一件很容易的事情。这里以XPath为例。

如果你会XPath，那么可以看到下面的正文实际上是被PostContent这个class包住，那么XPath长这样 //*[@class=”PostContent”]。如果不会，可以直接从浏览器复制xpath，长得可能不太一样。具体方法可以参考：如何利用浏览器复制XPath

其他的字段同理可以这样获取，设置好抓取规则，添加任务，运行起来就可以抓取全站了！

小福利

为了让大家更好地理解如何做全站采集，这里把上面做的采集规则分享出来，大家可以去网盘下载。

地址 https://pan.baidu.com/s/1TjgMPCXGvJfC9aQqRZNSNw

密码 r7rg

如果链接过期，可以加群175991304，找群主获取即可！

你可能还喜欢下面这些文章

首先我们需要找到分页链接和其他链接不一样的地方，例子中的分页的链接都有“page”这个单词而其他的链接都没有这个单词，那么我们在列表规则中的链接包含框填上“page”，这样就可以采集到所有的翻页链接，如下图：填写完了之后，我们将测试的链接填入

什么是内链内链，顾名思义就是在同一网站域名下的内容页面之间的互相链接（自己网站的内容链接到自己网站的内部页面，也称之为站内链接）。自动内链工作原理简单来说，我们设定一些词表以及词表对应的链接，比如词是wordpress插件，链接是http。

测试采集当所有的规则都编写完毕之后，我们需要验证一下采集器是不是可以根据该规则正确采集，进入测试抓取Tab，填写链接和页面层级，点击抓取测试，查看效果，如下图：如果对采集器有使用上的疑惑，可以到蜂集采集交流群（群号在采集器的关于我们中可以找到

wordpress去除index.php的方法：首先登录wordpress后台。wordpress去掉index.php的方法主要有两个步骤：1-1）。/wordpress/index.php。

在本章中，我们将学习在WordPress页面中添加链接。以下是在WordPress中添加链接的简单步骤。在WordPress中创建的页面列表将显示如下所示的屏幕。在这里，我们将在关于我们页面中添加链接。

请查看更详细的设置教程：wordpress如何设置固定链接。登录wordpress后台，点击后台设置栏目下的“固定链接”按钮。wordpress提供了6种链接形式供我们选择。

wordpress去除index.php的方法：首先登录wordpress后台。wordpress设置固定链接登录wordpress后台，依次选择‘设置/固定链接，在出现的页面中，选择‘自定义结构’，然后根据你的情况，设置好链接。/wordp

5.3.2为例：一、最简单的方法修改WordPress程序文件删除代码中的<>符号，修正忘记密码获取新密码链接打开WordPress程序根目录的wp-login.php文件，将大约417行的：$message。