蜂集采集如何进行全站采集
今天给大家带来一个超级简单的抓取全站的教程，文末有小福利哦～
话不多说，我们开始吧！
第一步：设置列表规则
想要抓取全站，就需要一个能够不断获取站内链接的列表页规则。一般来说，一个好的网站是利于蜘蛛抓取的，通过一个入口就可以找到站点内所有的文章链接，因此列表页的规则就是匹配文章地址。
列表规则默认会获取当前页面上所有的链接，我们需要做的就是通过一系列的规则把需要的网址提取出来，不需要的网址剔除掉。
以lz13为例，它所有的文章链接都以.html结尾，所以我们的网址包含规则里写上.html，为了不让蜘蛛乱爬，我们限制蜘蛛在这个站点内爬行，因此网址还需要包含lz13.cn，规则就是.html&&lz13.cn。这里的&&表示且，意思就是一个链接需要同时满足这两个条件才会被匹配到。
抓取全站的重点就在于终止列表获取这个选项，不勾选表示所有的地址都会使用这个规则，这样就能源源不断获取新的链接，达到抓取全站的目的。
比如我们使用首页测试一下抓取，可以看到下面抓取了很多链接
我们再用内部文章页面测试抓取，可以看到下面依然有新的链接
第二步：设置正文规则
如果你懂XPath或者正则，那么写一个抓取正文的规则是一件很容易的事情。这里以XPath为例。
如果你会XPath，那么可以看到下面的正文实际上是被PostContent这个class包住，那么XPath长这样 //*[@class=”PostContent”]。如果不会，可以直接从浏览器***xpath，长得可能不太一样。具体方法可以参考：如何利用浏览器***XPath
其他的字段同理可以这样获取，设置好抓取规则，添加任务，运行起来就可以抓取全站了！
小福利
为了让大家更好地理解如何做全站采集，这里把上面做的采集规则分享出来，大家可以去网盘下载。
地址 https://pan.baidu.com/s/1TjgMPCXGvJfC9aQqRZNSNw
密码 r7rg
如果链接过期，可以加群175991304，找群主获取即可！
你可能还喜欢下面这些文章
wordpress支持采集吗
wordpress支持采集吗？wordpress本身并没有采集功能，不过可以通过插件来实现采集功能，目前wordpress上比较好的采集插件是imwprobot(蜂集采集)，可以实现全自动采集，虚拟主机也可以运行。首先需要安装网站采集插件，前
蜂集设置采集分页列表方法
蜂集采集器可以采集任意结构的网页，包括分页列表。首先我们需要找到分页链接和其他链接不一样的地方，例子中的分页的链接都有“page”这个单词而其他的链接都没有这个单词，那么我们在列表规则中的链接包含框填上“page”，这样就可以采集到所有的翻页
蜂集采集器如何开启进程模式
从1.3.6.2之前，运行模式是用户访问或者蜘蛛访问会触发采集，不过对于没有用户访问的新站来说这并不友好，于是后续的版本的蜂集增加了进程模式！当前的进程在windows和linux上均可使用，不过windows上没有测试，可能会存在一些问题，
蜂集采集插件如何注册账户
蜂集采集器是一款wordpress下全自动采集插件，如果您还没有下载，可以去蜂集采集器页面下载该插件。注册账户之后，您将会得到api key，api token, api secret这三个信息。
蜂集添加自动采集任务
蜂集采集器是一款全自动的采集器，本文将介绍蜂集采集器添加自动任务。设定作用任务名称为任务设置一个名字入口URL采集插件抓取的第一个网页，也就是采集入口采集模块这个任务都会使用这里绑定的采集模块去采集发布模块这个任务都会使用这里绑定的发布模块去
蜂集采集器，一款全自动的wordpress采集插件
imwprobot（蜂集）是一款wordpress采集插件。有什么功能1. 全自动无人值守，支持定时采集2. 可自动同步目标站的更新3. AI自动关键词、自动摘要生成4. 直接发布到wordpress，不需要额外的接口支持5. 正文图片和缩略
如何用浏览器获取XPath规则，蜂集XPath使用指南
蜂集采集器现在内置了一个非常方便的匹配规则——XPath！XPath的方便之处就在于可以用浏览器直接提取出来。如何用浏览器提取XPath到此，你就学会了使用浏览器提取xpath方法。