如何检测自己的博客能否被检索呢?
在百度或者Google的搜索框内输入以下内容:

1
site:www.lmxyz.xyz

Google收录

搜索网站的收录,其实就是将网站里各个网页对应的连接收录。所以,有一个东西就叫做站点地图,顾名思义,就是将自己网站下所有的页面集中到一起

安装站点地图

我们需要安装以下插件来生成站点地图:

1
2
npm install hexo-generator-sitemap --save
npm install hexo-generator-baidu-sitemap --save

上面包含两个工具包,因为后面也是进行百度收录,而百度的站点地图格式与Google是有差异的,所以一次性将这两个全都安装了

然后我们打开站点配置文件,找到或者添加如下的配置:

1
2
3
4
5
#hexo sitemap
sitemap:
path: sitemap.xml
baidusitemap:
path: baidusitemap.xml

到此,后面再部署博客的时候,你会发现public目录下面多了 sitemap.xmlbaidusitemap.xml两个文件

添加 robots.txt

robots.txt(统一小写)是一种存放于网站根目录下的 ASCII 编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。

source目录下增加 robots.txt 文件, 我的文件具体内容如下可供参考,注意将域名改为自己的网站:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
User-agent: *
Allow: /
Allow: /archives/
Allow: /tags/
Allow: /categories/
Allow: /music/
Allow: /movies/
Allow: /link/
Allow: /about/

Disallow: /js/
Disallow: /css/
Disallow: /lib/

Sitemap: https://www.lmxyz.xyz/sitemap.xml
Sitemap: https://www.lmxyz.xyz/baidusitemap.xml

这样在下次部署博客时,robots.txt 就会被上传至网站了。稍后我们在提交 sitemap 时,可以顺便测试它是否被搜索引擎正确解析了。

提交站点到Google

我们打开Google的站点平台,你会看到如下页面,紧接着就是注册和登录,你有账号的话直接登录都可以。

紧接着,点击左上角的添加资源,开始验证自己的博客网站,你会看到如下页面,这里建议选择第二个,直接写博客站点的主链接就行了,例如我的就是 https://www.lmxyz.xyz

点击左侧的站点地图选项,你会看到如下的页面,在这里输入前面构建好的sitemap的地址再提交就可以了。

**注意:**填写的格式为:
/sitemap.xml/

到这里就完成了 Google 的检索收录,稍等一段时间,就可以去Google上面进行测试自己的博客站点

百度的收录

  1. 首先需要注册百度站长平台,点击用户中心->站点管理,添加你的网站

  2. 验证网站

    百度站长平台提供三种验证方式:文件验证、html标签验证、CNAME验证。
    1.文件验证:您需要下载验证文件,将文件上传至您的服务器,放置于域名根目录下
    2.html标签验证:将html标签添加至网站首页html代码的标签与标签之间。
    3.CNAME验证:您需要登录域名提供商或托管服务提供商的网站,添加新的DNS记录

  3. 提交sitemap
    在上面,我们已经构建了baidusitemap了,在这里当然要使用了。我们选择自动提交中的sitemap,输入自己的baidusitemap.xml链接即可,一般都是自己的域名加上这个,例如我的就是 https://www.lmxyz.xyz/baidusitemap.xml

  4. 查看抓取状态
    由于 GitHub 屏蔽了百度的爬虫,即使提交成功,百度知道这里有可供抓取的链接,也不一定能抓取成功。首先我们先检测一下百度爬虫是否可以抓取网页。在百度站长平台网页抓取->抓取诊断 中,选择PC UA点击抓取,查看抓取状态,如果显示抓取失败,则需要进一步的配置。

  5. 主动推送
    需要安装以下插件:

    1
    npm install hexo-baidu-url-submit --save

    然后,同样在根目录下,把以下内容配置到_config.yml文件中:

    1
    2
    3
    4
    5
    baidu_url_submit:
    count: 1 ## 提交最新的一个链接
    host: www.lmxyz.xyz ## 在百度站长平台中注册的域名
    token: your_token ## 请注意这是您的秘钥, 所以请不要把博客源代码发布在公众仓库里!
    path: baidu_urls.txt ## 文本文档的地址, 新链接会保存在此文本文档里

    其次,记得查看_config.ym文件中url的值,必须包含是百度站长平台注册的域名(一般有www)
    最后,加入新的deployer:

    1
    2
    3
    4
    5
    6
    deploy:
    - type: git
    repository: https://github.com/DogInNoSense/myBlog.git
    branch: main
    bucket: lmxyz.xyz # 新加内容
    - type: baidu_url_submitter # 新加内容

    执行hexo deploy的时候,新的链接就会被推送了

最后验证配置是否成功

部署成功后可以在git bash中看到如下的信息: