本着是网站的标配,所以对新搭建的hexo博客也配置了网站地图,即sitemap,本来hexo搭建在非服务器上被搜索引擎被收录的可能很小,添加网站地图可以提高被搜到的几率。

生成 sitemap 文件

需要先安装两个 hexo 插件:

npm install hexo-generator-sitemap --save       
npm install hexo-generator-baidu-sitemap --save

打开配置文件_config.yml添加

sitemap:
    path: sitemap.xml
baidusitemap:
    path: baidusitemap.xml

再重新构建hexo,在本地访问 localhost:4000/sitemap.xml和 localhost:4000/baidusitemap.xml 就可以看到sitemap这个页面了。

推送到 谷歌 和 百度

 1. 百度 → 添加个人网站

添加文件方式不可行,hexo会处理html文件

所以选择,在 head.ejs 里添加 html 标签

手动提交baidusitemap.xml(里面也有自动提交的代码)

可以用”抓取诊断”,手动-百度抓取

Robots → 检测并更新

2. 谷歌 → 添加个人网站

类似百度 ,也是在 head.ejs 里添加 html 标签

验证通过就好,过两天左右 百度和谷歌就能收录你的站点

测试方式: (分别在 google 和 baidu 搜索)

site: jkrss.com

手动提交sitemap,甚至是单个网站

GoogleSearchConsole → 站点地图 → 输入sitemap.xml → 提交

 robots配置

User-agent: *
Allow: /
Allow: /home/
Allow: /archives/
Allow: /about/
Disallow: /vendors/
Disallow: /js/
Disallow: /css/
Disallow: /fonts/
Disallow: /vendors/
Disallow: /fancybox/

Sitemap: http://yoursite/sitemap.xml
Sitemap: http://yoursite/baidusitemap.xml

Allow表示允许被访问的,Disallow是不允许的意思。注意后面两个Sitemap就是网站地图了。而网站地图前面说了是给爬虫用的。这里配置在robots中。

测试

旧版 GoogleSearchConsole 测试 robots.txt  是否配置好

新版 GoogleSearchConsole 测试 sitemap.xml 是否配置好

三. 定期清除死链接

https://www.google.com/webmasters/tools/removals