• 之前在百度上搜索不到自己博客的内容,原来是百度爬虫被 github 屏蔽了。
  • 本文介绍让百度爬虫爬取自己博客的方法,同时兼顾国内外访问,兼顾 google 和 baidu 爬虫收录网站。

正文

  • github pages 百度不能爬取,因为 github 屏蔽了百度爬虫。
  • 在继续使用 github pages 的前提下,通过使用 coding.net 的静态网站(之前也叫 pages)让百度爬取。
  • 这需要配合域名解析实现,实现之后,百度爬取时实际上访问的是 coding.net 的静态网站。
  • 不过,coding.net 的静态网站不够稳定,后来我还是把解析线路的默认指向了 github.com。访问网站时慢点儿,但稳定,总比直接不能访问要强。

操作步骤

  1. 将 hexo blog 编译好的版本提交到 github.com 的同时,也提交到 coding.net,coding.net 可以设置有代码更新自动部署,github.com 是自动的,不需要设置。
  2. coding.net 绑定自定义域名。
    • 在绑定之前,需要添加域名 CNAME 记录,指向 coding.net 的静态网站域名,比如我的是:y5561p.coding-pages.com
    • 停止之前设置的 github.com 的解析。
    • 过大概10分钟,再绑定,绑定时开启强制 HTTPS 访问,强制 HTTPS 访问需要申请证书,如果显示申请失败就再申请就是了。
    • 待证书状态为【正常】之后,再将之前停止的 CNAME 启用,即启用解析到 github.com 的 CNAME。
  3. 域名解析注意事项,这里以阿里云的域名为例。
    • 解析到 github.com 的 CNAME,解析线路选择【境外】
    • 解析到 coding.net 的,解析线路选择【默认】
    • 设置搜索引擎解析。
      • 谷歌和必应的解析项,指到 github.com。
      • 百度的解析项,指到 coding.net。

域名解析

  • 域名设置部分,因为顶级域名(lovesofttech.com)设置了 MX 记录,所以顶级域名(lovesofttech.com)不能再设置 CNAME 了(会冲突),所以,我设置了各大运营商(电信、联通等)的线路,不清楚是否管用。

如此折腾的好处

  • 如此设置之后,百度就可以正常爬取博客内容了。
  • 只有在境外访问才会解析到 github.com。
  • 兼顾了国内外访问,同时兼顾了 google 和 baidu 爬虫,可谓一举多得。至少在国内访问的速度比之前快了非常多,有飞一般的感觉(可惜并不稳定,慢的时候就是直接不能访问)。