百度蜘蛛升级https抓取
- 作者:爱企科技
- 发表时间:2018-12-21 17:31
- 来源:未知
做SEO的小伙伴对百度搜索引擎和蜘蛛是情有独钟啊,因为目前百度是国内PC端和移动端搜索引擎的老大,seo的小伙伴当然是希望百度蜘蛛能够更多的抓取网站,只有抓取的页面多了,才有可能获得更好的收录、排名和流量。
2017年8月份百度Spider升级了对HTTPS数据的抓取力度,HTTPS数据将更快被Spider抓取到。
如网站还在做HTTPS的改造,且网站数据未搭建好,建议网站采取以下措施,避免Spider抓取,以免造成网站流量损失。
1、把HTTPS的协议封掉,可把443端口关掉;
2、做HTTPS到http的301;
3、建议站点在改HTTPS没改造好之前,不要提供超链接指向,以免被Spider抓到HTTPS。
4、针对一个服务器下有多个域名的情况,建议未做HTTPS的网站,设置HTTPS抓取返回失败码,或将HTTPS站点301/302到HTTP,避免抓取出现问题。
更多百度算法请参照《百度历年算法整理-百度算法回顾》