平时我们在做网站优化的时候,想知道有哪些搜索引擎平的蜘蛛来访问过咱们网站,或者是网站为啥不收录了等一些原因导致网站出现了问题!那么这个时候咱们就可以通过网站日志下载下来,查看里面的各种蜘蛛来路,进行分析!但是有很多优化人员和站长都不懂这块,网上问的挺多的,那么今天就借助这个机会和大家讲讲!
一、网站蜘蛛日志是什么意思?
关于网站的蜘蛛的意思就是各大搜索引擎向服务器发送请求的时候产生的一个访问记录文件,在服务器里面产生一个固定的网站日志,格式是以某某.log文件形式存在。
二、蜘蛛日志如何分析呢?
1、首先要把网站日志给下载下来后,用光年日志把你网站日志给导入到这个工具里面进行打开后,里面有每天的蜘蛛访问记录,具体的有蜘蛛ip、蜘蛛访问日期、蜘蛛每天抓取你网站的目录和页面、蜘蛛返回的状态码以及蜘蛛来源类型。
2、查看蜘蛛方式就是用蜘蛛来源ip,每一种蜘蛛ip代表的意思都不一样的,比如经常123.125.68.开头的蜘蛛ip的话,代表的意思就是你网站可能要进入沙盒期了!220.181.68开头的ip蜘蛛经常都来的话,代表你网站可能要被K站!220.181.7、123.125.66代表百度蜘蛛IP要来爬取了,准备抓取你网站页面了。
3、网站日志文件里面的返回状态码每个意思也不一样,比如200状态码代表的是你网站蜘蛛返回成功,成功抓取了页面,404状态码代表的意思是蜘蛛没有访问到你网站的页面。301代表的是蜘蛛抓取某个网页的时候,我们某个页面进行了跳转。403状态码表示服务器拒绝蜘蛛抓取,可以去好好看看robots里面是不是设置了禁止所有蜘蛛抓取!出现500状态码的话,代表服务器内部错误,蜘蛛肯定是抓取不了你页面的。
4、蜘蛛来源类型有以下:Baiduspider代表的是百度蜘蛛类型。Googlebot:Googlebot蜘蛛类型。Sogou:代表的是搜狗蜘蛛类型。360Spider:代表的是360蜘蛛类型。
三、蜘蛛日志对网站优化有作用吗?
蜘蛛日志对咱们平时优化网站的过程中作用是非常大的,具体作用有以下:
1、可以根据蜘蛛ip来源查看咱们网站最近的健康情况,是不是需要调整等。
2、可以根据蜘蛛来源类型知道最近哪些搜索引擎平台来网站来的多,哪些搜索引擎引擎平台来的少,是什么原因导致的,可以及时的调整,增加网站的ip量和转化率!
3、可以通过蜘蛛抓取你网站的目录页面等可以清晰的知道你网站哪些页面是优质页面,可以做参考,以后再写文案的时候可以吸取精华,做更多搜索引擎喜欢的网站页面!
总结:在我们做网站优化过程当中,网站蜘蛛日志这块千万不可大意,要好好的利用,为以后在优化当中作用非常大!