对新站点做网站日志分析,主要目的在于如何促进新站点被索引并获得一定的排名。通常新站建立之初都会进入沙盒期(沙盒是指一个新站建立后搜索引擎会对其进行一个类似资格评价的阶段,我们将这个阶段称为沙盒,在沙盒里面的这段时间,我们将其称为沙盒期,沙盒期一般都是2-6个月。)进入沙盒期并不意味着站点不会被抓取,由于新站点建立之初,权重较低,内容量较少,因此抓取量等相应的也不会太多。
前期,我们分析新站点网站日志,主要是分析站点是否有被爬虫抓取过?如果没有的情况下,一来是要让站点持续更新优质的内容,二来,在站点建设较为完善的情况下,需要主动向搜索引擎提交链接,让爬虫发现你的站点。除此之外,还可以通过正确渠道交换一些优质的友情链接,吸引爬虫来抓取。
通常新站点建立之初较难获得百度站长平台VIP账号,那么分析网站日志,我们可以通过下载光年日志分析工具进行分析。
步骤
1、下载网站日志(如果是企业站点,可以直接让运维部门的童鞋帮忙下载,如果是个人站长,直接在你所购买的虚拟主机后台进行下载,文件以.log为结尾的便是)
2、打开光年日志分析工具,上传网站日志。
3、查看分析结果。主要维度有这几个:
(1)概况分析:各种爬虫的总抓取量、总停留时间、总访问次数。
(2)目录分析:各种爬虫抓取各目录的情况分析。通过这个可以了解到搜索引擎对一些重要栏目的抓取情况,又抓取了哪些无效的页面。
(3)页面分析:通过页面分析可以了解到经常被重复抓取的页面有哪些,可以相应的做优化调整。比如,像网站的一些注册页面及登录页面,经常会发现多次被抓取,发现这种情况,我们通常会将登录/注册页面进行屏蔽处理。
(4)状态码分析:主要分为2种,爬虫状态码以及用户状态码。主要反应用户/爬虫访问页面时的页面状态。通过页面状态码,沧州百度推广我们可以了解到页面状态,做相应调整,如,当网站存在大量404页面。那就需要进一步排查,比如,有些团购页面,团购过期后,页面就直接变成404了,但并未向百度站长平台提交死链清单,则容易造成无效抓取。