0 Comments

怎么通过网站日志查看蜘蛛的访问

发布于:2015-08-25  |   作者:爬行的蜗牛  |   已聚集:人围观

爬行的蜗牛决定还是先说在前面吧,这个网站日志是有分析工具,下面的你可以不用看,直接下载一个日志分析工具就可以了。不过我觉得还是知道自己怎么看代码更好,能更好的理解问题。

网站日志是记录WEB服务器接 收处理请求以及运行时错误等各种原始信息的以·log结尾的文件,确切的讲,应该是服务器日志。网站日志最大的意义是记录网站运营中比如空间的运营情况, 被访问请求的记录。通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页 面,是否访问成功。

这上面是百度百科的定义。我们要查看网站日志,应该先知道自己网站的网站日志在什么地方,然后才能分析。

好了,这里只有最近三天的日志。我们打开大约是这个样子的:

我们分析蜘蛛的爬行,先知道蜘蛛叫什么名字,

百度的叫baiduspider;

谷歌的叫Googlebot;

微软的叫bingbot;

搜狐的叫Sogou web spider;

腾讯的叫Sosospider;

国内主要是分析百度所以,我们只要CRTL+f搜索baiduspider就可以了。

220.181.108.154 - - [22/Aug/2015:03:16:39 +0800] "GET /list_8_2.html HTTP/1.1" 200 6048 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

然后我们随便搜索到了一条如上:红色的200为正常收录,绿色的6048是都去了6048个字节,前面橘黄色的是蜘蛛的ip,紫色的是被抓去的页面。好了我想大家都能看懂了。

前面爬行的蜗牛已经说过了,其实你只要下载个软件就可以了

ok,如图这个软件分析的结果比较一目了然,我还是觉得能知道其所以然比较好。希望爬行的蜗牛这篇文章帮助到了大家,优化新手,有问题欢迎纠正。


爬行的蜗牛:http://www.pxwoniu.com/wzzt/119.html

飞机

扫描二维码,访问爬行的蜗牛手机网站

在线咨询