[分享] 分享apache下网站日志里面显示百度蜘蛛（baiduspider）等的方法

cbh

这些天研究SEO需要分析网站的日志，看百度蜘蛛的爬行轨迹和爬行时间
但是在wdcp后台看的web_log日志里面找了个遍硬是没有找到这些信息
相信很多朋友也一样有这个苦恼
于是百度搜索了一晚，再结合原有的apache日志格式，终于把这个难题给解决了
下面分享给大家

想要记录你网站的日志
1、首页，你要在 “站点编辑” 里面把 "开启访问日志 " 这个选项打勾，如下图：

下载 (11.19 KB)

2013-3-9 23:25

2、配置vhost 里面对应站点的 conf 文件（ /www/wdlinux/apache/conf/vhost）
把 CustomLog "/www/web_logs/你的域名_access_log" common 这一行的  common 修改成 combined
也就是修改成 CustomLog "/www/web_logs/你的域名_access_log" combined

修改完后保存一下

3、重新启动web服务，测试一下效果

4、如果还是不行的话，把 /www/wdlinux/apache/conf/httpd.conf  这个文件也改一下
把 #CustomLog "logs/access_log" combined  这一句前面的 # 去掉，然后再重启web服务

好了，以上操作应该是可以实现效果了，希望大家都可以操作成功

oy86866

哈哈，正找这个问题呢、:lol试试去

supertree

不错，方法正确，解决了我一个大问题……

dmcountry

回复 2# qing763

谢谢楼主分享！

admin

可以的

glmgs

回复 3# admin

管理员，这样设置好了以后，我可以像这样查询网站日志吗？

下载 (67.8 KB)

2013-8-14 21:53

网站日志是每天分类的，只记录每天的日志？
如果是可以像我这样查询的，请问是不是地址就是在/www/web_logs下面？

谢谢

admin

不错

qing763

回复 1# cbh
补充一下：第二条这个方法目前有一个问题，如果在站点设置里面修改了其他设置，保存之后站点对应的conf配置文件会自动覆盖掉。或者点击了“更新所有站点配置”，对应的conf配置文件也会覆盖掉你手动添加的代码。到时候默认的设置还会是：CustomLog "/www/web_logs/你的域名_access_log" common，然后又得去手动改一下。我找到一个完美解决的办法，其他地方都不要动，也不用去修改站点的conf配置文件。
直接修改apache默认的httpd.conf配置文件。打开/www/wdlinux/apache/conf/httpd.conf。找到：
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common

把common和combined交换一下就行了，最终的代码：

LogFormat "%h %l %u %t \"%r\" %>s %b" combined

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common


上传后重启一下web服务就可以了。
原理就是在“站点编辑” 里面 "开启访问日志"后，默认是添加的CustomLog "/www/web_logs/你的域名_access_log" common 这段代码，生效的就是httpd.conf里面common的配置，改一下默认的common的配置就OK了。