WDlinux官方论坛 - Powered by Discuz! Board

标题: [分享] 分享apache下网站日志里面显示百度蜘蛛（baiduspider）等的方法 [打印本页]

作者: cbh 时间: 2013-3-9 23:24 标题: 分享apache下网站日志里面显示百度蜘蛛（baiduspider）等的方法

本帖最后由 cbh 于 2013-3-9 23:26 编辑

这些天研究SEO需要分析网站的日志，看百度蜘蛛的爬行轨迹和爬行时间

但是在wdcp后台看的web_log日志里面找了个遍硬是没有找到这些信息

相信很多朋友也一样有这个苦恼

于是百度搜索了一晚，再结合原有的apache日志格式，终于把这个难题给解决了

下面分享给大家

想要记录你网站的日志
1、首页，你要在 “站点编辑” 里面把 "开启访问日志 " 这个选项打勾，如下图：

2、配置vhost 里面对应站点的 conf 文件（ /www/wdlinux/apache/conf/vhost）
把 CustomLog "/www/web_logs/你的域名_access_log" common 这一行的  common 修改成 combined
也就是修改成 CustomLog "/www/web_logs/你的域名_access_log" combined

修改完后保存一下

3、重新启动web服务，测试一下效果

4、如果还是不行的话，把 /www/wdlinux/apache/conf/httpd.conf  这个文件也改一下
把 #CustomLog "logs/access_log" combined  这一句前面的 # 去掉，然后再重启web服务

好了，以上操作应该是可以实现效果了，希望大家都可以操作成功

图片附件: open.jpg (2013-3-9 23:25, 11.19 KB) / 下载次数 14223
http://wdlinux.cn/bbs/attachment.php?aid=2502&k=6440bc7c82344212fec18aa46e8297b6&t=1732368318&sid=oWIEWz

作者: qing763 时间: 2013-5-21 18:30

回复 1# cbh
补充一下：第二条这个方法目前有一个问题，如果在站点设置里面修改了其他设置，保存之后站点对应的conf配置文件会自动覆盖掉。或者点击了“更新所有站点配置”，对应的conf配置文件也会覆盖掉你手动添加的代码。到时候默认的设置还会是：CustomLog "/www/web_logs/你的域名_access_log" common，然后又得去手动改一下。我找到一个完美解决的办法，其他地方都不要动，也不用去修改站点的conf配置文件。
直接修改apache默认的httpd.conf配置文件。打开/www/wdlinux/apache/conf/httpd.conf。找到：
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common

把common和combined交换一下就行了，最终的代码：

LogFormat "%h %l %u %t \"%r\" %>s %b" combined

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common

上传后重启一下web服务就可以了。
原理就是在“站点编辑” 里面 "开启访问日志"后，默认是添加的CustomLog "/www/web_logs/你的域名_access_log" common 这段代码，生效的就是httpd.conf里面common的配置，改一下默认的common的配置就OK了。

作者: admin 时间: 2013-5-21 21:54

不错

作者: glmgs 时间: 2013-8-14 21:54

回复 3# admin

管理员，这样设置好了以后，我可以像这样查询网站日志吗？

网站日志是每天分类的，只记录每天的日志？
如果是可以像我这样查询的，请问是不是地址就是在/www/web_logs下面？

谢谢

图片附件: QQ图片20130814215038.jpg (2013-8-14 21:53, 67.8 KB) / 下载次数 14237
http://wdlinux.cn/bbs/attachment.php?aid=3426&k=c1538aebcabe8552e1f80b5241c68348&t=1732368318&sid=oWIEWz

作者: admin 时间: 2013-8-15 18:59

可以的

作者: dmcountry 时间: 2014-2-24 12:41

回复 2# qing763

谢谢楼主分享！

作者: supertree 时间: 2016-12-22 11:51

不错，方法正确，解决了我一个大问题……

作者: oy86866 时间: 2016-12-28 16:14

哈哈，正找这个问题呢、:lol试试去

欢迎光临 WDlinux官方论坛 (http://wdlinux.cn/bbs/)