标题: [求助] 请教管理我这个禁止搜索引擎访问的方法是否正确和可行 [打印本页]
作者: leleshe 时间: 2013-6-18 22:49 标题: 请教管理我这个禁止搜索引擎访问的方法是否正确和可行
本帖最后由 leleshe 于 2013-6-18 22:54 编辑
说明 Robots工具 robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录，哪些页面不可以被收录，如果您不想让搜索引擎收录您网站的某些内容，请用robots.txt文件指定搜索引擎在您网站上的抓取范围。该工具可以检测您的网站是否有robots.txt文件，及robots.txt文件内容，并能按照您的需求生成正确的robots.txt文件。
我在百度上看到这个robots工具 所以我就想让搜索引擎不抓取 /linux下的目录创建规则如下
然后生成robot.txt文件下载下来
我吧它放在了www下
请问管理这样可行么？行了的话方的地方对不对？ 请教
这是禁止所有搜索引擎抓取的代码规则
图片附件: 4.png (2013-6-18 22:47, 7.89 KB) / 下载次数 8573
http://wdlinux.cn/bbs/attachment.php?aid=3102&k=7df4b3c78b9963ff48851389ee33be9c&t=1735762345&sid=EQ0Xmj
图片附件: 7.png (2013-6-18 22:49, 5.98 KB) / 下载次数 8520
http://wdlinux.cn/bbs/attachment.php?aid=3104&k=bdbabfb1977856d5eb3a898fcc8a8158&t=1735762345&sid=EQ0Xmj
图片附件: 5.png (2013-6-18 22:51, 3.1 KB) / 下载次数 8570
http://wdlinux.cn/bbs/attachment.php?aid=3105&k=6f9c323a4b97cbf3884c0c4562eb4168&t=1735762345&sid=EQ0Xmj
作者: leleshe 时间: 2013-6-18 22:54
本帖最后由 leleshe 于 2013-6-18 22:56 编辑
这是百度站长工具里面的 大家可以去看看
另外请管理帮忙看看这个帖子的问题谢谢
http://www.wdlinux.cn/bbs/thread-6217-1-1.html
作者: admin 时间: 2013-6-19 08:30
这个是放在网站的根目录下
作者: leleshe 时间: 2013-6-19 11:28
回复 3# admin
是要放在wdlinux下面么？
作者: hwzaw88 时间: 2013-6-19 16:54
robots 仅是对你网站目录起作用，应该放在你的目录下。路径必须可以访问
作者: leleshe 时间: 2013-6-19 19:45
回复 5# hwzaw88
额 那就是说这个对后台控制面板没有作用了呀，郁闷
作者: admin 时间: 2013-6-19 23:15
不明白
| 欢迎光临 WDlinux官方论坛 (http://wdlinux.cn/bbs/) |
Powered by Discuz! 7.2 |