本帖最后由 leleshe 于 2013-6-18 22:54 编辑
说明 Robots工具 robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录,哪些页面不可以被收录,如果您不想让搜索引擎收录您网站的某些内容,请用robots.txt文件指定搜索引擎在您网站上的抓取范围。该工具可以检测您的网站是否有robots.txt文件,及robots.txt文件内容,并能按照您的需求生成正确的robots.txt文件。
我在百度上看到这个robots工具 所以我就想让搜索引擎不抓取 /linux下的目录创建规则如下
然后生成robot.txt文件下载下来
我吧它放在了www下
请问管理这样可行么?行了的话方的地方对不对? 请教 这是禁止所有搜索引擎抓取的代码规则 |