WDlinux官方论坛 » wdOS|CentOS精简版|CentOS定制版 » 能不能不让蜘蛛抓取安装页面？

burn 发表于 2013-4-5 14:59

能不能不让蜘蛛抓取安装页面？

能不能不让蜘蛛抓取安装页面？？刚才查了一下，百度等能抓取安装成功页面~~
[size=12px]自行百度[/size]测试：恭喜 wdos 安装成功

burn 发表于 2013-4-5 15:01

wdOS,wdcp,wddns,wdcdn,lamp,lnmp,lnamp,LANMP一键安装包... 恭喜,lanmp_wdcp 安装成功!lanmp_wdcp是一个集成nginx,apache,php,mysql等web...wdOS官网: http://www...
abcccc.com/ 1小时前 - 百度快照

qq514408389 发表于 2013-4-5 16:31

可以建立个robots.txt文件来限制抓取的范围
http://www.baidu.com/search/robots.html

查看完整版本: 能不能不让蜘蛛抓取安装页面？