WDlinux官方论坛's Archiver

jiyongfei 发表于 2016-11-15 15:45

wdCP云主机linux服务器控制面板如果屏蔽,高手进!

百度这个页面自动抓取了,我想禁止抓取,修改了,/wdcp/html/用 robots.txt禁止抓取,还是直接在wdcp里面放robots.txt
[attach]6834[/attach]

admin 发表于 2016-11-16 10:03

修改端口,或限制本地域名或IP访问

chysyan 发表于 2016-11-21 19:32

文件目录 /www/wdlinux/wdcp/html/

robots.txt  文件内容  禁止抓取的内容
[code]User-agent: *
Disallow: /[/code]

页: [1]

Powered by Discuz! Archiver 7.2  © 2001-2009 Comsenz Inc.