很多時候，蜘蛛頻繁抓取PHP會大幅增加服務器負載，這里介紹一下如何在PHP里禁止蜘蛛抓取。

代碼開頭增加如下代碼即可：

$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
if (strpos($useragent, 'bot')){
exit();
}

此外，還可以修改robots.txt文件，在文件開頭增加如下代碼：

User-agent:  *
Disallow: /*.php