如何防止搜索引擎蜘蛛导致服务器超负荷运转, 客服中心

如何防止搜索引擎蜘蛛导致服务器超负荷运转

最近发现很多DiscuZ的论坛被搜索引擎蜘蛛搜索的时候导致服务器超负荷运转，甚至导致服务器down机，为了保证您的有用信息能被收录，但是也不会把服务器拖垮，请在站点的根目录放置一个robots.txt文件，文件的内容如下：

#
# robots.txt for Discuz! Board
# Version 6.0.0
#

User-agent: *

Disallow: /admin/
Disallow: /api/
Disallow: /attachments/
Disallow: /customavatars/
Disallow: /images/
Disallow: /forumdata/
Disallow: /include/
Disallow: /ipdata/
Disallow: /templates/
Disallow: /plugins/
Disallow: /mspace/
Disallow: /wap/
Disallow: /admincp.php
Disallow: /ajax.php
Disallow: /digest.php
Disallow: /logging.php
Disallow: /member.php
Disallow: /memcp.php
Disallow: /misc.php
Disallow: /my.php
Disallow: /pm.php
Disallow: /post.php
Disallow: /register.php
Disallow: /rss.php
Disallow: /search.php
Disallow: /seccode.php
Disallow: /topicadmin.php
Disallow: /space.php