做网站的都希望蜘蛛来的越多越好，为何限制或屏蔽雅虎蜘蛛呢？答案就是服务器的带宽问题！
  现在很多托管或租的服务器，或VPS带宽都是100M共享的。同机柜里服务器数量多的话，实际你只能分到少的可怜的带宽；VPS更不用说啦。我做的是免费发布信息网。过去用VPS时每天流量在1万时，简直慢的要命!`查看IIS日志雅虎蜘蛛是最勤劳的，每天爬取基本都3-4万。加上其他蜘蛛网站总流量应该是流量统计里数值的5-6倍！可想而知100M共享带宽下，网站速度了！
  雅虎蜘蛛有+Yahoo!+Slurp和+Yahoo!+Slurp+China有重复抓取的现象。只能对它说别累了，歇歇再干吧。呵呵。在www.fahaole.com/robots.txt里使用Crawl-delay：1000限制抓取频率，1000是抓取时间间隔(秒)。若屏蔽的话就加Disallow: /
   User-agent: +Yahoo!+Slurp+China
   Crawl-delay: 1000
  等2日后在查看IIS日志没反映，依旧每天工作繁忙！后来查下是User-agent的设置有点问题。雅虎蜘蛛应该使用Slurp也就是User-agent: Slurp重新写robots.txt
   User-agent: Slurp
   Crawl-delay: 1000
   又2日后查看下雅虎蜘蛛终于可以歇歇再干了。每天就来2千左右了；