网站的优化需注重细节！经常检查IIS日志通过对蜘丝马迹进行实验研究和总结。平常忽略的细节可能对整体产生影响，也可能直接影响网站的收录。所以优化不得不提，不得不重视的。今天和谈谈用robots细节优化，希望能让大家受益。找出平常忽略的地方。

   内容有时伪静态优化时，因程序编辑和优化可能出现动态与静态并存的现象。蜘蛛抓取时造成多个URL提供相同内容的网页，后果是它认为你在恶意重复内容。

   使用会员分享推广时，比如会员甲的uid=5845生成的推广连接是wwww.fahaole.com/?uid=5845;会员乙的uid=87452推广连接就是www.fahaole.com/?uid=87452；不同的ID指向同一内容的网页也会造成多个URL的重复内容；那就使用robots.txt屏蔽所有含有域名后含?+任意字符串的网址就可以了；

User-agent： *
Disallow： /?

 

   其中"$"匹配行结束符。"*"匹配0或多个任意字符。搜索引擎蜘蛛在查看robots的时候会忽略大小写，反斜杠代表的意思是根目录，所以Disallow:/代笔的意思就是禁止收录一切页面和文件夹的内容。这个反斜杠很重要，少了反斜杠就代表允许搜索引擎收录全部页面。#开头均被视为注释，这和unix中的惯例是一样的。不要一不小心把通配符写错了。