前几日网上讨论最多的话题就是新浪博客屏蔽了百度蜘蛛的爬行，以后我们做网站优化要如何来做，等等这一方面的问题我们合肥网站建设那天也写了一篇http://old.qimaikj.com/news/12/774.html这样的文章。

　　开放百度的搜索引擎的User-Agent代码

　　User-agent: Baiduspider

　　#限制不能搜索的目录，Disallow: 为空时开放所有目录####

　　Disallow: /admin/

　　Disallow: /include/

　　Disallow: /html/

　　Disallow: /queue/

　　Disallow: /config/

　　#开放bing.com的搜索引擎的User-Agent代码

　　User-agent: msnbot

　　#限制不能搜索的目录，Disallow: 为空时开放所有目录####

　　Disallow: /admin/

　　Disallow: /include/

　　Disallow: /html/

　　Disallow: /queue/

　　Disallow: /config/

　　User-agent: bing

　　#限制不能搜索的目录，Disallow: 为空时开放所有目录####

　　Disallow: /admin/

　　Disallow: /include/

　　Disallow: /html/

　　Disallow: /queue/

　　Disallow: /config/

　　#限制的搜索引擎的User-Agent代码，*表示所有###########

　　User-agent: *

　　#临时限制对所有目录的禁止抓取

　　Disallow: /

　　#限制不能搜索的目录，Disallow: 为空时开放所有目录####

　　##Disallow: /admin/

　　##Disallow: /include/

　　##Disallow: /html/

　　##Disallow: /queue/

　　##Disallow: /config/

　　#开放搜索的目录有####################################

　　# /

　　# /advice/

　　# /help/

　　# /lm/

　　# /main/

　　# /myblog/

　　可以看出新修改的robots.txt文件中的写法已经完全支持各类主流搜索引擎抓取博客内容，一个开放的新浪博客又回来了!

　昨为一个站长，我们现在又可以在新浪博客上写一些自己文章，发外链了。对站长朋友也说也是一件很好的事情。