从12号开始不断有消息说新浪博客和搜狐博客屏蔽了百度等蜘蛛，当时并未太关注，因为屏蔽与否对我的影响不大，虽然这样我还是看了一下这两个博客的robots.txt文件，新浪的robots.txt文件中有一条“User-agent： *”很明显是屏蔽了所有的蜘蛛，搜狐的博客就很明显是屏蔽了所有的蜘蛛。以下为来自网友的抓图。

今天在论坛中无意看到一个叫咖啡的网友写到“关于今天新浪博客屏蔽百度，这是个误会，大家看清楚！ ”的帖子，回想起当时自己看新浪博客robots.txt文件时好像有一条是对百度蜘蛛开放的记录。于是打开新浪的robots.txt文件查看，确实是有这样一条，而且今天和上次查看相比已经发生了变化，说明官方进行了修改。同时又查看了一下搜狐的robots.txt文件也已经被修改了。看以下来自搜狐博客的robots.txt文件抓图：

搜狐博客几天前的写法还是拒绝所有蜘蛛爬行，但是今天已经改了robots.txt文件的写法，而且与新浪基本相同（PS：没准以前搜狐没注意到自己屏蔽了所有蜘蛛，新浪的事一闹，引起了他们对自己博客的关注，呵呵！）。相信懂点SEO知识的人都理解我不多解释，因此这里只对新浪的robots.txt写法做一下评论，吕英杰认为官方无意屏蔽百度蜘蛛：

#开放百度的搜索引擎的User-Agent代码

User-agent： Baiduspider

#限制不能搜索的目录，Disallow： 为空时开放所有目录####

Disallow： /admin/

Disallow： /include/

Disallow： /html/

Disallow： /queue/

Disallow： /config/

。。。。。。

很明显是想放过百度和必应；

#限制的搜索引擎的User-Agent代码，*表示所有###########

User-agent： *

本意是屏蔽其它的搜有蜘蛛，大家一起看一下百度对User-Agent 项值的解释：

User-agent：

该项的值用于描述搜索引擎robot的名字。在“robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受到“robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在“robots.txt”文件中，“User-agent：*”这样的记录只能有一条。如果在“robots.txt”文件中，加入“User-agent:SomeBot”和若干Disallow、Allow行，那么名为“SomeBot”只受到“User-agent:SomeBot”后面的Disallow和Allow行的限制。

重点是加粗的部分，如果在“robots.txt”文件中，加入“User-agent:SomeBot”和若干Disallow、Allow行，那么名为“SomeBot”只受到“User-agent:SomeBot”后面的Disallow和Allow行的限制。因此，吕英杰的观点是：新浪博客官方管理人员的本意是允许百度收录，但是“robots.txt”文件的写法被大家误解了。动力之源沈阳SEO吕英杰的希望是新浪的“robots.txt”文件被各位站长误解不要紧，要紧的是不要被百度蜘蛛误解。最后大家一起看一下官方的写法：