这很可能是因为这些机器人蜘蛛爬虫程序，出自那些没有丰富的爬虫软件编写经验的程序员之手。    举个例子，当前一些大学计算机专业的老师会让他们的学生“编写一个网络爬虫程序”，作为学生的课下作业。这样，有一些学生很可能直接把网络爬虫程序直接定义为扫描你网站的所有信息，而根本没有考虑你设置的robots.txt文

很多朋友在刚接触网络的时间，可能有这样的疑问：自己或单位的网站，怎么样才能在搜索引擎中获得最好的搜索结果排名呢？这个问题被业界称之为“SEO”（搜索引擎优化）。目前有很多网站、论坛、和公司致力于帮助解决搜索排名的问题。    要在在搜索引擎获得最好的搜索排名，雅言进行总结如下：在你的网站设计中，重要的内容使

阻止搜索引擎机器人蜘蛛爬行你网站最快的方法，是把下面两行写进你网站服务器根目录的robots.txt文本中（如果没有则新建一个）： User-agent: * Disallow: / 但是这种方法只适用于友好的搜索引擎爬虫程序。针对不友好的搜索引擎蜘蛛，请参考：《怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫？》这篇文章，里面有介绍国际上主流的解决经验和方法。

是否可以阻止不友好的搜索引擎机器人蜘蛛爬虫呢？答案是：理论上可以，但是在实际应用中就较为复杂。    如果不友好的爬虫robot遵守/robots.txt的定义，那么你只要在/robotst.txt中，单独针对该爬虫的名字，对其定义屏蔽其爬行的的规则即可。但是几乎所有的不友好的爬虫会直接忽视掉/robots.txt这个文件，这样你