阻止搜索引擎机器人蜘蛛爬行你网站最快的方法，是把下面两行写进你网站服务器根目录的robots.txt文本中（如果没有则新建一个）：

User-agent: *
Disallow: /

但是这种方法只适用于友好的搜索引擎爬虫程序。

针对不友好的搜索引擎蜘蛛，请参考：《怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫？》这篇文章，里面有介绍国际上主流的解决经验和方法。

原创文章如转载，请注明：转载自雅言 [ https://www.fantiz5.com/blog/ ]
需保留本文链接地址：https://www.fantiz5.com/blog/post/4.html