学SEO童鞋都很有必要也可以说必须去了解搜索引擎的工作原理，只有了解其原理，才能有针对性的对网站做出相应的优化措施，才会提高网站排名，今天毛仔和大家一起走进“互联网robot”（搜索引擎蜘蛛）的世界。

  以下文章来自国外权威SEO专家的观点，感谢“归一”童鞋的辛苦翻译：

什么是搜索引擎？

什么是robots,网页爬虫,蜘蛛,蠕虫,网络蚂蚁？

什么是互联网Robot机器人蜘蛛爬虫程序？

哪里用的到robot呢？ 

什么是agent代理程序？ 

我应该使用什么程序来创建robots.txt？ 

怎么在共享主机上使用robots.txt文件？ 

怎么在虚拟主机上使用robots.txt文件？ 

robots.txt列出敏感信息无疑是自找麻烦？ 

搜素引擎蜘蛛如何决定到哪里访问？

为什么有些机器人蜘蛛爬虫会忽略网站的robots.txt文件？ 

怎么知道网站是否被robots蜘蛛爬虫访问过？

如何阻止搜索引擎的蜘蛛爬虫扫描我的网站？ 

怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫？

原创文章如转载，请注明：转载自雅言 [ https://www.fantiz5.com/blog/ ]
需保留本文链接地址：https://www.fantiz5.com/blog/post/robots.html