如果你和其他人一起共享一个主机,如你有一个URL网址路径:http://www.****.com/~username/ 或者http://www.****.com/username,这样你就不能有自己的/robots.txt文件了。但如果你想使用/robots.txt,你必须要请求主机管理员帮助你。
如果你想要更多的控制权限,可以考虑把程序切换到虚拟主机供应商那里,从而自主地在虚拟主机上使用robots.txt文件。
原创文章如转载,请注明:转载自雅言 [ https://www.fantiz5.com/blog/ ]
需保留本文链接地址:https://www.fantiz5.com/blog/post/11.html
需保留本文链接地址:https://www.fantiz5.com/blog/post/11.html
发布:yayan | 分类:甲骨文苑 | 评论:0 | 引用:0 | 浏览:
| TrackBack引用地址
- 相关文章:
怎么在虚拟主机上使用robots.txt文件? (2011-6-22 22:57:17)
我应该使用什么程序来创建robots.txt? (2011-6-22 22:45:14)
robots.txt列出敏感信息无疑是自找麻烦? (2011-6-22 19:24:31)
为什么有些机器人蜘蛛爬虫会忽略网站的robots.txt文件? (2011-6-22 16:53:14)
如何在搜索引擎获得最好的搜索排名? (2011-6-22 16:30:52)
如何阻止搜索引擎的蜘蛛爬虫扫描我的网站? (2011-6-22 15:32:29)
怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫? (2011-6-22 14:36:10)
发表评论
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。