Robots数据库列出了世界上的网络蜘蛛爬虫，是一个比较国际化的爬虫列表大全。 这些robots爬虫是由他们的拥有者提交、或者有互联网网站站长（曾被爬虫访问过网站）提交。这些爬虫蜘蛛列在这里，并不代表繁体字网或者雅言赞同他们、或者反对他们。 如果要获得其他一些User-Agent
- 添加新评论
- 阅读次数：
WebZinger是商业用WEB爬虫，可接受纯文本查询，使用webcrawler、lycos、或者excite来获取URL地址，然后访问网站。如果用户的过滤设置匹配到内容，就自动下载一副图片和一段文本，最后会以文本段落加图片的形式把每个网站倒转回幻灯片。
- 添加新评论
- 阅读次数：
你可以检查您的网站服务器日志，找到那些检索许多文档页面的网站，特别是在较短时间内检索很多页面的网站。 如果你的服务器支持User-agent logging日志记录，你可以检查使用不寻常的哪些User-agent header值的地方。 最后，如果你发现一个网站时常检查
- 添加新评论
- 阅读次数：
这依赖于robot蜘蛛机器人，每一个机器人使用自己不同的策略。通常他们从一些著名的URL链接开始，特别是一些拥有许多链接的地方，如服务器列表、“最新新闻信息”页面、和互联网上最流行的网站等。 大多数索引服务还允许你手动提交url地址，这些地址将会加入到robot蜘蛛的索引列表进行排队和访问。
- 添加新评论
- 阅读次数：
Robots,网页爬虫,蜘蛛,蠕虫,网络蚂蚁都是指的同一个东西，但稍微有一些差异：Robots： 比较通用的名字，可以参考《什么是互联网Robot机器人蜘蛛爬虫程序？》。 蜘蛛： 和robots一个意思，但是听起来更酷。 蠕虫： 蠕虫是和robots以也是一个意思，尽管从技术角度来讲网页爬虫是一个复制程序，而不是robot。网页爬虫： 网页爬虫是和robot
- 添加新评论
- 阅读次数：
搜素引擎是指一个计算机程序，它可以通过元信息数据库进行搜索查找。在互联网web的背景下，词语“搜索引擎”特指那些经常使用用来从robot机器人蜘蛛爬虫程序收集的HTML网页文档库查找新的检索方式。
- 添加新评论
- 阅读次数：
如果你的意思是指搜索服务，那就在遍历访问互联网上各个目录页面的时候，如Netscape的Exploring the Net或者试试像MetaSearch、百度等元信息搜索服务的时候，在技术架构上需要用到robot。
- 添加新评论
- 阅读次数：
词语“agent”（代理）在当今的计算机领域有很多含义，包括：
- 自治代理：是一种这样的程序，自治代理串行在网站之间，他们自己决定何时移动、做些什么。这类程序一般只串行在特殊的服务器之间，并且目前在互联网上的应用并不广泛。
- 智能代理：是这样的一种程序，他帮助用户完成一些事情，例如选择一个产品、或者引导用户填写表单、或者帮户用户查找东西等，这些程序通常在互联网做的事情比较有限。
- User-agent（用户代理程序）是一个为用户执行网络任务的程序的技术名称，比如网络User-agents像Netscape、和IE浏览器，以及邮件email user-agent像Qualcomm Eudora等。
...
- 添加新评论
- 阅读次数：
一个互联网机器人蜘蛛爬虫程序是一个计算机程序，它可以自动地检索一个文件串行在超文本标记之中，并且可以递归地检索所有涉及到的相关联的文档。 需要注意的是这里的递归并不局限于某种特殊遍历算法的定义，即使这个爬虫采用了一些启发式的选择和索引文档查看、发请求持续很长时间，那也是一个爬虫。（Note that "recurs
- 添加新评论
- 阅读次数：
如果你和其他人一起共享一个主机，如你有一个URL网址路径：http://www.****.com/~username/ 或者http://www.****.com/username，这样你就不能有自己的/robots.txt文件了。但如果你想使用/robots.txt，你必须要请求主机管理员帮助你。 如果你想要更多的控制权限
- 添加新评论
- 阅读次数：
Powered By Z-Blog 1.8 Walle Build 100427