实体搜索引擎或者称为线下搜索引擎，也称为物联网搜索引擎，实体搜索是一种对应线下实体资讯的检索系统，也是应用万维网进行搜寻的机制，
搜寻结果类似网络搜索引擎，以条列方式展示结果，亦称为搜索结果页 ，实体搜索引擎以搜寻者指定的方位为中心显示结果，将其搜索得到的资讯做距离排序，排序距离的规则由近到远，若资讯是同一距离时，则会加入SEO与服务状态等因素做排序，这一点不同于网络搜索引擎仅以SEO排序，其显示的资讯的连结同样可以连结至网页、影片、或其他开放的服务资讯。搜索引擎的搜索资料技术，使用自动化资讯汇整方式达成，一般做法以网络爬虫 运行算法得出资讯。实体搜索引擎对应实体世界实现各类资讯的搜索入口，搜寻机制与互联网搜索引擎相似，各类线下服务只需提供Web页面，不需要额外制作线下搜寻App ; 实体世界的服务与资讯搜索, 不论是定点的资讯, 或是移动的资讯，经由关键字搜索便可达到实时搜寻的目的。
Googlebot是Google使用的网络爬虫软件，它负责为Google搜索引擎构建用户可搜索的网络索引。Googlebot包括两种不同类型的网络爬虫，分别为Googlebot Desktop 和 Googlebot Mobile。
有道是一个网络搜索引擎。由中国互联网公司网易推出。2006年，有道搜索测试版出现。2007年12月11日，正式版推出。打造了一系列大众学习工具产品。作为门户网站的搜索，提供用户：网页、图片、热闻、购物、音乐、视频、博客搜索以及有道词典、快贴等功能。特色产品主要是有道词典、有道云笔记、有道翻译、有道购物搜索。有道在中国搜索市场同百度、谷歌、搜搜、搜狗等搜索竞争。2008年，有道搜索把原来标志的英文名称“yodao”更改为“youdao”。网易CEO丁磊曾表示：“会以更加开放的心态”发展有道，并说“我们的目标是中立、客观、包容的引擎”。有道网络爬虫的用户代理字符串名为：YoudaoBot。
2014年，网易有道宣布正式进军互联网教育行业。
2018年，网易有道完成首次战略融资。
2019年10月，网易有道成功登陆纽交所，股票代码为“DAO”，成为网易集团首个独立上市的公司。
HTTrack是一个自由软件、开放源代码的网络爬虫以及离线浏览器。它的作者是泽维尔·罗奇，在GNU通用公共授权条款下发布。
网络机器人是指一类在互联网上运行的软件，该软件使用自动化的脚本语言执行大量简单任务，能够高效完成人类短时间内难以完成的任务。其中，最为常见的一种机器人是网络爬虫，该机器人可通过抓取网页上的信息来达到搜索引擎索引的目的。目前，互联网上过半的流量来自网络机器人。
网络存档是指人们将万维网网站保存在一个地方，以便于未来的研究人员、历史学家和公众使用。因为许多网站会关闭以及消失，如果不及时保存，网站上的内容将不复存在。由于网站的规模和数量都非常巨大，通常人们用网络爬虫自动抓取网站内容并将其保存。网站时光机就是负责网络存档的网站之一。国家图书馆、国家档案馆和各种组织也开始保存具有重要文化意义的Web内容。
站点地图是一种列有某个网站所有统一资源定位符的XML文件，由Google最先发起。利用Sitemaps协议，网站管理员可以列出网站上可以供搜索引擎抓取的URL，并通知给后者。Sitemaps中包含有关每个URL的其他信息，如URL上次更新的时间、更新的频率以及相对于网站其他URL的重要性。搜索引擎的网络爬虫可以通过Sitemaps更有效地抓取网站内容，并找到可能与网站其他内容没有相互链接的URL。Sitemaps协议是对Robots.txt的补充。
站点地图描述了一个网站的架构。 它可以是一个任意形式的文档，用作网页设计的设计工具，也可以是列出网站中所有页面的一个网页，通常采用分级形式。这有助于访问者以及搜索引擎的网络爬虫找到网站中的页面。
有道是一个网络搜索引擎。由中国互联网公司网易推出。2006年，有道搜索测试版出现。2007年12月11日，正式版推出。打造了一系列大众学习工具产品。作为门户网站的搜索，提供用户：网页、图片、热闻、购物、音乐、视频、博客搜索以及有道词典、快贴等功能。特色产品主要是有道词典、有道云笔记、有道翻译、有道购物搜索。有道在中国搜索市场同百度、谷歌、搜搜、搜狗等搜索竞争。2008年，有道搜索把原来标志的英文名称“yodao”更改为“youdao”。网易CEO丁磊曾表示：“会以更加开放的心态”发展有道，并说“我们的目标是中立、客观、包容的引擎”。有道网络爬虫的用户代理字符串名为：YoudaoBot。
2014年，网易有道宣布正式进军互联网教育行业。
2018年，网易有道完成首次战略融资。
2019年10月，网易有道成功登陆纽交所，股票代码为“DAO”，成为网易集团首个独立上市的公司。
站点地图描述了一个网站的架构。 它可以是一个任意形式的文档，用作网页设计的设计工具，也可以是列出网站中所有页面的一个网页，通常采用分级形式。这有助于访问者以及搜索引擎的网络爬虫找到网站中的页面。
Mini wiki
