床上的小爬虫是什么(网络爬虫是什么)

网络爬虫(Web crawler，又称网络蜘蛛、网络机器人FOAF社区中更多的是指网络追踪器)是按照一定的规则自动抓取万维网信息的程序或脚本。们广泛应用于互联网搜索引擎或类似网站中，能够自动收集所有能够访问的页面，从而获取或更新这些网站的内容和检索方法。从功能上讲，爬虫一般分为三个部分:数据采集、处理和存储。

网络爬虫系统的功能是下载网页数据，为搜索引擎系统提供数据源。许多大型网络搜索引擎系统都是基于网络数据收集的搜索引擎系统，可见网络爬虫在搜索引擎中的重要性。

在网络爬虫的系统框架中，主进程由控制器、解析器和资源库组成。控制器的主要工作是在多线程中给每个爬虫线程分配任务；解析器的主要工作是下载和处理网页，JS脚本标签、CSS代码内容、空字符、HTML标签等等。资源库用于存储下载的web资源，这些资源通常存储在大型数据库中并建立索引。