一、簡(jiǎn)介

1、名稱：又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人。

2、解釋：是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。

3、背景：隨著網(wǎng)絡(luò)的迅速發(fā)展，萬維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個(gè)巨大的挑戰(zhàn)。

二、功能

1、 對(duì)抓取目標(biāo)的描述或定義。

2、對(duì)網(wǎng)頁(yè)或數(shù)據(jù)的分析與過濾。

3、對(duì)網(wǎng)頁(yè)或數(shù)據(jù)的搜索策略。

三、分類

1、通用網(wǎng)絡(luò)爬蟲。

2、聚焦網(wǎng)絡(luò)爬蟲。

3、增量式網(wǎng)絡(luò)爬蟲。