搜索引擎蜘蛛一個(gè)搜索機制，搜索引擎“蜘蛛”也稱(chēng)為網(wǎng)絡(luò )爬蟲(chóng)、網(wǎng)頁(yè)蜘蛛，它可以按照一定的規則來(lái)主動(dòng)地抓取人們所需要的信息的程序及腳本也同時(shí)可以抓取網(wǎng)頁(yè)上的信息、圖片及視頻等內容，方便搜索引擎對其進(jìn)行檢索。

一、什么是搜索引擎蜘蛛

  引擎蜘蛛一個(gè)搜索機制，搜索引擎“蜘蛛”也稱(chēng)為網(wǎng)絡(luò )爬蟲(chóng)、網(wǎng)頁(yè)蜘蛛，它可以按照一定的規則來(lái)主動(dòng)地抓取人們所需要的信息的程序及腳本也同時(shí)可以抓取網(wǎng)頁(yè)上的信息、圖片及視頻等內容，方便搜索引擎對其進(jìn)行檢索。

  把互聯(lián)網(wǎng)上的每個(gè)網(wǎng)頁(yè)想象成節點(diǎn)，那么許多的網(wǎng)頁(yè)就可以形成一個(gè)網(wǎng)狀模型，當人們在瀏覽網(wǎng)頁(yè)點(diǎn)擊網(wǎng)頁(yè)鏈接時(shí)，網(wǎng)絡(luò )蜘蛛便從一個(gè)節點(diǎn)跳到另一個(gè)節點(diǎn)上，同時(shí)互聯(lián)網(wǎng)可以被想象成一張巨大的蜘蛛網(wǎng)，蜘蛛在這張巨大的大網(wǎng)上抓取信息到瀏覽器的搜索引擎服務(wù)器上，并建立檢索庫。

二、搜索引擎蜘蛛的來(lái)源

  在互聯(lián)網(wǎng)時(shí)代發(fā)展的前期，互聯(lián)網(wǎng)上的網(wǎng)站還相對較少，用戶(hù)想要查取信息還很容易簡(jiǎn)便，后來(lái)隨著(zhù)互聯(lián)網(wǎng)的飛速發(fā)展，各種網(wǎng)站的增多，內容逐漸的豐富起來(lái)，一般的用戶(hù)想要找到自己想要的信息便如同是海底撈針，為了解決這一難題，用于滿(mǎn)足大眾檢索信息的機器人程序“蜘蛛”便應運而生。

三、蜘蛛的工作原理

  網(wǎng)站是由各個(gè)網(wǎng)頁(yè)組成的，就像是一個(gè)蜘蛛網(wǎng)，“蜘蛛”通過(guò)人們所提供的鏈接來(lái)尋找爬行，當它通過(guò)讀取其中一個(gè)網(wǎng)頁(yè)的內容，找到這個(gè)網(wǎng)頁(yè)中其他的鏈接地址，然后通過(guò)這個(gè)找尋其他的地址，如此往復，直到將所有的網(wǎng)頁(yè)抓取完成。然后“蜘蛛”抓取網(wǎng)站是一層一層抓取的，就像蜘蛛編織蜘蛛網(wǎng)一樣，所以把搜索引擎爬行抓取網(wǎng)站的過(guò)程叫做“蜘蛛爬行”。

  網(wǎng)絡(luò )爬蟲(chóng)”在爬行的時(shí)，會(huì )對內容進(jìn)行檢測，在權重比較低的網(wǎng)頁(yè)發(fā)現了過(guò)多的轉載抄襲或是內容相似度很高的內容時(shí)，“蜘蛛”便會(huì )停止爬行，并且不會(huì )抓取收錄這些內容。搜索引擎為了提高爬行的速度，一般都會(huì )讓多個(gè)蜘蛛同時(shí)進(jìn)行爬行。