全球互聯(lián)網(wǎng)網(wǎng)站2016年數量超過(guò)10億。這浩如煙海的網(wǎng)站及站內內容，搜索引擎（百度、谷歌、360等）不可能完全抓取收錄在自己的數據庫中。搜索引擎只會(huì )爬行抓取部分網(wǎng)站，在這部分網(wǎng)站中進(jìn)行排名工作。搜索引擎放出的探索新舊網(wǎng)站的小程序，就是搜索引擎蜘蛛。在百度叫做Baiduspider，在谷歌叫做Google bot。

蜘蛛爬行是網(wǎng)站排名的頭一步

可以說(shuō)，蜘蛛是我們網(wǎng)站獲得在搜索引擎排名的頭一步。只有我們的網(wǎng)站被蜘蛛爬行，才有可能進(jìn)行下一步的收錄、索引、排名一系列步驟。不被蜘蛛爬行，不被收錄的網(wǎng)站，是無(wú)法參與搜索引擎的排名的。

吸引蜘蛛爬行方法：外鏈

搜索引擎蜘蛛順著(zhù)互聯(lián)網(wǎng)上的各種鏈接（錨文本鏈接、文本鏈接、URL超級鏈接），爬行在各種鏈接組成的互聯(lián)網(wǎng)網(wǎng)狀結構中，像自然界的蜘蛛爬行在網(wǎng)中。這也是蜘蛛名字的由來(lái)。

聰明的同學(xué)到這可能就清楚我們網(wǎng)站頭一個(gè)蜘蛛是怎么來(lái)的了：通過(guò)已經(jīng)被百度抓取的網(wǎng)站上的鏈接，爬行到我們網(wǎng)站上。也就是說(shuō)，我們網(wǎng)站首先需要給我們網(wǎng)站做一個(gè)蜘蛛爬行的入口路徑。

通常來(lái)說(shuō)，擁有互聯(lián)網(wǎng)中樞地位的目錄型網(wǎng)站，是很好的外鏈發(fā)布入口。搜索引擎蜘蛛對于鏈接中樞的目錄型網(wǎng)站爬行的頻率很高，可以及時(shí)發(fā)現我們發(fā)布的鏈接。像百度自身的網(wǎng)址提交路徑，360網(wǎng)址提交，hao123，dmoz目錄等。

權重較高的網(wǎng)站、新浪等大型網(wǎng)站、行業(yè)相關(guān)論壇、行業(yè)相關(guān)博客、行業(yè)相關(guān)其他站點(diǎn)，只要搜索引擎蜘蛛爬行抓取，都是我們前期提交網(wǎng)站網(wǎng)址的好平臺，都會(huì )吸引蜘蛛到我們網(wǎng)站上來(lái)。

蜘蛛抓取策略：原創(chuàng )性

搜索引擎希望顯示給用戶(hù)不同的搜索結果，重復性?xún)热萦绊懹脩?hù)體驗，搜索引擎對原創(chuàng )性高的網(wǎng)站更青睞。蜘蛛爬行時(shí)也會(huì )進(jìn)行數據比對，如果是新站，同時(shí)里面都是互聯(lián)網(wǎng)上早已有的老生常談，蜘蛛會(huì )認為這是一個(gè)低質(zhì)站點(diǎn)，無(wú)需浪費太多時(shí)間在此類(lèi)網(wǎng)站上。

蜘蛛抓取策略：更新頻率

搜索引擎蜘蛛每隔一段時(shí)間會(huì )訪(fǎng)問(wèn)一次網(wǎng)站，如果兩次訪(fǎng)問(wèn)時(shí)間中網(wǎng)站內容沒(méi)有變化，蜘蛛會(huì )推遲下次到訪(fǎng)的時(shí)間。良好的網(wǎng)站更新頻率，會(huì )不斷吸引蜘蛛訪(fǎng)問(wèn)，從而使網(wǎng)站站內更多內容被搜索引擎抓取收錄。