桐廬SEO工作者對于搜索引擎蜘蛛的知識應了解的蜘蛛工作原理：蜘蛛在瀏覽網(wǎng)站的時(shí)候，首先會(huì )去看網(wǎng)站里的機器人文本文件。要是這里面設置了一些不讓蜘蛛抓取的東西，那么蜘蛛就會(huì )根據協(xié)議，不去抓取這部分內容網(wǎng)址。蜘蛛有自己的代理名字，站長(cháng)能從日志里看到他們不一樣的名字，這樣子能夠將其進(jìn)行分辨。搜索引擎標識中下面的幾個(gè)名字很常見(jiàn)：

Baiduspider+……

……compatible；Yahoo!……

msnbot-academic：……

想讓蜘蛛能抓更多的東西，就需要跟蹤鏈接，一個(gè)頁(yè)面到另一個(gè)?？崴普嬲闹┲朐诰W(wǎng)上面爬行一樣，所以得名“蜘蛛”。

所有的網(wǎng)址全是相互鏈接形成的，理論上的蜘蛛從每一個(gè)頁(yè)面都能爬向所有頁(yè)?？蛇@些頁(yè)面不是一個(gè)簡(jiǎn)單的組合體，蜘蛛得通過(guò)它特定的爬行戰略方式才能到達每一個(gè)頁(yè)面。

桐廬SEO需要研究蜘蛛的爬行：其中的兩種爬行不太復雜，廣度、深度優(yōu)先。若a是一個(gè)網(wǎng)址，a1、b1、c1是她能訪(fǎng)問(wèn)到的下一個(gè)鏈接，其中深度優(yōu)先是蜘蛛根據看到的鏈接一直往前，等到?jīng)]有鏈接可以往前爬行了就從頭一個(gè)頁(yè)面再從另一個(gè)鏈接爬行。即從a→a1→a2→a3→a4→a5→a6；a→b1→b2→b3→b4→b5→b6……等到第二層1爬完就開(kāi)始爬第三層2的鏈接，一直把所有的鏈接都爬完。

而廣度優(yōu)先是從a→a1→b1→c1；a1→a2→a3→a4。先把a能連接的頁(yè)面都訪(fǎng)問(wèn)完，再從a鏈接的下一個(gè)頁(yè)面a1開(kāi)始把a1鏈接的所有頁(yè)面都訪(fǎng)問(wèn)完。這兩種簡(jiǎn)單的訪(fǎng)問(wèn)方式，要是時(shí)間允許，蜘蛛用這兩種方式分別都能夠將網(wǎng)頁(yè)瀏覽完?，F實(shí)中這兩種方式是一起使用，就可以為更多的網(wǎng)站服務(wù)，能瀏覽到更多的網(wǎng)站和網(wǎng)站里面的內容。

所以，就算是蜘蛛可以將一切頁(yè)面爬行完，但是也不會(huì )這樣子做。所以網(wǎng)站優(yōu)化工作人員想把自己的網(wǎng)站收錄更多內容，就要用一定策略吸引蜘蛛進(jìn)行抓取。因為不可以每一個(gè)頁(yè)面都能夠抓取的到，所以蜘蛛會(huì )選擇抓重要的內容。搜索引擎蜘蛛標識及爬行原理這篇已經(jīng)寫(xiě)了出來(lái)，而蜘蛛認為重要的內容是怎樣的呢，下一篇再詳細講一講這方面的內容，敬請期待。