搜索引擎將頁(yè)面的去重：

對于一樣的內容常常也出現在不一樣的網(wǎng)站和這個(gè)網(wǎng)站的不同連接中，可是，搜索引擎卻很討厭這種重復。進(jìn)行內容的查詢(xún)，要是連續兩個(gè)網(wǎng)站的內容看到的是一樣的文章，那就會(huì )讓用戶(hù)對瀏覽的感覺(jué)變得糟糕。即使這上面的東西是很符合網(wǎng)站內容的。讓返回內容是這兩者中的一個(gè)，就需要對文章的內容進(jìn)行識別并且刪掉一樣的。

這種過(guò)程使用的辦法是將內容的特征關(guān)鍵詞計算指紋，將內容中的具有代表的詞（一般是高頻詞）找出來(lái)，計算它們的數字指紋。在進(jìn)行中文分詞、去停止詞、消噪，一般找十個(gè)詞就能夠有準確的計算。而選擇的再多，也不會(huì )對準確性再有太多的意義了。

就像是MD5算法，它的特點(diǎn)是，特征詞變化一點(diǎn)點(diǎn)，就能讓之后的指紋差很多。

想知道搜索引擎的這些算法，優(yōu)化者需要懂得加上的類(lèi)詞、語(yǔ)句調序的偽原創(chuàng )，不能夠躲開(kāi)搜索引擎的這些算法，這是由于內容中的特征詞不會(huì )改變。而這些算法不一定只是在一個(gè)頁(yè)面，可能是在段落，融合的文章、轉換的順序也是不會(huì )將內容的摘抄變成原創(chuàng )的。

正向索引（索引）

經(jīng)歷過(guò)搜索引擎的以上一些介紹的步驟的處理后的文章，就成了特別的、能夠展現文章內容、使用詞為基礎的內容。然后就能夠提詞了，將內容變成關(guān)鍵詞的組合，然后還要知道這些詞的出現多少、頻率、樣式（標題與H標簽、黑字、錨文字……）、地方（像頭一段）。

這樣子，將頁(yè)面變成關(guān)鍵詞的組合，而且里面的關(guān)鍵詞的詞頻、樣式、出現的地方的權重信息也就在里面了。像索引詞的格式：文件1——關(guān)鍵詞1、關(guān)鍵詞2、關(guān)鍵詞7、……、關(guān)鍵詞L；文件2——關(guān)鍵詞1、關(guān)鍵詞7……

文件都有獨立的ID，將其內容顯示為關(guān)鍵詞的組合。而在索引庫里，這些詞也成了關(guān)鍵詞ID。這種數據結構是正向索引。