搜索引擎蜘蛛在請求某個URL時得到“404”狀態(tài)碼回應(yīng)時，即知道該URL已經(jīng)失效，便不再索引該網(wǎng)頁，并向數(shù)據(jù)中心反饋將該URL表示的網(wǎng)頁從索引數(shù)據(jù)庫中刪除，當然，刪除過程有可能需要很長時間；而當搜索引擎得到“200”狀態(tài)碼時，則會認為該URL是有效的，便會去索引，并會將其收錄到索引數(shù)據(jù)庫，這樣的結(jié)果便是這兩個不同的URL具有完全相同的內(nèi)容：自定義404錯誤頁面的內(nèi)容，這會導(dǎo)致出現(xiàn)復(fù)制網(wǎng)頁問題，輕則被搜索引擎降權(quán)，重則會認為此網(wǎng)站存在作弊行為而嚴厲懲罰。

　　

　　要讓404頁面既不會誤導(dǎo)搜索引擎蜘蛛，又能起到留住用戶的目的，最簡單的方法就是修改服務(wù)器默認的404頁面，使之符合優(yōu)化的需求。另外，現(xiàn)在網(wǎng)絡(luò)中有很多人提供了非常精美和有創(chuàng)意的404頁面，有興趣的站長也可以根據(jù)自身情況采用，如圖6.22所示。

　　

　　由疏忽或者程序錯誤造成的死鏈接以及優(yōu)化

　　

　　由于程序錯誤或者網(wǎng)站管理者的疏忽，很容易造成死鏈接，并且這些鏈接因為是批量生成的，往往數(shù)量很多，而且不容易被發(fā)現(xiàn)。

　　

　　圖有創(chuàng)意的404頁面

　　

　　舉例來說，如果搜索引擎優(yōu)化者錯誤地設(shè)置了一個關(guān)鍵詞鏈接規(guī)則，加入了一個本身并不能打開的指向網(wǎng)址，這就會造成所有網(wǎng)站內(nèi)容頁中涉及這個詞時產(chǎn)生1個死鏈接。

　　

　　試想一下，如果這個詞是這個網(wǎng)站的主要熱門詞匯，出現(xiàn)的頻率很高，并且網(wǎng)站的內(nèi)容頁足夠多，結(jié)果就是一次更新頁面以后將會產(chǎn)生無數(shù)個死鏈接。

　　

　　除了站長疏忽以外，有些CMS系統(tǒng)在數(shù)據(jù)庫處理刪除、轉(zhuǎn)移內(nèi)容頁操作時，也很容易產(chǎn)生死鏈接。這種情況產(chǎn)生的死鏈接修改起來比較費勁，而且非常不易被發(fā)現(xiàn)。

　　

　　既然死鏈接都不容意被發(fā)現(xiàn)，那么有什么工具或者快速的方法能對網(wǎng)站的內(nèi)部鏈接進行檢測，進而快速找到死鏈接嗎？答案是有的，谷歌官方工具或者很多優(yōu)化者開發(fā)的內(nèi)部鏈接檢查器都可以很好地解決這個問題。

　　

　　內(nèi)部鏈接優(yōu)化必備工具：鏈接檢查

　　

　　如何查看網(wǎng)站的內(nèi)部鏈接指向情況？如何找出網(wǎng)站中的死鏈接？有很多好用的工具可以解決這個問題，這里主要介紹兩個：

　　

　　Google網(wǎng)站管理員工具中的內(nèi)部鏈接統(tǒng)計功能，可以用于整個網(wǎng)站的內(nèi)部鏈接報告；

　　

　　中國站長站的內(nèi)部鏈接檢查器，可以檢查某個單頁面的內(nèi)部鏈接情況。

　　

　　網(wǎng)站管理員工具中的內(nèi)部鏈接統(tǒng)計功能

　　

　　對有一定頁面規(guī)模的網(wǎng)站來說，內(nèi)部鏈接比較繁雜，不容易統(tǒng)計，更不容易調(diào)整。這就需要有一個可以比較好地統(tǒng)計整個網(wǎng)站內(nèi)部鏈接情況的工具，搜索引擎優(yōu)化者可以利用統(tǒng)計報告進行內(nèi)部鏈接結(jié)構(gòu)的調(diào)整。在Google網(wǎng)站管理員工具中，專門提供一個“內(nèi)部鏈接”統(tǒng)計報告，可以滿足這個需求。