Baiduspider、Googlebot、360Spider......眾所周知，只有被搜索引擎蜘蛛抓取并被收錄的頁(yè)面，才有可能參與到排名的競爭中，所以如何建立網(wǎng)站與“蜘蛛”之間的聯(lián)系，是各位站長(cháng)最為關(guān)注的問(wèn)題。

搜索引擎蜘蛛（又被稱(chēng)為網(wǎng)頁(yè)蜘蛛、網(wǎng)絡(luò )爬蟲(chóng)），大連網(wǎng)站優(yōu)化公司采用極其復雜的抓取策略去遍歷互聯(lián)網(wǎng)中盡可能多的網(wǎng)站，而且還要在保證對網(wǎng)站用戶(hù)體驗不受影響的綜合考量下，抓取更多有價(jià)值的資源。各大搜索引擎每天會(huì )派出蜘蛛，起點(diǎn)一般是權重比較高的網(wǎng)站或是訪(fǎng)問(wèn)量很大的服務(wù)器。

蜘蛛會(huì )順著(zhù)內外鏈入口訪(fǎng)問(wèn)更多的網(wǎng)站頁(yè)面，把網(wǎng)頁(yè)信息存入數據庫。就像圖書(shū)館一樣把不同的圖書(shū)分類(lèi)整理，最后壓縮加密成自己可以讀取的方式放在硬盤(pán)上，供搜索的人索取。我們搜索的因特網(wǎng)，就是這個(gè)數據庫。

從搜索引擎蜘蛛抓取的原理來(lái)看，SEO要想培養蜘蛛定期抓取網(wǎng)站，應該做到以下三點(diǎn)：

一、高質(zhì)量、規律性更新網(wǎng)站文章內容。

首先，搜索引擎蜘蛛喜歡抓取規律更新的網(wǎng)站。從一定意義上說(shuō)，網(wǎng)站的更新頻率與抓取頻率是成正比的。即使在網(wǎng)站前期沒(méi)有蜘蛛來(lái)抓取文章，也要定期更新。這樣蜘蛛才會(huì )獲取并統計這個(gè)網(wǎng)站更新的規律，定期來(lái)進(jìn)行新增內容抓取，使網(wǎng)站文章更新后，能夠盡可能快被抓取到。

其次，原創(chuàng )度、新鮮度較高的內容網(wǎng)頁(yè)更容易被蜘蛛抓取收錄。網(wǎng)站如果存在大量重復內容，會(huì )讓蜘蛛覺(jué)得抓取過(guò)多沒(méi)有意義，還會(huì )使搜索引擎對網(wǎng)站質(zhì)量產(chǎn)生質(zhì)疑，甚至會(huì )導致懲罰。“新鮮度”主要指內容的熱門(mén)程度和實(shí)效性，新近發(fā)生的“大事”、“熱門(mén)事件”是比較容易被用戶(hù)關(guān)注和被蜘蛛抓取。

除了以上兩點(diǎn)外，關(guān)鍵詞的分布也對蜘蛛的抓取有重要的影響。因為搜索引擎分辨頁(yè)面內容的重要因素之一就是關(guān)鍵詞，但是關(guān)鍵詞過(guò)多的堆砌會(huì )被搜索引擎視為“作弊”行為，所以關(guān)鍵詞的分布應該在控制在5%左右。

二、確保服務(wù)器穩定工作。

服務(wù)器的穩定性不但關(guān)系到用戶(hù)體驗度問(wèn)題，還會(huì )對蜘蛛的抓取造成很大影響。SEO應該定期檢查服務(wù)器狀態(tài)，查看網(wǎng)站日志，檢查是否有500狀態(tài)碼等標記，及時(shí)發(fā)現存在的隱患。

如果網(wǎng)站遇到黑客攻擊、服務(wù)器網(wǎng)站誤刪、服務(wù)器硬件癱瘓等問(wèn)題，并且宕機超過(guò)12個(gè)小時(shí)，應該立即開(kāi)啟百度站長(cháng)平臺的閉站保護功能，防止百度誤判斷網(wǎng)站出現大量抓取無(wú)效及死鏈頁(yè)面，應及時(shí)修復網(wǎng)站與服務(wù)器。

長(cháng)期不穩定的服務(wù)器會(huì )導致蜘蛛不能有效爬取頁(yè)面，降低搜索引擎友好度，從而出現收錄下降、排名下降的情況。所以網(wǎng)站一定要選擇性能穩定的服務(wù)器。

三、優(yōu)化網(wǎng)站結構。

如果網(wǎng)站內容好，但是頁(yè)面卻收錄卻寥寥無(wú)幾時(shí)，多數是因為頁(yè)面根本沒(méi)有被蜘蛛爬取。這時(shí)就應該對網(wǎng)站進(jìn)行全面檢測，主要包括Robots文件、頁(yè)面層級、代碼結構、網(wǎng)站鏈接等方面。

1、Robots文件，全稱(chēng)“網(wǎng)絡(luò )爬蟲(chóng)排除標準”（Robots Exclusion Protocol）。網(wǎng)站通過(guò)Robots協(xié)議可以告訴蜘蛛哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。

2、頁(yè)面層級，表現在網(wǎng)站物理層級結構、邏輯層級結構等多方面。以邏輯層級結構URL結構為例，方便記憶、層級簡(jiǎn)短、長(cháng)度適中的靜態(tài)URL是被搜索引擎蜘蛛所喜愛(ài)的。URL結構（以“/”為劃分標志），一般不宜超過(guò)4層，結構太復雜不利于搜索引擎收錄，也會(huì )影響到用戶(hù)體驗度。

3、網(wǎng)站代碼類(lèi)別、結構也會(huì )影響網(wǎng)頁(yè)是否被蜘蛛抓取。如：IFRAME、Java Script等代碼，目前還不能被百度搜索引擎蜘蛛有效的理解、抓取，所以需要盡量減少這類(lèi)代碼的使用。另外，過(guò)大的代碼量也會(huì )導致蜘蛛抓取不完全。

4、網(wǎng)站鏈接是網(wǎng)頁(yè)間權重傳遞的“入口”，鏈接的數量和質(zhì)量，直接影響到頁(yè)面能否被蜘蛛抓取和收錄。低質(zhì)量鏈接堆砌只會(huì )給網(wǎng)站帶來(lái)毀滅性的災害，且還要及時(shí)排除錯誤鏈接和死鏈接，減少蜘蛛對死鏈接的抓取時(shí)間。盡量多從正規和相關(guān)站點(diǎn)獲得反向鏈接，這樣才可以提高網(wǎng)站的權重。

另外，網(wǎng)站也可以給蜘蛛提供一些快捷通道，比如sitemap。一個(gè)結構清晰的網(wǎng)站地圖能讓搜索引擎蜘蛛清楚的了解網(wǎng)站結構從而順利的抓取整個(gè)網(wǎng)站頁(yè)面。

通過(guò)高質(zhì)量?jì)热莞隆?yōu)質(zhì)的鏈接交換、以及合理網(wǎng)站結構，可以讓蜘蛛更好的了解網(wǎng)站，抓取網(wǎng)站頁(yè)面。但是不能為了吸引蜘蛛抓取而發(fā)布一些和網(wǎng)站內容無(wú)關(guān)的頁(yè)面，或是過(guò)度優(yōu)化網(wǎng)站。因為只有真正用心去做，并且能給用戶(hù)帶來(lái)價(jià)值的網(wǎng)站，才能被搜索引擎和用戶(hù)喜歡。