1、合理的關(guān)鍵詞布局

把關(guān)鍵詞合理的布局在網(wǎng)站中正確的位置，可以讓搜索引擎清楚地了解到網(wǎng)站哪些內(nèi)容是真正又有的內(nèi)容。

2、網(wǎng)站代碼優(yōu)化

把CSS樣式信息和JS腳本等內(nèi)容做成外部鏈接，這樣可以減少整個(gè)網(wǎng)站頁面文件的大小，并且還能加大內(nèi)容部分所占的比例。

3、網(wǎng)站結(jié)構(gòu)

網(wǎng)站內(nèi)部結(jié)構(gòu)必須要符合邏輯，當(dāng)蜘蛛爬蟲進(jìn)入網(wǎng)站后，要順著網(wǎng)站結(jié)構(gòu)來挖掘更深層的頁面，這樣才能讓蜘蛛爬蟲抓取更多的頁面。

4、網(wǎng)站內(nèi)鏈

網(wǎng)站中，頁面和頁面之間也要有良好的連接結(jié)構(gòu)，網(wǎng)站中的所有頁面都必須要從首頁開始，用戶最多點(diǎn)擊四次就可以找到想要了解的信息。網(wǎng)站內(nèi)部鏈接一定要采用文本鏈接以及圖片鏈接，一定不要使用JS鏈接、下拉菜單鏈接或Flash鏈接。

5、外部鏈接

網(wǎng)站必須要有一些高質(zhì)量外鏈來指向網(wǎng)站首頁，這樣蜘蛛爬蟲就會(huì)沿著外部鏈接進(jìn)入到網(wǎng)站中，從而抓取網(wǎng)站內(nèi)容。

6、網(wǎng)站地圖

網(wǎng)站一定要有網(wǎng)站地圖，并且把一些重要的頁面鏈接放到網(wǎng)站地圖中，這樣蜘蛛爬蟲就可以通過網(wǎng)站地圖進(jìn)入到網(wǎng)站的各個(gè)頁面中，進(jìn)而抓取這些頁面。

7、限制抓取范圍

網(wǎng)站中總會(huì)有一些頁面是不想讓搜索引擎蜘蛛抓取到的，這時(shí)候就可以使用robots.txt文件或者nofollow屬性來限制蜘蛛爬蟲的抓取。

這樣不僅可以提高蜘蛛爬蟲的抓取效率，同時(shí)也有利于網(wǎng)站權(quán)重過于分散。

8、避免蜘蛛陷阱

蜘蛛陷阱是一些會(huì)妨礙蜘蛛爬蟲爬行的頁面制作技術(shù)，例如Flash、動(dòng)態(tài)URL等等。如果網(wǎng)站頁面中存在蜘蛛陷阱，就會(huì)直接影響到蜘蛛爬蟲的抓取效率，從而降低了網(wǎng)站頁面的收錄量。