1、合理的關鍵詞布局

把關鍵詞合理的布局在網(wǎng)站中正確的位置，可以讓搜索引擎清楚地了解到網(wǎng)站哪些內容是真正又有的內容。

2、網(wǎng)站代碼優(yōu)化

把CSS樣式信息和JS腳本等內容做成外部鏈接，這樣可以減少整個網(wǎng)站頁面文件的大小，并且還能加大內容部分所占的比例。

3、網(wǎng)站結構

網(wǎng)站內部結構必須要符合邏輯，當蜘蛛爬蟲進入網(wǎng)站后，要順著網(wǎng)站結構來挖掘更深層的頁面，這樣才能讓蜘蛛爬蟲抓取更多的頁面。

4、網(wǎng)站內鏈

網(wǎng)站中，頁面和頁面之間也要有良好的連接結構，網(wǎng)站中的所有頁面都必須要從首頁開始，用戶最多點擊四次就可以找到想要了解的信息。網(wǎng)站內部鏈接一定要采用文本鏈接以及圖片鏈接，一定不要使用JS鏈接、下拉菜單鏈接或Flash鏈接。

5、外部鏈接

網(wǎng)站必須要有一些高質量外鏈來指向網(wǎng)站首頁，這樣蜘蛛爬蟲就會沿著外部鏈接進入到網(wǎng)站中，從而抓取網(wǎng)站內容。

6、網(wǎng)站地圖

網(wǎng)站一定要有網(wǎng)站地圖，并且把一些重要的頁面鏈接放到網(wǎng)站地圖中，這樣蜘蛛爬蟲就可以通過網(wǎng)站地圖進入到網(wǎng)站的各個頁面中，進而抓取這些頁面。

7、限制抓取范圍

網(wǎng)站中總會有一些頁面是不想讓搜索引擎蜘蛛抓取到的，這時候就可以使用robots.txt文件或者nofollow屬性來限制蜘蛛爬蟲的抓取。

這樣不僅可以提高蜘蛛爬蟲的抓取效率，同時也有利于網(wǎng)站權重過于分散。

8、避免蜘蛛陷阱

蜘蛛陷阱是一些會妨礙蜘蛛爬蟲爬行的頁面制作技術，例如Flash、動態(tài)URL等等。如果網(wǎng)站頁面中存在蜘蛛陷阱，就會直接影響到蜘蛛爬蟲的抓取效率，從而降低了網(wǎng)站頁面的收錄量。