蜘蛛來到網(wǎng)站是好事，但是通過蜘蛛訪問記錄我卻發(fā)現(xiàn)了很大的一個問題，往往蜘蛛來到網(wǎng)站之后抓取了4,5個頁面就離開了，這是怎么一回事呢?相信很多站長都感覺到從6月份的事件之后，百度蜘蛛很不穩(wěn)定吧，我的網(wǎng)站也是一樣，從6月份過后蜘蛛每次來了抓取幾個頁面就走了，這樣網(wǎng)站的收錄也一直沒有提升上去，最后我對網(wǎng)站進行了一次大檢查，然后對網(wǎng)站的鏈接進行了整理，還別說，經(jīng)過整理后的網(wǎng)站，蜘蛛每次來抓取的頁面達到了20、30，下面我來分享一下我的檢查方法與整治方法。
我覺得蜘蛛剛開始不深入的原因第一種可能是導航鏈接沒有設置對，蜘蛛不能夠通過導航鏈接進入你網(wǎng)站的深處，那么它怎么去抓取內(nèi)容頁面呢?第二種可能是蜘蛛遇到了死鏈接，搜索引擎蜘蛛準備抓取下一個頁面的時候卻無法爬行，那么網(wǎng)站的死鏈接就成為了罪魁禍首，逼百度蜘蛛離開網(wǎng)站。第三種可能就是長時間的不更新站點內(nèi)容也會導致百度蜘蛛?yún)挓?/p>
第一、重新設置網(wǎng)站導航鏈接
網(wǎng)站的導航鏈接是用戶的指導線，也是搜索引擎蜘蛛的指引線，良好的導航路線能夠幫助搜索引擎蜘蛛從網(wǎng)站的首頁逐步的貫穿網(wǎng)站的整個頁面，這樣就要求我們在設立網(wǎng)站導航的時候要一層層的設立，下面我來談談設置導航鏈接的幾點要求：
1、導航鏈接要就近原則，我們在設置導航鏈接的時候不要將搜索引擎蜘蛛看得太深奧了，其實他就是一個抓取的工具，而最容易抓取的是什么，就是最近的事物。因此我們在利用導航鏈接的時候可以通過導航鏈接導入下一層欄目鏈接，而下一層欄目鏈接才導入內(nèi)容頁面，這就是一層層的導入方法。
2、導入的URL不要太復雜，我覺得網(wǎng)站的URL地址可以設置簡單一些，就用一款PHP的程序，目錄設置簡單一些，那么蜘蛛在爬行抓取的時候也相對容易一些。
第二、死鏈接必須清理，留下就是禍害
死鏈接對網(wǎng)站的阻礙作用非常大，稍不注意死鏈接就有可能對網(wǎng)站產(chǎn)生致命的影響，檢查死鏈接可以利用chinaz中的工具，而清理死鏈接就相對困難一些了?，F(xiàn)在我清理網(wǎng)站死鏈接的方法是通過游覽器FTP中的搜索功能，先在查詢工具中將死鏈接的地址進行復制，復制之后再通過游覽器FTP的查找功能，找到它在哪個文件之中，最后在進行刪除，很多站長會說我這個方法很麻煩，但是我想說這個方法確實最有效的方法，那些清理死鏈接的工具我也用過，大多都是假的，根本就無法完成清理工作。
第三、文章內(nèi)容鏈接進行合理布局
我們在網(wǎng)站的文章內(nèi)容之中也不要忘記了鏈接布局這種形式，在進行常規(guī)性的文章更新工作的時候我們可以將文章中的關鍵詞作一個鏈接指向，指向其它的文章內(nèi)容頁面或者網(wǎng)站的欄目頁面，這樣搜索引擎蜘蛛在抓取了這篇文章內(nèi)容之后就會向下一篇文章內(nèi)容進行抓取，這也間接性的提高了搜索引擎蜘蛛抓取的頁面進度與力度，大家可以想一下，一個中心匯出來了無數(shù)的點，蜘蛛能不高興嗎?這代表他能夠吃到的食物更豐富，這也是我們在進行文章內(nèi)容頁面鏈接布局的關鍵點。
通過前面的三種方法讓網(wǎng)站的結構呈現(xiàn)遞進化的趨勢，通過層層引入、蜘蛛抓取的方法讓網(wǎng)站的收錄得到極大的提高，有時候搜索引擎蜘蛛并不是不想抓取你的網(wǎng)站，而是你的網(wǎng)站垃圾太多了，每隔一周檢查網(wǎng)站的鏈接也是很有必要的，這也是提高搜索引擎抓取力度的一個因素。 |
返回頂部