robots文件的意義及對(duì)網(wǎng)站優(yōu)化作用

       robots.txt是放在一個(gè)網(wǎng)站根目次之下的一個(gè)文件，其實(shí)不是給用戶(hù)看的，而是為了讓搜刮引擎看的。robots的意思可以翻譯為搜刮引擎機(jī)械人，也就是搜刮引擎派出去爬取網(wǎng)站頁(yè)面的蜘蛛，而robots文件就是蜘蛛爬取網(wǎng)站時(shí)需求經(jīng)歷的**道們，經(jīng)過(guò)robots文件可以明確自己的訪(fǎng)問(wèn)權(quán)限。籠統(tǒng)的說(shuō)明可以看作是限制某一些蜘蛛進(jìn)入網(wǎng)站，和限制進(jìn)入了網(wǎng)站的蜘蛛訪(fǎng)問(wèn)網(wǎng)站內(nèi)容權(quán)限。

       Robots文件其實(shí)不是一個(gè)像W3C那樣指定收集規(guī)范協(xié)定，而是浩大搜刮引擎約定俗成的。下圖顯示的是我們網(wǎng)站的robots文件內(nèi)容。**行的User-agent: *的意思是以下的Disallow敕令是針對(duì)一切的搜刮引擎的，也能夠改成針對(duì)某一獨(dú)自的搜刮引擎。Disallow后的內(nèi)容則是不準(zhǔn)可搜刮引擎爬取收錄的內(nèi)容。

　　固然知道了robots文件的意義是甚么，然則robots文件關(guān)于網(wǎng)站搜刮引擎優(yōu)化優(yōu)化都有甚么用呢？robots文件關(guān)于網(wǎng)站搜刮引擎優(yōu)化是有著必然感化的，要對(duì)其熟練的停止應(yīng)用，主要有以下五個(gè)方面促進(jìn)網(wǎng)站優(yōu)化履行，因?yàn)閞obots文件是針對(duì)搜刮引擎的，所以應(yīng)用好可以添加搜刮引擎爬取網(wǎng)站的體驗(yàn)度從而添加網(wǎng)站收錄量。

1. 樊籬網(wǎng)站的空、逝世鏈接

　　因?yàn)榫W(wǎng)站內(nèi)容的修改和刪除，輕易招致網(wǎng)站內(nèi)的一些內(nèi)鏈掉效變成空鏈或許逝世鏈。平日我們會(huì)對(duì)網(wǎng)站活期檢查空鏈和逝世鏈，將這些鏈接提取出來(lái)，寫(xiě)入robots文件當(dāng)中，防止搜刮引擎爬取該鏈接，直接晉升搜刮引擎的體驗(yàn)。該種方法是有效的，因?yàn)樾薷脑?jīng)收錄的內(nèi)容時(shí)會(huì)使得搜刮引擎從新的爬取修改過(guò)的網(wǎng)頁(yè)，再次辨別可否停止收錄，假設(shè)沒(méi)有繼續(xù)收錄了，那么就得不測(cè)驗(yàn)測(cè)驗(yàn)了。

2. 防止蜘蛛爬取網(wǎng)站重復(fù)內(nèi)容

　　為網(wǎng)站很多的靜態(tài)頁(yè)面搜刮引擎時(shí)沒(méi)法收錄的，所以很多時(shí)分我們需求關(guān)于這些靜態(tài)頁(yè)面停止制訂一個(gè)靜態(tài)的頁(yè)面以助于搜刮引擎收錄。這<b>鞏義網(wǎng)站優(yōu)化</b>時(shí)分就讓搜刮引擎不要爬取某一些重復(fù)的內(nèi)容，可以增加站內(nèi)的頁(yè)面關(guān)鍵詞權(quán)重競(jìng)爭(zhēng)。

3. 防止蜘蛛爬取成心義內(nèi)容，糜費(fèi)效勞器資本

　　網(wǎng)站上是有很多的內(nèi)容都是一些成心義的內(nèi)容，例如網(wǎng)站的各類(lèi)腳本代碼、css文件和php文件等等，這些文件關(guān)于網(wǎng)站優(yōu)化都是成心義的，爬取這些網(wǎng)站不只不會(huì)收錄，而且還會(huì)糜費(fèi)效勞器的資本。上圖中很多避免訪(fǎng)問(wèn)的內(nèi)容都是這類(lèi)成心義的文件目次。

4. 保護(hù)網(wǎng)站隱私內(nèi)容

　　網(wǎng)站有很多的頁(yè)面都是有著必然隱私的，例如一個(gè)用戶(hù)接受的推送又或許是購(gòu)物車(chē)等等，這些鏈接固然在一個(gè)頁(yè)面當(dāng)中有，然則明顯是不欲望搜刮引擎爬取的內(nèi)容。

5. 有益于網(wǎng)站調(diào)試

　　在網(wǎng)站初步上線(xiàn)前都邑有著必然的毛病，需求一段時(shí)間的調(diào)試再對(duì)搜刮引擎開(kāi)放爬取，在調(diào)試時(shí)代便可以將robots文件設(shè)置為關(guān)于一切的搜刮引擎都處于拒絕爬取形狀，等一切的毛病都處理后再修改robots文件。

　　留心細(xì)節(jié)：每次修改robots文件以后都需求到搜刮引擎站長(zhǎng)平臺(tái)去提交robots文件更新提醒，因?yàn)樗压我娓戮W(wǎng)站的形狀都是需求必然的時(shí)間，只要人工提交才可讓更新后的robots文件like掉效。