如何進(jìn)行robots.txt中的robots優(yōu)化設(shè)置-創(chuàng)新互聯(lián)
本篇文章為大家展示了如何進(jìn)行robots.txt 中的robots優(yōu)化設(shè)置，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。
1。你是否知道robots.txt中文的意思?
2。你是否知道404頁(yè)面應(yīng)該屏蔽?
3。你的企業(yè)站，每個(gè)頁(yè)面是否都有“關(guān)于我們”，并且還得沒(méi)屏蔽掉?
4。你是否知道設(shè)置好robots.txt，是有利于提升網(wǎng)站整體權(quán)重?
5。你想知道robots.txt基本寫(xiě)法?
6。robots.txt該如何寫(xiě)，才優(yōu)化很好。
1。robots.txt的中文意思是：搜索引擎公共協(xié)議。搜索引擎到你的網(wǎng)站，是先看robots.txt，按照上面寫(xiě)好的協(xié)議再抓取你的網(wǎng)頁(yè)。
2。每個(gè)網(wǎng)站都應(yīng)該要有404頁(yè)面，假如沒(méi)有，會(huì)導(dǎo)致 1)減少網(wǎng)站PV 2)減少流量 3)搜索引擎對(duì)你的網(wǎng)站不有好，因?yàn)槟愕木W(wǎng)站用戶(hù)體驗(yàn)度不好。
每個(gè)網(wǎng)站都有很多錯(cuò)誤頁(yè)面，每個(gè)錯(cuò)誤頁(yè)面都應(yīng)該做一個(gè)404頁(yè)面，那么每個(gè)404頁(yè)面都是一樣的。一旦你的404頁(yè)面太多，你還讓搜索引擎去收錄，就會(huì)導(dǎo)致網(wǎng)站把權(quán)重分給這些404頁(yè)面，這值得嗎?因此我們必須要屏蔽掉404頁(yè)面。
3。企業(yè)站的導(dǎo)航欄上面，往往會(huì)有“網(wǎng)上賺錢(qián)博客介紹”“聯(lián)系九月”“關(guān)于我們”這些頁(yè)面。這些頁(yè)面，可以說(shuō)是全站顯示，網(wǎng)站的每個(gè)頁(yè)面幾乎都要分權(quán)重給這些頁(yè)面，但是這些頁(yè)面值得網(wǎng)站分權(quán)重給他們嗎?因此我們也必須屏蔽掉這些“不重要內(nèi)容”的頁(yè)面，不讓搜索引擎抓取。
4。從3.4點(diǎn)，我們可以得出一個(gè)結(jié)論：網(wǎng)站如果有太多無(wú)關(guān)的頁(yè)面被收錄，而你又不想用戶(hù)直接從搜索引擎進(jìn)入這些頁(yè)面，那么網(wǎng)站就會(huì)把權(quán)重分給這些“毫無(wú)意義”的頁(yè)面，這樣就會(huì)降低整體網(wǎng)站的權(quán)重。
簡(jiǎn)而概之，就是網(wǎng)站被這些垃圾頁(yè)面所拖累了。
5。robots.txt的基本寫(xiě)法。
在桌面上建立一個(gè)叫robots.txt文檔
以下內(nèi)容按順序?qū)懀?br/>User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /feed
Disallow: /comments/feed
Disallow: /trackback
Disallow: /guestbook
User-agent: #表示允許的搜索引擎。*代表允許所有，如果僅允許百度蜘蛛，就寫(xiě)baiduspider
Disallow: #是禁止收錄的意思
Disallow: / #表示禁止所有收錄。直接再Disallow:后面加一個(gè)斜杠。
Disallow: /網(wǎng)站后臺(tái)目錄/ #屏蔽目錄的格式
Disallow: /404.html #屏蔽404頁(yè)面
robots.txt里面，任何空格，換行都是被忽略的。robots.txt只看命令的順序，空格、換行都是為了我們看的方便。
6。robots.txt該如何寫(xiě)，才優(yōu)化很好?
看完了前面5點(diǎn)，相信你對(duì)如何優(yōu)化很好應(yīng)該有一個(gè)很好的理解了。
1)屏蔽掉對(duì)網(wǎng)站沒(méi)用的垃圾頁(yè)面，比如404
2)思考一下，你的哪些頁(yè)面雖然必須出現(xiàn)，但是你覺(jué)得沒(méi)必要讓用戶(hù)“從搜索引擎過(guò)來(lái)看”。比如福州SEO的“關(guān)于我們”。那么就不必被收錄。
上述內(nèi)容就是如何進(jìn)行robots.txt 中的robots優(yōu)化設(shè)置，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
當(dāng)前標(biāo)題：如何進(jìn)行robots.txt中的robots優(yōu)化設(shè)置-創(chuàng)新互聯(lián)
標(biāo)題來(lái)源：http://m.jiaotiyi.com/article/cscsph.html