首頁 > 移動互聯 > 如何利用robots.txt 優化 wordpress博客?

如何利用robots.txt 優化 wordpress博客?

2015-04-21 admin 移動互聯 0人評論 36914

如何利用robots.txt 優化 wordpress博客?  移動互聯  第1張

3分快3 筆者在百度站長平臺檢測自己的博客時,出于優化的慣性,對博客的Rbots進行了檢測,進而在百度搜索了wordpress博客robots的寫法設置問題,看了很多wordpress高手對robots優化設置后,終于有所領悟,在此也分享給一些wordpress新手看看如何去善用robots.txt對wordpress博客進行優化。

一、先來普及下robots.txt的概念:

3分快3 robots.txt(統一小寫)是一種存放于網站根目錄下的ASCII編碼的文本文件,它通常告訴網絡搜索引擎的漫游器(又稱網絡蜘蛛),此網站中的哪些內容是不能被搜索引擎的漫游器獲取的,哪些是可以被(漫游器)獲取的。這個文件用于指定spider在您網站上的抓取范圍,一定程度上保護站點的安全和隱私。同時也是網站優化利器,例如屏蔽捉取站點的重復內容頁面。

3分快3 robots.txt目前并不是一種標準,只是一種協議!所以現在很多搜索引擎對robots.txt里的指令參數都有不同的看待。

二、使用robots.txt需要注意的幾點地方:

3分快3 1、指令區分大小寫,忽略未知指令,下圖是本博客的robots.txt文件在Google管理員工具里的測試結果;

2、每一行代表一個指令,空白和隔行會被忽略;

3分快3 3、“#”號后的字符參數會被忽略;

3分快3 4、有獨立User-agent的規則,會排除在通配“*”User agent的規則之外;

5、可以寫入sitemap文件的鏈接,方便搜索引擎蜘蛛爬行整站內容。

6、盡量少用Allow指令,因為不同的搜索引擎對不同位置的Allow指令會有不同看待。

三、Wordpress的robots.txt優化設置

1、User-agent: *

一般博客的robots.txt指令設置都是面對所有spider程序,用通配符“*”即可。如果有獨立User-agent的指令規則,盡量放在通配“*”User agent規則的上方。

3分快3 2、Disallow: /wp-admin/

3分快3 Disallow: /wp-content/

Disallow: /wp-includes/

屏蔽spider捉取程序文件,同時也節約了搜索引擎蜘蛛資源。

3、Disallow: /*/trackback

3分快3 每個默認的文章頁面代碼里,都有一段trackback的鏈接,如果不屏蔽讓蜘蛛去捉取,網站會出現重復頁面內容問題。

4、Disallow: /feed

3分快3 Disallow: /*/feed

Disallow: /comments/feed

頭部代碼里的feed鏈接主要是提示瀏覽器用戶可以訂閱本站,而一般的站點都有RSS輸出和網站地圖,故屏蔽搜索引擎捉取這些鏈接,節約蜘蛛資源。

5、Disallow: /?s=*

3分快3 Disallow: /*/?s=*

這個就不用解釋了,屏蔽捉取站內搜索結果。站內沒出現這些鏈接不代表站外沒有,如果收錄了會造成和TAG等頁面的內容相近。

6、Disallow: /?r=*

屏蔽留言鏈接插件留下的變形留言鏈接。(沒安裝相關插件當然不用這條指令)

7、Disallow: /*.jpg$

3分快3 Disallow: /*.jpeg$

3分快3 Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$

3分快3 屏蔽捉取任何圖片文件,在這里主要是想節約點寬帶,不同的網站管理員可以按照喜好和需要設置這幾條指令。

3分快3 8、Disallow: /?p=*

屏蔽捉取短鏈接。默認頭部里的短鏈接,百度等搜索引擎蜘蛛會試圖捉取,雖然最終短鏈接會301重定向到固定鏈接,但這樣依然造成蜘蛛資源的浪費。

3分快3 9、Disallow: /*/comment-page-*

Disallow: /*?replytocom*

3分快3 屏蔽捉取留言信息鏈接。一般不會收錄到這樣的鏈接,但為了節約蜘蛛資源,也屏蔽之。

10、Disallow: /a/date/

Disallow: /a/author/

Disallow: /a/category/

Disallow: /?p=*&preview=true

3分快3 Disallow: /?page_id=*&preview=true

3分快3 Disallow: /wp-login.php

3分快3 屏蔽其他的一些形形色色的鏈接,避免造成重復內容和隱私問題。

10、Sitemap:http://***.com/sitemap.txt

網站地圖地址指令,主流是txt和xml格式。告訴搜索引擎網站地圖地址,方便搜索引擎捉取全站內容,當然你可以設置多個地圖地址。要注意的就是Sitemap的S要用大寫,地圖地址也要用絕對地址。

上面的這些Disallow指令都不是強制要求的,可以按需寫入。也建議站點開通谷歌管理員工具,檢查站點的robots.txt是否規范。

好了,以上就是對利用robots.txt對wordpress博客進行優化的詳細內容,希望可以幫助和我一樣剛接觸wordpress博客的同學。

 

標簽:

發表評論

◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。

官方微信公眾號
70755559
09:00 - 22:00
QQ客服: 70755559
客服郵箱: 678128@qq.com
2分快3-推荐 1分快3-官网 好运快3-欢迎您 幸运快3-安全购彩 网投app-Welcome 分分快3app-Home 1分快三平台-3分快3 彩票代理-推荐 五福彩票-官网 彩票大赢家-欢迎您