如何使用 robots.txt 優(yōu)化你的 WordPress 站點(diǎn);wordpress博客seo優(yōu)化設(shè)置之robots協(xié)議文件寫法大全

[重要通告]如您遇疑難雜癥,本站支持知識(shí)付費(fèi)業(yè)務(wù),掃右邊二維碼加博主微信,可節(jié)省您寶貴時(shí)間哦!

在文章開始之前，我們要來聊下啥是Robots；

Robots協(xié)議是啥？Robots協(xié)議是什么？

Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

搜索引擎機(jī)器人訪問網(wǎng)站時(shí)，首先會(huì)尋找站點(diǎn)根目錄有沒有 robots.txt文件，如果有這個(gè)文件就根據(jù)文件的內(nèi)容確定收錄范圍，如果沒有就按默認(rèn)訪問以及收錄所有頁面。

知道Robots協(xié)議的作用后，下面具體說一下WordPress站點(diǎn)如何編寫robots.txt文件。

WordPress站點(diǎn)默認(rèn)在瀏覽器中輸入：http://你的域名/robots.txt，會(huì)顯示如下內(nèi)容：

這是由WordPress自動(dòng)生成的，意思是告訴搜索引擎不要抓取后臺(tái)程序文件。但這遠(yuǎn)遠(yuǎn)不夠，比較完整的WordPress站點(diǎn)robots.txt文件，可參考以下：

wordpress博客程序robots文件寫法大全及說明，請(qǐng)根據(jù)據(jù)自己網(wǎng)站情況自行添加robots協(xié)議

User-agent: * //設(shè)置robots規(guī)則適用的瀏覽者身份為全部UA身份
Disallow: /*?* //屏蔽掉頁面中的動(dòng)態(tài)路徑
Disallow: /?p=* //屏蔽掉非固定鏈接的文章頁面路徑，因?yàn)槊總€(gè)頁面中都會(huì)有一個(gè)shortlink使用的是?p= 的路徑。
Disallow: /index.php //屏蔽掉首頁默認(rèn)頁面的index.php 頁面地址
Disallow: /wp-admin //屏蔽掉后臺(tái)登陸頁面地址，主要是考慮到服務(wù)器安全
Disallow: /wp-content/plugins //屏蔽掉wordpress的插件目錄
Disallow: /wp-content/themes //屏蔽掉wordpress的模板目錄
Disallow: /wp-includes //屏蔽掉wordpress的底層程序目錄
Disallow: /trackback //屏蔽wordpress的頁面回評(píng)路徑
Disallow: /*/*/trackback //屏蔽wordpress分類目錄、文章頁面的回評(píng)路徑
Disallow: /feed //屏蔽wordpress的內(nèi)容訂閱路徑
Disallow: /*/*/feed //屏蔽wordpress分類目錄、文章頁面的訂閱路徑
Disallow: /comments/feed //屏幕wordpress評(píng)論的訂閱路徑
Disallow: /page/ //屏蔽默認(rèn)的翻頁路徑
Disallow: /*/*/page/ //屏蔽分類目錄的翻頁路徑
Disallow: /page/1$ //屏蔽翻頁路徑中的數(shù)字路徑
Disallow: /tag/ //屏蔽標(biāo)簽頁面
Disallow: /?s=* //屏蔽搜索結(jié)果路徑，主要是避免搜索結(jié)果的緩存被搜索引擎收錄
Disallow: /?r=*
Disallow: /*/comment-page-*
Disallow: /*?replytocom*
Disallow: /date/ //屏蔽按日期分類顯示的列表頁面
Disallow: /author/ //屏蔽作者文章列表頁面
Disallow: /category/ //屏蔽以category為起始路徑的分類路徑，如果您沒有使用插件生成不帶category前綴的路徑時(shí)，請(qǐng)不要使用此項(xiàng)規(guī)則。
Disallow: /?p=*&preview=true
Disallow: /?page_id=*&preview=true
Disallow: /wp-login.php //屏蔽后臺(tái)登陸頁面
Sitemap: http://xwa227.cn/sitemap.xml //引導(dǎo)蜘蛛爬取網(wǎng)站地圖
Sitemap: http://xwa227.cn/sitemap_baidu.xml //引導(dǎo)百度蜘蛛爬取網(wǎng)站地圖

當(dāng)我們的網(wǎng)站上線后，有兩項(xiàng)必備的基礎(chǔ)工作要做，一個(gè)是網(wǎng)站地圖sitemap另一個(gè)是網(wǎng)站的優(yōu)化協(xié)議robots，這是最基本的網(wǎng)站內(nèi)容優(yōu)化收錄實(shí)現(xiàn)方法，那如果說我們不想讓搜索引擎收錄某頁面內(nèi)容怎么辦，我們可以通過對(duì)robots的設(shè)置進(jìn)行一個(gè)最優(yōu)的收錄推送，來告訴蜘蛛哪些頁面鏈接是不需要被收錄的，那對(duì)于wordpress來講有很多程序文件及標(biāo)簽或是自動(dòng)的feed文件完成沒有必要收錄，那我們可以通過對(duì)robots的寫法優(yōu)化來實(shí)現(xiàn)收錄內(nèi)容最優(yōu)。

使用方法：

新建一個(gè)名稱為robots.txt文本文件，可參考本文內(nèi)的上面robots.txt，然后上傳到網(wǎng)站根目錄即可。

問題未解決？付費(fèi)解決問題加Q或微信 2589053300 (即Q號(hào)又微信號(hào))右上方掃一掃可加博主微信

所寫所說，是心之所感，思之所悟，行之所得；文當(dāng)無敷衍，落筆求簡潔。 以所舍，求所獲；有所依，方所成！