今日發現，有好多同學開始玩WordPress了，很高興有些志同道合的朋友加入WP的大家庭。可是，不管你的水平如何，只要你是站長，就有必要懂的Robots.txt的寫法與作用。近日，小站的?p=XX頁面老是出現在百度收錄中，雖然有增加收錄的作用，但是會對網站權重造成影響。所以我采取了一系列的措施來避免過多的重復頁面抓取。

其實，我從一開始就做了Robot的優化工作，只不過搬空間時候忘了那個Robots文件了……一失足成千古恨，博客收錄降了好多……WordPress的優化還是做得很好的，雖然有些地方需要借助自己對Html等小知識的掌握，但這并不妨礙你把WordPress站點打造成優化典范！

下面我分享一下自己博客的Robots文件，并簡單的說一下作用。

User-agent: *

Disallow: /comments/feed/

Disallow: /*/trackback

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /*?replytocom=

Disallow: /*/comment-page-*

Disallow: /?r=*

Disallow: /?p=*

Disallow: /page/

Allow: /wp-content/uploads/

Sitemap: http://***.me/sitemap.xml

Sitemap: http://***.me/sitemap_baidu.xml

上面的User-agent:*意思就是對所有的蜘蛛進行規則，Disallow想必大家英文稍微會一點的都懂。比如Disallow: /page/意思就是不要抓取/page下面的網頁，以免造成降權。

晚上見有童鞋將Disallow: /*?replytocom=和Disallow: /*/comment-page-*類似的寫成Disallow: *?replytocom=以及Disallow:*/comment-page-*特意說明一下，在百度官方的說明中，Disallow的地址必須以/這個斜杠開頭，不加這個雖然可以但是不符合標準。

筆者認為：半懂不懂我們學習不應該有，可有可無這個還是有著比較好！標準在那里，咱們就看標準來吧！希望大家可以多多交流，共同學習！有錯誤請及時更正指出，謝謝！

在最后祝愿玩WordPress的同學技術步步高，WordPress建站值得你堅持下去，希望看到越來越多的網友有自己的建站一周年紀念文章出現！