我的WordPress robot.txt详细设置

下面是我的wordpress robot.txt详细设置,供使用WordPress的同学参考:

User-agent: *
Disallow: /wp-*
Disallow: /cgi-bin/
Disallow: */comment-page-*
Disallow: /*?replytocom=*
Disallow: */trackback
Disallow: /?random
Disallow: */feed
Disallow: /*.css$
Disallow: /*.js$
Disallow: /?r=*
Allow: /wp-content/uploads
Sitemap: http://fengten.com/sitemap_baidu.xml

robots.txt基本介绍

robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。

当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。
另外,robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。


  • 标签:  |  |  |  | 
    将此文分享到:


    转载请注明来自风腾网-wordpress企业主题,本文地址:http://fengten.com/3289.html
    除非注明,风腾网-wordpress企业主题文章均为原创,转载请注明出处和链接!
    友荐云推荐

    相关文章

    发表评论:

    *

    *

    顶部 友荐云推荐