网站上线前要做的准备:robots.txt

2017年12月1日12:03:38 发表评论 39

网站域名空间都弄好了,就差等“备案成功“的通知了,想了想之前看过一篇关于网站SEO方面的文章,主要说的是网站上线前的一些准备,里面有介绍网站上线之前要先给网站填充些内容,就是写一些文章,这样的话搜索引擎一爬到你的网站,里面内容都是”新鲜“的,网站友好度就非常的好了,所以我就想到了robots(俗称爬虫协议),使用robots先禁止搜索引擎爬取,等内容足够多了,再允许它爬,下面把我所学到的一些关于robots的经验分享给大家

先来看一段简单的代码  

 User-agent: * 

 Disallow: / 

 这就是简单的robots.txt代码,具体的讲下这两个语法的意思

 

User-agent: *

 

这个的意思就是允许所有的搜索引擎爬取网站,*对于了解过正则表达式的朋友应该是再熟悉不过了,如果想要限制某些搜索引擎,可以这样写:

  

 User-agent: Baiduspider 

 Disallow: /
 

上面的robots就是禁止百度搜索引擎爬取,还可以禁止Googlebot等,具体看自己需求,Disallow就是告诉搜索引擎不要爬取的页面,我们这里设置的是全部,如果你也想在网站还没正式上线前完美网站的内容,你可以将第一段代码复制保存到robots.txt文件中,而且再把文件上传到网站的根目录,这样的话就可以限制所有的搜索引擎爬取网站的内容了,等内容完美之后,一定要把之前的robots文件中的代码修改掉,不然不会被所有的引擎收录的哦。

  

 下面分享一个比较完善适用于wordpress的robots.txt文件内容:

 

 

猿梦

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: