网站首页 > 如何利用Meta标记控制搜索引擎Spider

如何利用Meta标记控制搜索引擎Spider

SEO过程中,Meta利用好,那是必须的!

快照不被百度缓存:

<meta name="Baiduspider" content="noarchive">

所有搜索引擎,抓取这个页面、爬行链接、禁止快照:

<meta name="robots" content="index,follow,noarchive">

———————————————————-

<meta name="robots" content="noarchive">

以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话,就可以像如下这样去写

<meta name="Baiduspider" content="noarchive">

需要注意的是,这样的标记仅仅是禁止搜索引擎为你的网站建立快照,如果你要禁止搜索引擎索引你的这个页面的话,请参照后面的办法。

第二种情况:禁止搜索引擎抓取本页面。

在SEO中,禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。因此我们需要对这一部分重点做一次讨论。

为了让搜索引擎禁止抓取本页面,我们一般的做法是在页面的元标记中加入如下的代码:

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

在这里,META NAME=”ROBOTS”是泛指所有的搜索引擎的,在这里我们也可以特指某个搜索引擎,例如META NAME=”Googlebot”、META NAME=”Baiduspide”等。content部分有四个命令:index、noindex、follow、nofollow,命令间以英文的 “,”分隔。

INDEX  命令:告诉搜索引擎抓取这个页面

FOLLOW  命令:告诉搜索引擎可以从这个页面上找到链接,然后继续访问抓取下去。

NOINDEX  命令:告诉搜索引擎不允许抓取这个页面

NOFOLLOW 命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

根据以上的命令,我们就有了一下的四种组合

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">:可以抓取本页,而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">:不许抓取本页,但是可以顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">:可以抓取本页,但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">:不许抓取本页,也不许顺着本页抓取索引别的链接

这里需要注意的是,不可把两个对立的反义词写到一起,例如

<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">

或者直接同时写上两句

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

这里有一个简便的写法,如果是

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

的形式的话,可以写成:

<META NAME="ROBOTS" CONTENT="ALL">

如果是

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

的形式的话,可以写成:

<META NAME="ROBOTS" CONTENT="NONE">

当然,我们也可以把禁止建立快照和对于搜索引擎的命令写到一个命令元标记中。从上面的文章中我们得知,禁止建立网页快照的命令是noarchive,那么我们就可以写成如下的形式:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW,noarchive">

如果是对于单独的某个搜索引擎不允许建立快照,例如百度,我们就可以写成:

<META NAME=" Baiduspider" CONTENT="INDEX,FOLLOW,noarchive">

如果在元标记中不屑关于蜘蛛的命令,那么默认的命令即为如下

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW, archive">

做SEO的,会对你有用的!
天之南专业提供:无锡seo、无锡网站优化、无锡网站建设、SEO优化软件、百度快速排名软件、超级外链工具、原创文章生成软件等,助企业轻松网站排名!
COPYRIGHT © 2011 cntzn.com 无锡seo 版权所有. All rights reserved. | Email :support@cntzn.com 无锡网站优化
苏ICP备17051233号 powered by 天之南 服务支持: