在网站优化中我们怎样避免蜘蛛陷阱

想必做搜索引擎优化的小伙伴知道,网站被搜索引擎中收录是做优化的前提,如果你的网站没有被搜索引擎收入,SEO就无从谈起。 因此,想让你的网站被收录首先要让蜘蛛来抓取你的网站,蜘蛛沿着超链接爬取我们的众多页面,但是有些页面是爬不到的,有的是因为网站自身存在一些不利于蜘蛛爬行,导致其对应的页面很难被搜索引擎收录,这样就形成了“蜘蛛陷阱”

蜘蛛陷阱

有一些网站的设计技术对于SEO很不友好,不利于蜘蛛的爬行和抓取,我们将这些技术统称为蜘蛛陷阱。常见的应该全力避免的蜘蛛陷阱包括以下这些,跟随小编来看看。

1、站点存在FLASH

有些网站为了增加网站的视觉效果。使用了一小部分Flash做成广告。这种小Flash和图片的效果是一样的,只是HTML代码中的很小一部分,页面上还有其他以文字为主的内容,所以对搜索引擎的抓取和收录没有影响。

但是有的网站就不一样了,网站首页整个就是一个大的FLASH,这就构成了蜘蛛陷阱。搜索引擎抓取的HTML代码只有一个连Flash的文件的链接,没有其他文字内容。搜索引擎是无法读取Flash文件中的内容文字和链接。这种整个就是一个大的Flash 的网站,可能视觉效果很好,可惜搜索引擎看不到,不能索引出任何文字信息,也就复发判断相关性。

还有的网站通过一个Flash动画片头,用户点击后才被转向真正的主页。搜索引擎不能抓取到Flash,一般也没有办法抓到网站首页的内容。

2、Session ID

有些网站使用Session ID(会话ID)跟踪用户访问,每个用户的访问网站的时候都会生成唯一独特的Session ID,加在URL中,搜索引擎蜘蛛的每一次访问都会被当成一个新的用户,在URL中加上一个不同Session ID,这样搜索引擎每次访问得到的页面URL将不一样。后面带着一个不一样的Session ID。这也是最常见的蜘蛛陷阱之一。

搜索引擎遇到这样的链接,会尝试判断字符串是Session ID还是正常的参数,成功判断出Session ID就可以去掉Session ID,但是经常判断不出,要么不收录,要么收录多个带有不同Session ID的URL,内容却完全一样,形成大量的复制内容,这两种情况对优化都不利。

3、各种跳转

搜索引擎对其他形式的跳转都比较敏感,如302跳转、JavaScript跳转、Flash跳转、Meta Refresh跳转。

黑帽SEO经常使用转向来欺骗搜索引擎和用户。所以除非万不得已,尽量不要使用301转向以外的跳转

4、框架结构

在早期框架到处被泛滥使用,而现在框架网页很多网站已经很少使用了,一是因为现在随着各大CMS系统的开发问世,网站维护相对也越来越简单了,早期网站使用框架是因为对网站页面的维护有一定的便利性了,现在已经大可不必了,而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。

5、动态URL

在url中加入过多的符号或者网址参数等,这种蜘蛛陷阱我在url优化中曾经有提到,虽然说随着搜索引擎的的技术发展,动态url对于蜘蛛的抓取已经越来越不是问题了,但是从搜索引擎友好度上来讲,静态哪怕是伪静态url相对来说都比动态url要好,可以看下很多SEO同行对于url中的处理方式。

6、JavaScript 链接

虽然搜索引擎现在能够跟踪甚至反汇编javascript中链接的分析,但最好不要期望搜索引擎克服自己的困难,虽然js可以做一些很好的导航,但css也可以做同样的事情为了改善 该网站在搜索引擎上的友善建议使页面蜘蛛爬虫更好,尽量不要使用js,当然,在SEO中,js的优势在于网站管理员不想被包含在页面或链接中可以使用JS。 还有一种方法可以使用<noscript>标记消除JavaScript spider陷阱。 <noscript>标记是不支持JavaScript的浏览器的替代方法。 蜘蛛不执行JavaScript,因此它们被处理<noscript>代码所取代。

7、要求登录或者注册

常识性的蜘蛛陷阱,采用强制注册或登录才能访问的页面,这种的对于蜘蛛来说就相当为难了,因为蜘蛛无法提交注册更无法输入用户名和密码登录查看内容,对于蜘蛛来说我们直接点击查看到的内容也是蜘蛛所能看到的内容。

8、强制使用Cookies

强制使用cookies,对于搜索引擎来说是相当于直接禁用了cookies的,而有些网站为了实现某些功能会采取强制cookies,比如说跟踪用户访问路径,记住用户信息,甚至是盗取用户隐私等,如果用户在访问这类站点时没有启用cookies,所显示的页面就会不正常,所以对于蜘蛛来讲同样的网页无法正常访问。

9、robots.txt书写错误和各种各样的作弊手法,比如说隐藏文字,隐藏链接等,采用伪装网页在判断来访者是蜘蛛还是普通浏览器者而显示不同的网页,使用默认错误的404页面等,同样会给蜘蛛带来爬行障碍。

您可能还会对下面的文章感兴趣: