网络营销顾问眼镜蛇

SEO营销,博客营销,论坛营销,事件营销,整合营销

« 减肥记录:从185斤减到了160斤从拉手团购网客服挂电话看团购的服务 »

通过收录情况分析搜索蜘蛛喜好

  昨天,眼镜蛇在腾讯微博中(http://t.qq.com/yanjingshe)提出“百度对动态页面的抓取优于静态的”观点,也大量给了举证。比如SEO圈通常用的ZBLOG博客,做小行业门户用到的DEDE CMS,以及地方站用的较多的DISCUZ论坛等,从多个网站的百度SITE中很容易的看出,动态的页面被收录的情况要优于静态的。

  从admin5.com站长网来看,动态URL收录的情况更明显一些。图王的ADMIN5是带用户发布系统的,每天有大量站长所写的文章分享,并且多数是原创、首发的。但发布有个规则,先入库,可以用动态的URL访问(plus/view.php),经过A5编辑审核后,才在首页给入口,并以静态URL的链接进入(article/xxxx/xxxx.shtml)。问题就在这里,通过百度当天收录查询,A5的文章大量收录为编辑未审核前的动态URL,这个URL必须有一个入口,可能是会员的列表页,可能是专有的列表页,但这个入口传递下来的权重,远没编辑审核后首页给入口的静态URL赋予的权重高。谷歌搜索引擎很明显的将首页有入口的静态URL关键词给予排名,完全忽略掉(或者未爬取)未审核前的动态URL。而百度,应该是先抓取了动态URL的页面,之后根据首页的入口抓取静态的页面,动态的先抓,而且内容原创,后抓的则认为是转载内容,加上百度去重规则,后者多数不再收录。

  上面的这种只是推测,同一个网站不同的两个URL,针对百度是,先爬到入口不重要的动态原创页面,后抓到入口重要的静态可能被认为是转载的页面,百度多数赋予了前者予以检索,而忽略后者。针对谷歌,根本没爬动态页面,直接通过首页入口将编辑审核后的静态页面抓取做排名检索。

  这时可以明显看出蜘蛛爬行轨迹,百度的蜘蛛将经常出现大量原创链接的入口页做时常更新,这个入口页不必是网站的首页等权重较高的地方。而谷歌是根据网站的权重来安排爬取规则,即使一个入口页出现了大量的原创链接,因为那个入口页权重很低,谷歌就不会时常以他为入口去爬取的,谷歌更喜欢从权重高的入口页去抓新内容。

  很明显,百度的蜘蛛及索引的排名规则设计的不合理。

  • 相关文章:
  • quote 9.爱非鱼
  • http://www.ifeedfish.com
  • 百度蜘蛛经常会在某几天或某几个星期中,频繁爬入网站,这个时候网站的新网页是比较容易收录的,可能发布几分钟就收录了,当然收录了也有可能第二天被K了。
  • 2010-5-16 22:48:47 回复该留言
  • quote 11.31165网站
  • http://www.31165.com
  • 看后一句话,百度在某种情况下也是被B的!呵呵,从权重高的地方抓,别人就会想办法,用黑手,提升权重。中国人嘛。唉!
  • 2010-5-20 12:59:48 回复该留言
  • quote 19.老石
  • http://ruhe.me
  • 一语点醒梦中人.

    最近测试一个新站,Google半小时收录,当即给排名首位(基本无竞争性)
    百度迟迟不收录.百度速度慢,跟不上.

    看了你的文章,又对百度的一点弱智多了些了解了.
  • 2010-6-1 20:20:28 回复该留言

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

日历

最新评论及回复

最近发表

Powered By Z-Blog 1.8 Arwen Build 90619

Copyright 2009-2010 郭彦景 Rights Reserved.