百度是如何收录网页的?百度蜘蛛收录一个网站的的全进程揭秘

  搜索引擎工作过程非常复杂,今天和大家分享一下我所了解的百度蜘蛛是怎么实现网页收录的。

  搜索引擎工作大致可以分为四个过程。

  1、蜘蛛爬行抓取。

  2、信息过滤。

  3、建立网页关键词索引。

  4、用户搜索输出结果。

  蜘蛛爬行抓取

  当百度蜘蛛来到一个页面时,它会跟踪页面上的链接,从这个页面爬行到下一个页面,就好像一个递归过程,这样常年累月,不止疲倦的工作。比如蜘蛛来到了我的博客首页http://blog.sina.com.cn/netSEOer,它会先读取根目录下的robots.txt文件,如果没有禁止搜索引擎抓取,那么蜘蛛就开始针对网页上的链接,进行逐一跟踪爬行。比如我的置顶文章“SEO概述|什么是SEO SEO到底是干嘛的”,引擎就会多进程式的来到这篇文章所在的网页抓取信息,如此循坏,没有终结。

  信息过滤

  为了避免重复爬行和抓取网址,搜索引擎会有一个记录已爬行和未被爬行的地址库,如果你有一个新网站时,你可以去百度官网提交网站的网址,引擎就会记录它,并把它归类到未爬行的网址,然后蜘蛛就会根据这个表格,从数据库中提取URL,访问并抓取页面。

  蜘蛛并不会收录所有的页面,它要经过严格检测。当蜘蛛在爬行和抓取一个网页的内容时,会进行一定程度的复制内容检测,如果网页所在的网站权重低,而且大部分文章都是抄袭来的话,蜘蛛就很可能不喜欢你的网站了,不在继续爬行,也就不收录你的网站。

  建立网页关键词索引

  当蜘蛛抓取了一个页面之后,首先会对页面文字内容进行分析。通过分词技术,将网页的内容简化到关键词,并把关键词和对应的网址制成表格建立索引。

  索引又有正向索引和反向索引,正向索引是把网页内容对应的关键词,反向是关键词对应的网页信息。

  输出结果

  当用户搜索了某个关键词之后,就会通过前面建立的索引表进行关键词匹配,通过反向索引表找到关键词对应的页面,通过引擎对网页综合评分计算以后,根据网页的评分来决定网页的先后顺序排名。

  相关推荐:

  网站优化 百度蜘蛛到底喜欢什么?

  怎么查询ip是否为百度蜘蛛ip? tracert指令的使用方法

以上就是安达网络工作室对于《百度是如何收录网页的?百度蜘蛛收录一个网站的的全进程揭秘》的一些看法。更多内容请查看本栏目更多内容!

本文相关话题: 百度 蜘蛛收录
版权声明:本文为 安达网络工作室 转载文章,如有侵权请联系我们及时删除。
相关文章
SEO优化如此困难?百度挪动搜寻推出新规范

据百度官方数据,百度移动搜索2015年用户量依旧保持了2014年的增长态势,移动市场份额占 80%。如此大的一个...

SEO技巧之如何优化网站能进步百度收录

今天小编为大家带来了SEO技巧之如何优化网站能提高百度收录相关内容的介绍,感兴趣的朋友们可以跟着小编去下...

论坛和社区类的网站该怎样经营?

论坛和社区类的网站该怎么运营?论坛和社区类的网站不可能迅速提升人气,怎么运营才能抓住用户的眼球,使之...

分享一个十分好用引流推行办法 推行引流办法有哪些

引流推广的方法和诀窍有很多,但是有的方法还没有被挖掘,有些引流的妙招就在生活中,下面通过本文给大家分...

流量秘籍 每天20000以上的流量是怎样做到的?

流量就是店铺的核心,没有流量支撑的店铺相当于已经死亡。女装类目的流量还是真的大,就像洪水猛兽,那么每...

怎样防止网站大量反复URL被百度收录?

怎么避免网站大量重复URL被百度收录?很多站长发现,自己的网站出现大量的重复收录,这对万展有很大影响,该...

需求提交

客服服务