首页 关于 品牌网站 营销型网站 网站托管 关键词排名 微信开发 增值服务 新闻 联系 SEO知识库 网站后台操作指导 ICP备案
第三章 3.1 搜索引擎工作机制—SE spider爬行链接抓取内容 上

第三章 3.1 搜索引擎工作机制—SE spider爬行链接抓取内容 上

从原理出发 方 抓蛇三寸 手到擒来

2018年01月11日

依据计划,本次我们开始带来搜索引擎基本工作原理的内容。【小编混迹于互联网界多年,先后于济南、聊城网络公司长年从事网站建设工作,网站优化是个人一大兴趣爱好,非常想借此机会总结一下,感谢大家捧场!】


本章导言 》》》》》》》》

百度搜索引擎的工作机制复杂,今天起我们为大家介绍其基本的工作原理,虽然相对基础,但所有的高级内容都是从基础出发,从这些理论中我们能获得基础的搜索引擎优化做法。

SE(搜索引擎简称)的工作过程大概分3个环节:

一,爬行链接抓取内容

二,预先处理

三,产生排名

基本概念  》》》》》》》》

今天首先介绍爬行链接与抓取内容:

搜索引擎依依靠特定的程序完成类似通过浏览器浏览网页的过程,在这个过程中将浏览到的网页读取并存入到自身数据库中。这里的搜索引擎特定程序被称为SE spider(搜索引擎蜘蛛)或者SE bot 。

SE spider 访问网站时候,首先访问网站根目录的robot.tex文件,依据其给出的规则爬行。 SE spider 访问时向页面发送访问请求,服务器返回HTML代码,SE bot将页面存入原始页面库。 同时为了提高速度,SE spider都是并发分布工作。

SE spider有自己的身份标示,比如:百度蜘蛛baiduspider

互联网上的每个站都是一个小岛,站与站之间都是通过链接来联系起来。SEspider就是通过网站之间的链接来从一个站发现另外的网站,依次爬行。

同时网站多数都是有着内容的更新,所以SEspider不但是从一个网站想其它网站拓展爬行,同时也有在一个站内的深度爬行与相隔一段时间的再次爬行更新。

深度探索  》》》》》》》》

浩瀚网海,为了能够收纳更多的内容,搜索引擎蜘蛛有两种爬行策略,横向广度爬行和纵向深度爬行。

横向广度爬行指的是搜索引擎蜘蛛达到新页面发现有多个连接后,对每个链接进行一次爬行,全部爬行完毕后,再到第二层页面对发现的链接进行爬行,进而到达第三层、第四层......等等。【 依据本原理,当你发现自己的网站只有首页和部分列表页被收录,那么基本可以判断,是网站只是经历了横向广度爬行 】

纵向深度爬行指的是搜索引擎蜘蛛爬行链接到P页面,从P页面的某链接a1挖掘一直爬行到a2、a3、a4、a5到a6就再也没有其它链接可以跟踪爬行,于是搜索引擎蜘蛛原路返回到P页面。继续沿着P页面的b链接进行深度挖掘爬行。在此爬行方式中,SEspider一直向前到没有链接可以跟踪,才返回爬行另外一条线。【了解了这条原理小编推测对于大型网站搜索引擎蜘蛛会更多给予这种爬行方式】

横向广度爬行和纵向深度爬行是被搜索引擎综合使用的爬行方式。两者结合既能通过横向广度爬行收录到更多的网站(可能只是首页),也能通过纵向深度爬行顾及到一部分网站的内页。当然具如何分配爬行方式的判定就稍显复杂,涉及到页面权重、网站的规模体量、外部链接数量质量、网站的更新频率、网站访问量等因素。

本期《第三章 3.1 搜索引擎工作机制—SE spider爬行链接抓取内容 上》到此结束。




光大互联【山东光大联创电子商务有限公司】立足聊城的本土网络公司,承接品牌网站建设营销型网站建设聊城SEO网站托管 | 光大互联,只做有效果的网站!

内容关键词: 聊城网络公司 聊城SEO

推荐阅读

@光大君-留言:

*填写您的需求信息,如有必要我们会在24小时内与您取得联系。
线上服务咨询 156-0635-1330 填写需求索取报价