昨天在“搜索引擎是咋□□样工作的”内容中也提到□□了蜘蛛的工作□□□方式分为广度□□和深度,但是没有详细◥的介绍,今天大连网络公司小编就跟大家□□解析一下蜘蛛广度和深□□□□度的工作方法。
搜索引擎蜘蛛□□工作都是深度◎开始,蜘蛛找到一个□□□□链接之后,就会沿着这个□□链接向下一个□□□□链接前进;从一个页面开□□□□始这样重复着□□工作,但不是重复爬□□同一个页面。当蜘蛛爬到无●路可走的时候,才返回爬另一□□□□条路。
蜘蛛的广度工□□□作比较有规律,用字母表示页□□面,就可以很形象•的表示为蜘蛛□□从页面A爬到a1、a2、a3、a4,如果a4页面之后就没□□有其他链接了。然后从另一个♦链接爬到另外b1、b2、b3、b4页面。
如果蜘蛛以广□□□□度优先,那么蜘蛛就能◥在一个页面发□□□现很多个链接,这种爬行是没□□有规律的爬行。按照网站的层□□□□次来爬,先进层爬取完●了之后,再爬取第二层◥页面,以此类推。用字母表示的□□□□话就是从A页面爬到A1、B1、C1、D1页面,爬完之后再继□□续到第二个层□□次,A1爬完爬A2,A2爬完爬A3。
大连网络公司认为,不管是广度还□□□□是深度,蜘蛛都会爬完□□□整个网络,当然也不可能□□每个页面都能□□□□爬取到,所以我们才会□□有网站收录不□□□一样的情况。如何喂饱蜘蛛,那就要让蜘蛛♦在网站中舍不□□□得出来,网站内链和外□□链都要做到尽□□□□善尽美。
扫一扫
关注k8凯发一触即发
全国咨询热线
135-9299-6491