如何快速提高网站排名?深入了解蜘蛛喜好,才能有效优化网站
VIEW CONTENTS
SEO服务网 SEO优化 查看内容

如何快速提高网站排名?深入了解蜘蛛喜好,才能有效优化网站

2017-12-18 10:28| 发布者: SEO优化公司| 查看: 199| 评论: 0
摘要: 掌握蜘蛛爬取的原理可以让我们的文章更容易被收录,简单说一下蜘蛛是如何爬取内容的。蜘蛛先去抓取百度白名单的网站或者一些信任度非常高的站点和页面(例如:一些高权重网站和网站的首页),在抓取这些网页的内容时 ...

掌握蜘蛛爬取的原理可以让我们的文章更容易被收录,简单说一下蜘蛛是如何爬取内容的。

蜘蛛先去抓取百度白名单的网站或者一些信任度非常高的站点和页面(例如:一些高权重网站和网站的首页),在抓取这些网页的内容时发现一些指向另外一些一些页面的链接。蜘蛛会把这些链接保存在自己的数据库里面,然后再根据抓取顺序依次来抓取这些网页。

1、蜘蛛抓取网页的规则:
对于蜘蛛说网页权重越高、信用度越高抓取越频繁,例如网站的首页和内页。蜘蛛先抓取网站的首页,因为首页权重更高,并且大部分的链接都是指向首页。然后通过首页抓取网站的内页,并不是所有内页蜘蛛都会去抓取。

搜索引擎认为对于一般的中小型站点,3层足够承受所有的内容了,所以蜘蛛经常抓取的内容是前三层,而超过三层的内容蜘蛛认为那些内容并不重要,所以不经常爬取。

2、如何看蜘蛛的抓取?
通过iis日志可以看蜘蛛爬取了哪些内容,iis日志有百度蜘蛛、谷歌蜘蛛等。从iis日志里卖弄分析得出蜘蛛的类型、抓取时间、抓取的页面、抓取内容的大小以及返回的页面代码,200代表抓取顺利。


鲜花

握手

雷人

路过

鸡蛋

最新评论

让SEO服务更专业

  • 帝国网络服务有限公司
  • 客服电话:400-050-4004
  • 深圳市南山区西丽硅谷
    大学城创业园C区117

精彩SEO教程,快速SEO查询

关注我们

Copyright SEO优化  Powered by©帝国网络优化公司  技术支持:SEO优化服务公司