2018-08-21

搜索引擎蜘蛛地址库

搜索引擎蜘蛛有一个专门的地址库,用来存放已经被发现的URL(已被抓取和未被抓取的都算,只要是被发现的URL都算),这样就不会出现重复爬行和抓取页面的情况了。

① 地址库URL来源

蜘蛛抓取的页面中发现的新的URL;

站长后台自主提交的URL;

站长后台提交的XML地图中的URL;

站长后台提交的网站URL;

② 对于未被抓取的URL

对于未被抓取的URL,不管是以什么方式获取的,哪怕是搜索引擎蜘蛛自己发现的,也会先放入地址库中,然后在做统一抓取。

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

置顶文章