检查站点可编入索引-爬取工具Screaming Frog

福建低调 · 发表于 2019-6-26 09:59:00

检查站点可编入索引-爬取工具Screaming Frog
检查爬虫是否可以抓取网站之后，还要搞清楚网站上的网页有没有编入Google索引。可以使用URL检查工具分析特定的URL。如果某主页的流量有所下降，就该检查这个新加入的网站是不是已经编入索引，或者对这个网址进行问题排查。
可用爬取工具Screaming Frog来检查网站能否索引。Screaming Frog是最强大、使用最普遍的爬取软件之一。它有付费版本和免费版本，可以根据网站的大小进行选择。免费版本的功能有限，抓取的数量限于500个URL。而付费版本的年费是149英镑，有很多的功能和可用API，没有抓取限制。
运行爬取工具Screaming Frog之后，就可以看到和索引相关的两列结果。
Indexability：可索引性，显示URL能否被编入索引，是“可索引”还是“不可索引”。
Indexability Status：可索引性状态，显示URL不可索引的原因是什么，是不是被编为了另一个URL，或是带有无索引标签。这个工具是批量审核网站一种很好的方式，可以了解哪些网页正在被编入索引，哪些网页不可被编入索引，这些都会显示在结果中。
对列进行排序并查找异常的情况，使用Google Analytics API，能有效识别出可索引的重要页面。
注册码_[用户名+Key}：
seo1-474B3252FA-1595210605-198EF21385
seo2-C1F73A7417-1595210625-1C895790D5
seo3-58AC5A5039-1595210641-1FE1FABA6A
seo4-F4230DBC9C-1595210652-1F2F4F5570
seo5-289241D8CE-1595210663-142FD1D2EC
seo6-84D97FE8F0-1595210686-BA87A19072
seo7-3A0DCED45F-1595210696-F1D2019B94
seo8-196FECC8EB-1595210706-AAA48E06C6
seo9-B4EE54F4B6-1595210718-5CBB0DBBC1
下载地址：https://www.screamingfrog.co.uk/seo-spider/

		自动登录	找回密码
密码			立即注册