Rogerbot 是 Moz Pro Campaign 网站审核的 Moz 爬虫。它与 Dotbot 不同，Dotbot 是为链接索引提供支持的网络爬虫。Rogerbot 访问您网站的代码以将报告发送回您的 Moz Pro Campaign。这可以帮助您了解您的网站并教您如何解决可能影响您的排名的问题。Rogerbot 为您的站点抓取报告、按需抓取、页面优化报告和页面评分器提供数据。
通过 Robots.txt 阻止 Rogerbot 抓取您的网站
如果您厌倦了 rogerbot 抓取您的网站，您可以通过在 robots.txt 文件中的 disallow 指令后添加斜杠 ("/") 来阻止抓取工具。那就是说：“Rogerbot，您无法访问这些页面中的任何一个，该站点上的所有页面都不适合您，请远离，伙计。”使用您的 robots.txt 文件阻止 rogerbot 如下所示：
User-agent: rogerbot
Disallow: /
注意表示站点根目录的斜线。添加此代码将阻止 rogerbot 抓取您的网站所有页面。
您还可以从站点的某些部分（例如子文件夹）中排除 rogerbot。下面是阻止 rogerbot 抓取您某个目录的所有页面：
User-agent: rogerbot
Disallow: */manage/*
热门工具排行榜