MSNBot-Academic

MSNBot-Academic是微软公司的网络爬虫,用于收集和索引学术文献和研究内容。它是专门针对学术领域的搜索引擎蜘蛛,用于帮助用户在学术研究中查找相关信息。 MSNBot-Academic会定期访问学术网站和数据库,收录其中的学术论文、期刊文章等内容,并通过微软的学术搜索引擎展示给用户。

不过对于国内网站来说不会带来什么流量,可以选择robots.txt协议禁止。

User-agent: MSNBot-Academic

Disallow: /

如果还是禁止不了,可以选择nginx规则禁止访问,如下:

if ($http_user_agent ~* "MSNBot-Academic") {

 return 403;

}


补充纠错
上一蜘蛛: EtaoSpider
下一蜘蛛: lycos_spider