Deusu

DeuSu 是我的个人项目。它是一个拥有独立索引的搜索引擎。创建搜索索引,超过十亿个网页要爬。DeuSu机器人软件用来做这个。

目前的(几乎)所有请求DeuSu机器人来自ip地址85.93.91.84和130.180.122.35。唯一的例外是一些非常小的测试,我不使用这两种服务器,但实际上我用我的电脑在家里。

不过对于国内网站来说不会带来什么流量，可以选择robots.txt协议禁止。

User-agent: Deusu

Disallow: /

如果还是禁止不了，可以选择nginx规则禁止访问，如下：

if ($http_user_agent ~* "Deusu") {

 return 403;

}