leftso 234 0 2019-09-21 19:27:13

文章位置:左搜> SEO> 正文

1.新增nginx屏蔽配置文件

屏蔽恶意蜘蛛

文件暂时为
/etc/nginx/conf.d/deny_ua.config
说明:文件名deny_ua.config,后缀为.config非.conf,原因是.conf在conf.d目录下默认配置会扫描所有.conf文件。如果我们只希望某个站配置,则这里就不能用.conf

2.deny_ua.config文件内容:

 
#forbidden UA
if ($http_user_agent ~ "Bytespider|^$" )
{
    return 403;
}


以上为禁用UA为空或者UA包含Bytespider的访问;
如果需要屏蔽其他者修改
"Bytespider|^$"  
这一部分,例如屏蔽百度
"BaiduSpider|Bytespider|^$" 

3.在nginx对应的server片段引入配置

xxx.con.conf

server{
.....其他省略....
include conf.d/deny_ua.config
.....其他省略....
}
 

4.重启nginx

nginx -s reload

5.测试

curl -A "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.1547.1694 Mobile Safari/537.36; Bytespider" http://www.leftso.com

<html>
<head><title>403 Forbidden</title></head>
<body bgcolor="white">
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.10.2</center>
</body>
</html>
 
SEO nginx 蜘蛛 网站建设

评论区域

暂无评论,快来抢首发吧!!!