Nginx 配置robots.txt禁止收录,在对应的server里面添加以下配置
location =/robots.txt {
default_type text/html;
add_header Content-Type "text/plain; charset=UTF-8";
return 200 "User-Agent: *\nDisallow: /";
}
不用单独添加一个文件,比较方便。
https://www.leftso.com/article/2408200957514654.html