Nginx 屏蔽搜索引擎爬虫配置

Nginx 屏蔽搜索引擎爬虫配置

if ($http_user_agent ~* (baiduspider|360spider|haosouspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
		return  403;
		}

参考来源

另一种利用Nginx反向代理来简单镜像 HTTP(S)网站 的方法