看了一篇大牛的博客,其中有一个点是用nginx分离爬虫和正常用户流量, 这种写法和我们之前用nginx lua中分离流量的用法很相似,在此记录一下, 就是先定义一个默认变量,也就是flag,然后针对flag进行判断,然后导向不同的后端。

set $flag 0; 
if ($http_user_agent ~* "spider") { 
    set $flag "1"; 
} 
if($flag = "0") {
    //代理到正常集群
}
if ($flag = "1") { 
    //代理到爬虫集群
}

更多推荐