Trong trường hợp Google bots tạo một lượng kết nối quá lớn tới website, nếu trên VPS/Server của bạn có cài đặt Mod Security và CSF Firewall thì google bot có thể bị hiểu lầm là đang tấn công website và sẽ bị chặn. Hậu quả là google bot sẽ không thể truy cập vào site của bạn nữa. Để khắc phục điều này , bạn cần config Mod Security Rules và CSF Firewall rules như sau:

1. Với Mod Security Rules



Mã:
#Allow googlebots
SecRule REMOTE_HOST googlebot.com$ allow,pass
 
#Add this to your config. The right way to identify Google bot is it's User-Agent.
SecRule REQUEST_HEADERS:User-Agent "Googlebot" phase:1,nolog,allow,ctl:ruleEngine=off
 
# GoogleBot by user-agent…
SecRule HTTP_USER_AGENT “Google” nolog,allow
SecRule HTTP_USER_AGENT “Googlebot” nolog,allow
SecRule HTTP_USER_AGENT “GoogleBot” nolog,allow
SecRule HTTP_USER_AGENT “googlebot” nolog,allow
SecRule HTTP_USER_AGENT “Googlebot-Image” nolog,allow
##
SecRule HTTP_USER_AGENT “AdsBot-Google” nolog,allow
SecRule HTTP_USER_AGENT “Googlebot-Image/1.0″ nolog,allow
SecRule HTTP_USER_AGENT “Googlebot/2.1″ nolog,allow
SecRule HTTP_USER_AGENT “Googlebot/Test” nolog,allow
SecRule HTTP_USER_AGENT “Mediapartners-Google/2.1″ nolog,allow
SecRule HTTP_USER_AGENT “Mediapartners-Google*” nolog,allow
SecRule HTTP_USER_AGENT “msnbot” nolog,allow

2. Với CSF Firewall

Ta thêm vào file /etc/csf/csf.rignore đoạn code sau:

Mã:
.googlebot.com
.crawl.yahoo.net 
.search.msn.com


Allow range ip của google vào csf.allow

Mã:
 216.239.32.0/19 # Googlebot
 64.233.160.0/19 # Googlebot
 72.14.192.0/18 # Googlebot
 209.85.128.0/17 # Googlebot
 66.102.0.0/20 # Googlebot
 74.125.0.0/16 # Googlebot
 66.249.64.0/19 #Googlebotallow