block

block by IP

blockips.confを作って設定

• 設定のポイント /etc/nginx/conf.d/*.conf;のした、つまり、一番下の配置すること。
• /etc/nginx/conf.d/*.conf;の上に置くと聞かなかった。

http {
  ...
  ...
  include /etc/nginx/conf.d/*.conf;

  # BLOCK SPAMMERS IP ADDRESSES
  include /etc/nginx/blockips.conf;
}

個別に指定する方法

http://eng.eelcowesemann.nl/linux-unix-android/nginx/nginx-blocking/

block by useragent

http {
  server {
    if ($http_user_agent ~* 'YandexImages') {
      return 403;
    }
  }
}

block bot

/etc/nginx/robots.txtを作る

http {
  server {
    location = /robots.txt {
      access_log off; # logをのこしたくない(option)
      log_not_found off; # ?(option)
      alias /etc/nginx/robots.txt; # robots.txtの場所を指定
    }
  }
}

robots.txt

# サイト全部 disallow
User-agent: *
Disallow: /

# サイト全体を強化
User-agent: *
Disallow:

# 一部のdirectoryだけ露出
User-agent: *
Disallow: /my_photo/
Disallow: /my_diary/

# 特定検索botだけexclude (To exclude a single robot)
User-agent: EvilRobot
Disallow: /

# 特定検索botだけ許可
User-agent: SomeBot
Disallow:
User-agent: *
Disallow: /

# googleのイメージ検索botにgifとjpjは検索しないようにする
User-agent: Googlebot-Image
Disallow: /*.gif$
Disallow: /*.jpg$

# 特定botの訪問周期を変更
User-agent: BotName
Crawl-delay: 30

開発環境がcrawllingされないように

` http { server { location /robots.txt { return 200 "User-agent: *\nDisallow: /"; } } }