ぽちぽちとコンテンツ更新

 EC2はネットワークのoutboundは重量課金なのでなるべく軽くなるように作業。1年は月間15Gまでは無料ですけども。
 画像ファイルで1Mbyte超のがあったのでリサイズ&リコンプレスして1/10以下に。あとは、クロウラーをどう選別するか。特定クライアントから短期間に大量アクセスが有った時に止めるオブションを探し中。limit_*系のディレクティブでなんとかなるか?年末年始休暇のネタが増えた。
 人が普通にアクセスしてくださる分には大丈夫です。botnetと独自クロウラーが厄介なんだよ。もぐらたたきは自動化したいねぇ。もぐらたたきはめんどくさいからIE6らしきものはすべて天空に飛ばすようにした。今時IE6なんて企業内だけですから、当サイトの対象ではないす。
 CloudWatchのalarmは設定してるのでこれを自動化して、1日の想定転送量を超えたら閉店するとか、imgは落とせなくするとか、いろいろやる事はありそうです。
 
12/18追記
 forbiddenを返してるのにひたすら突撃しているクロウラーがある。どうやら何かのコンテストらしい。迷惑千万(一応数バイトのエラーステータスは返してやってるので)だし、こんなのはコンテンストで落ちるべきである。
 そして、今日はbingbotが来ている。非常に紳士的なクロールなので特に何も対処しません。何だかんだ行ってもMSは余裕があるから目立ちたいだけの奴とはやり方がそもそも違う。
 まぁ、結構効き目のあるフィルターが有ったのでこれで様子をみつつ。CloudWatchの閾値を検討しよう。

シェアする

フォローする