お行儀の悪いロボ
えー、大変にご無沙汰をしています。公私ともにイロイロありまして、ほんともう大変なんスから(故三平師匠の声色でお読みください)
今日はちょっと最近当サイトがらみでいじったことの覚え書き。
以前サーバー移転の話をしたわけですが、その後も定期的にサーバーの負荷が跳ね上がると。ログを見てみると、どうもMT4iのCGIをバカスカたたいていくロボットが原因だと。
以前書いた米Yahoo!のヤツも、どうもrobots.txtは読むんだけれど、きちんと対応してくれんと。そもそも/i/ディレクトリ(当サイトでMT4iのCGIを置いてあるとこ)自体たたかんでくれと記述もしてみたが無視される。
そっちがそうならこっちはこうだ。ということで.htaccessでそこんちのUAは拒否することに。ご愁傷様です。
もうひとつ行儀の悪いロボットがいましてね。こいつもrobots.txtまともに読まない。そしてcgiに大量アクセスかけてきます。こいつはたまらん。super-goo.comってドメインなんですが、香港ですな。UAはDoCoMoのP900iを偽装していて、こいつではじくわけにはいきませぬ。しかたないのでこのドメインのIPブロックごっそり拒否。ご愁傷様です。
ともかくあれだ。静的ページならどんだけたたいてもいいから、cgiはやめてくれ。




