Yahoo!Japanに報告しておいたY!Jのクロウラーの挙動。「ご連絡いただきました件については、弊社担当部署にて確認いたします。」云々のメールが届いてたけどその後は音沙汰無し。
本日20:01:10を最後にクロウルが止まったような感じ。でもこの時刻ってのはなんか気になります、人力？。ま、アクセスして来なければそれで良いんだよ。さよなら。
クロウラーは基本GoogleとBingは許容するが、他の研究だとか言う奴はOutboundの通信費用を払ってくれるのか？前世紀ならともかく2013年の今頃そんな研究やってる状況か？と言いたい。国内の某機関も。大体なんの研究なのか位は情報取得元に示すべきでは？
で、Y!Jからは、確認結果は届くのだろうか？もし、robots.txtは読まない、httpのステータスコードなんぞ無視。できるだけ得られたレスポンスを集める。こんなクロウラーだったら。何も回答が来ないかな。