毎日新聞の海外向け変態記事騒動

Yuusakuさんのブログで、最近、ネットを騒がせている毎日新聞の英字による変態報道についてのエントリがあった。

リンク：毎日新聞、変態記事は会社ぐるみの犯行？ - ひるねこ日記

この記事中では、HTML中のメタタグにある問題の単語についてしめされているが、さらに、robots.txtについても言及があったので、このrobots.txtがいつ頃設置されたのか調べてみた。

Technorati Tags: robots.txt, 変態記事, 毎日新聞, 英字

使ったのは、cURLコマンド

$ curl -I http://mdn.mainichi.jp/robots.txt
HTTP/1.1 200 OK
Date: Thu, 26 Jun 2008 22:31:58 GMT
Last-Modified: Tue, 03 Jun 2008 07:17:36 GMT
Accept-Ranges: bytes
Content-Length: 43
Cache-Control: private
Connection: close
Content-Type: text/plain; charset=utf-8

このコマンドの出力で注目すべき箇所は、「Last-Modified:」と書かれている行で、この行が該当ファイルの最終更新日を示すが、この出力によると、

Last-Modified: Tue, 03 Jun 2008 07:17:36 GMT

えっと、2008年6月3日が最終更新日．．．


それまで設定していなかったのかい（ぉい
# もちろん、それ以前に別の内容が存在した可能性もある。

但し、このrobots.txtというファイル、通常、サイトをオープンしたタイミングで、クローラーに来て欲しくないcgiのディレクトリや、来て欲しくないタイプのクローラーを設定すれば、滅多に変更しないファイルなので、今年の6月3日にわざわざ変更しているのは非常に怪しい。



■2008年7月12日追記
7月10日(木曜日)のlivedoor ニュースに、この問題のサイトのrobots.txtのネタが載っていた。

リンク：livedoor ニュース - 毎日新聞が検索エンジンを拒否！？　メディアの自殺行為か

全クローラー拒否な設定

User-agent: *
Disallow: /

というのも何だか（Webアプリケーション等の開発用サーバではよくある設定）．．．というところだが、この全拒否の設定、いつ頃実施されたのか調べてみた。

$ curl -I http://mdn.mainichi.jp/robots.txt
HTTP/1.1 200 OK
Date: Fri, 11 Jul 2008 16:18:04 GMT
Last-Modified: Fri, 27 Jun 2008 14:58:32 GMT
Accept-Ranges: bytes
Content-Length: 26
Cache-Control: private
Connection: close
Content-Type: text/plain; charset=utf-8

最初に調べたときと比較するとサイズも小さくなっているが、それはスルーして、Last-Modifiedを見ると、日本時間で、2008年6月27日の夜23:58に変更されている．．．

このエントリを投稿した夜に実施された模様。