« ピザの自販機 | トップページ | 営業担当者とウェブ管理者の攻防 »

2008/06/27

毎日新聞の海外向け変態記事騒動

ブックマークに追加する
Yuusakuさんのブログで、最近、ネットを騒がせている毎日新聞の英字による変態報道についてのエントリがあった。

リンク:毎日新聞、変態記事は会社ぐるみの犯行? - ひるねこ日記

この記事中では、HTML中のメタタグにある問題の単語についてしめされているが、さらに、robots.txtについても言及があったので、このrobots.txtがいつ頃設置されたのか調べてみた。

Technorati Tags: , , ,



使ったのは、cURLコマンド

$ curl -I http://mdn.mainichi.jp/robots.txt
HTTP/1.1 200 OK
Date: Thu, 26 Jun 2008 22:31:58 GMT
Last-Modified: Tue, 03 Jun 2008 07:17:36 GMT
Accept-Ranges: bytes
Content-Length: 43
Cache-Control: private
Connection: close
Content-Type: text/plain; charset=utf-8

このコマンドの出力で注目すべき箇所は、「Last-Modified:」と書かれている行で、この行が該当ファイルの最終更新日を示すが、この出力によると、
Last-Modified: Tue, 03 Jun 2008 07:17:36 GMT

えっと、2008年6月3日が最終更新日...


それまで設定していなかったのかい(ぉい
# もちろん、それ以前に別の内容が存在した可能性もある。

但し、このrobots.txtというファイル、通常、サイトをオープンしたタイミングで、クローラーに来て欲しくないcgiのディレクトリや、来て欲しくないタイプのクローラーを設定すれば、滅多に変更しないファイルなので、今年の6月3日にわざわざ変更しているのは非常に怪しい。



■2008年7月12日追記
7月10日(木曜日)のlivedoor ニュースに、この問題のサイトのrobots.txtのネタが載っていた。

リンク:livedoor ニュース - 毎日新聞が検索エンジンを拒否!? メディアの自殺行為か

全クローラー拒否な設定
User-agent: *
Disallow: /
というのも何だか(Webアプリケーション等の開発用サーバではよくある設定)...というところだが、この全拒否の設定、いつ頃実施されたのか調べてみた。

$ curl -I http://mdn.mainichi.jp/robots.txt
HTTP/1.1 200 OK
Date: Fri, 11 Jul 2008 16:18:04 GMT
Last-Modified: Fri, 27 Jun 2008 14:58:32 GMT
Accept-Ranges: bytes
Content-Length: 26
Cache-Control: private
Connection: close
Content-Type: text/plain; charset=utf-8


最初に調べたときと比較するとサイズも小さくなっているが、それはスルーして、Last-Modifiedを見ると、日本時間で、2008年6月27日の夜23:58に変更されている...

このエントリを投稿した夜に実施された模様。


●お探し物は見つかりましたか?まだの方は以下の検索をご利用下さい。
 
当ブログ内 (within this blog) Web
●当ブログのRSSフィードをお手持ちのRSSリーダーにご登録いただくと、エントリ追加時のみ更新通知が届くため、確認の手間が省けます。よろしければ、どうぞ。
当ブログのRSSフィード
●当ブログの更新情報+α(deliciousのブックマーク他)はTwitter経由でも確認できます。是非フォローしてください。(実はRSSフィードよりも更新が早かったりします)

|

ニュース」カテゴリの記事

blog comments powered by Disqus


●Google広告


●その他の広告



トラックバック

この記事のトラックバックURL:

●トラックバックされる方へのご注意
本文中でこのエントリのアドレスを引用してください。引用(言及リンク)がない場合はスパム(迷惑行為)として削除します。
なお、迷惑行為かどうかを人力で判定しているため、トラックバックが反映されるまでに少々、お時間を頂いています。
For foreigners: If you would like to trackback to this entry, please include permlink of this entry in your entry. If your entry doesn't include this permlink, I will delete your trackback as spam.

この記事へのトラックバック一覧です: 毎日新聞の海外向け変態記事騒動:

 
Google