« 次々に風船を割る犬 | トップページ | ハイウェイを逆行するトラック達 »

2008/01/24

百度(Baidu)のクローラーがまだひどいらしい件

ブックマークに追加する
昨晩はあまりに忙しくて当ブログに新エントリを投稿出来なかったが、今日、帰宅してページ別アクセス数を見ると、一昨年前の8月に投稿した百度についてのエントリになぜかまとまったアクセスがあった。
で、少し調べてみると、評判がまだあまりよくないようだ。

ひるねこ日記さんのエントリによると、百度によるプレスリリース「Baidu.jp、負荷の少ない新型Spiderを投入」と発表されていた内容は、どうも百度がいうほど負荷が下がっていない節があり、さらに、たねちゃんズ13さんの昨年3月頃のエントリによると、当ブログで把握していたアドレス範囲「60.28.0.0/15」以外のアドレス(要するに日本国内の百度)からひどいアクセスがあるらしい。

ということで、たねちゃんズ13さんがエントリで挙げていたIPアドレス「122.152.129.11」を少し調べてみた。

Technorati Tags: ,



まず、IPアドレス「122.152.129.11」は所属ネットワークを調べてみると、BGP情報はAS10026となっており、これはアジア・ネットコムが管理しているネットワークの一部(122.152.128.0/19)に含まれている。

さらに、whoisを調べてみると、百度株式会社が国内で管理しているアドレス範囲は、「122.152.128.0/23」であるため、日本国内の百度からのアクセスを全てFirewallで弾きたい場合は、例えば、iptablesを使用している場合、以下のような記述になる。
/sbin/iptables -A INPUT -i ppp0 -s 122.152.128.0/23 -j DROP

注)アジア・ネットコムの百度以外のアドレス範囲には普通の会社も含まれていたと思うので、上記iptablesで指定するネットマスクは19ビットじゃなくて、23ビットで十分なはず。

なお、ひるねこ日記さんのエントリによると、米国にも百度管理下のアドレスがあるらしいが、当ブログ管理人は(米国での)該当アドレスのサンプルを知らないので、サンプルIPをコメント欄にでも書いていただければ、アドレス範囲と関連ネットワークを別途調べて報告する。


■2008年2月10日追記
ひるねこ日記さんのところで、新しいIPが報告されていた。

リンク:Baiduspiderの新しいIPアドレス - ひるねこ日記

「122.152.140.0/23」も該当するらしい。

で、iptablesの記述。
/sbin/iptables -A INPUT -i ppp0 -s 122.152.140.0/23 -j DROP
# あ、もちろん、ppp0は外部ネットワークのI/Fの例なので、適当に読み替えてください。

●お探し物は見つかりましたか?まだの方は以下の検索をご利用下さい。
 
当ブログ内 (within this blog) Web
●当ブログのRSSフィードをお手持ちのRSSリーダーにご登録いただくと、エントリ追加時のみ更新通知が届くため、確認の手間が省けます。よろしければ、どうぞ。
当ブログのRSSフィード
●当ブログの更新情報+α(deliciousのブックマーク他)はTwitter経由でも確認できます。是非フォローしてください。(実はRSSフィードよりも更新が早かったりします)

|

パソコン・インターネット」カテゴリの記事

blog comments powered by Disqus


●Google広告


●その他の広告



トラックバック

この記事のトラックバックURL:

●トラックバックされる方へのご注意
本文中でこのエントリのアドレスを引用してください。引用(言及リンク)がない場合はスパム(迷惑行為)として削除します。
なお、迷惑行為かどうかを人力で判定しているため、トラックバックが反映されるまでに少々、お時間を頂いています。
For foreigners: If you would like to trackback to this entry, please include permlink of this entry in your entry. If your entry doesn't include this permlink, I will delete your trackback as spam.

この記事へのトラックバック一覧です: 百度(Baidu)のクローラーがまだひどいらしい件:

 
Google