« カタパルトを使うスカイダイビング | トップページ | 世界最高の木に登ってテープを垂らす動画 »

2007/05/16

Accelobotがやって来た

ブックマークに追加する
ココログをアクセス解析をふと見ると、何か、たくさんアクセスがあり、一体、何があったのかと思って生ログを見てみると、以下のユーザエージェントが多数記録されていた。
Mozilla/5.0 (compatible; heritrix/1.12.0 http://www.accelobot.com)
これが何者であるのかは、ユーザエージェントに含まれるURLを見に行けばわかるのであるが、その前に、heritrixというものを調べてみた。


このheritrixのサイトは以下のリンクにあった。

リンク:Heritrix - Home Page

このHeritrixはWikipediaの説明によると、Javaで書かれたオープンソースのクローラーらしい。

元々は、Internet Archiveで使用されていたものであるが、今回やって来たロボットは、リンク先で明記されているとおり、Accelobotと称しており、Accelovationという、市場調査の会社が改造して使っているものらしい。

今回記録されていたログを見ると、大体20秒に1ページのアクセスを行っているため、サーバ自体にはそれほど負荷をかけているようには見えない。とはいえ、ログを見ている限り、当ブログの全エントリ(1000個余り)を眺めていったようだ。

なお、このロボットは一応、robots.txtに従うようであるが、さらに、Accelovationの索引から完全に削除して欲しければ、nobot@accelovation.comにメールを送っておけばよいと。

このロボットが頻繁にやって来るようであれば、ちょっと考えよう...



■2008年11月20日追記
このAccelobot、久しぶりにまとめてやってきた。

さらに使用されているheritrixのバージョンが微妙に上がっていた。
Mozilla/5.0 (compatible; heritrix/1.15.1-200807172326 http://www.accelobot.com)
アクセス頻度は最短でも20秒〜2分に1回程度なので、どこかクローラー程問題では無いと思うが、アクセス元IPのwhoisを調べてみると、Bay Area Internet Solutionsというプロバイダの配下でクラスCまるまるのアドレス範囲を持っているようだ。
Accelovation BAYA-72-20-99-0 (NET-72-20-99-0-1)
72.20.99.0 - 72.20.99.255

まあ、1年ぶりぐらいのようなので、スルーでも問題無いか...

●お探し物は見つかりましたか?まだの方は以下の検索をご利用下さい。
 
当ブログ内 (within this blog) Web
●当ブログのRSSフィードをお手持ちのRSSリーダーにご登録いただくと、エントリ追加時のみ更新通知が届くため、確認の手間が省けます。よろしければ、どうぞ。
当ブログのRSSフィード
●当ブログの更新情報+α(deliciousのブックマーク他)はTwitter経由でも確認できます。是非フォローしてください。(実はRSSフィードよりも更新が早かったりします)

|

パソコン・インターネット」カテゴリの記事

blog comments powered by Disqus


●Google広告


●その他の広告



トラックバック

この記事のトラックバックURL:

●トラックバックされる方へのご注意
本文中でこのエントリのアドレスを引用してください。引用(言及リンク)がない場合はスパム(迷惑行為)として削除します。
なお、迷惑行為かどうかを人力で判定しているため、トラックバックが反映されるまでに少々、お時間を頂いています。
For foreigners: If you would like to trackback to this entry, please include permlink of this entry in your entry. If your entry doesn't include this permlink, I will delete your trackback as spam.

この記事へのトラックバック一覧です: Accelobotがやって来た:

 
Google