Cuillのクローラーがやって来た
2ヶ月程前のTechCrunchにCuill(「クール」と読む)という検索エンジンの記事が掲載されていたが、このCuillのクローラーが今週の火曜日(2007/11/13)ぐらいから、アクセスログに記録されている。
リンク：Cuill - Twiceler Information
このクローラーのアクセス元IPアドレスはリンク先に掲載されており、Cuillの検索エンジンに登録されたく無い人はアクセス拒否アドレスにこれらのアドレスを登録しておけば良いようだが、robots.txtもきちんと読む（但し反映には24時間〜48時間かかるらしい）し、そもそも、アクセス頻度が多くても10分に1回程度（この2日ほどの平均では30分以上に1回程度）なので、その程度のアクセス頻度であれば別に放置でも良さそうだ。
リンク：Cuill - Twiceler Information
このクローラーのアクセス元IPアドレスはリンク先に掲載されており、Cuillの検索エンジンに登録されたく無い人はアクセス拒否アドレスにこれらのアドレスを登録しておけば良いようだが、robots.txtもきちんと読む（但し反映には24時間〜48時間かかるらしい）し、そもそも、アクセス頻度が多くても10分に1回程度（この2日ほどの平均では30分以上に1回程度）なので、その程度のアクセス頻度であれば別に放置でも良さそうだ。
当ブログにやって来たときのアクセスログでは、
- リモートホスト：crawl-6.cuill.com
- ユーザーエージェント：Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html)
なお、TechCrunchの記事によると、このCuillの検索エンジンのサービス開始は2008年中らしい。
●お探し物は見つかりましたか？まだの方は以下の検索をご利用下さい。
●当ブログのRSSフィードをお手持ちのRSSリーダーにご登録いただくと、エントリ追加時のみ更新通知が届くため、確認の手間が省けます。よろしければ、どうぞ。
| 固定リンク
「パソコン・インターネット」カテゴリの記事
- Firefoxで簡単YouTube動画ダウンロード(2006.10.30)
- 拡張現実でポンゲーム(2009.07.06)
- 3分でわかるPodcast(2008.04.25)
- 2009年のgoogleエイプリルフールネタは川柳(2009.04.01)
- Macの無線LAN経由でコピー失敗問題(2009.03.30)
コメント
はじめまして。
ウチのWeblogにもcuill君が来ました。
見慣れないドメインなので、検索してやっとクールと判りました。
でその検索の結果こちらにやって来た次第です。
ロボットやクローラは生ログ見ないと生態が良く判らないので
こちらの記事が役にたちました。
有難う御座います。
投稿： オザワエイイチ | 2008/04/10 01:23
オザワエイイチ さん、
このクール、まだ、cuill.comを見ても、サービスが開始されていないのですが、出来上がってくる検索エンジンの仕上がり具合はどうなるのだろうかと．．．
投稿： Inetgate(当ブログ管理人) | 2008/04/10 02:21
ども。
早速返信コメント有難う御座います。
確かにクールな「工事中」ページではありました。
昨日からcuillは二度目の来襲があり、
何故かaskもやって来たし、一体何なのですかねぇ...
今まではたまにgoogleが来る程度だったんですが。
投稿： オザワエイイチ | 2008/04/10 09:28
オザワエイイチ さん、
Cuill自体まだ開発中のものなので、Googleよりはインデックスの効率が良いとの噂はあるものの、彼等内部の仕様変更でもあれば、何度か読み直しにくるのかもしれません。
ここのブログ自体、検索エンジン経由の比率は、Google7割、Yahoo!2割、その他全部が計1割といったものなので、各々の検索エンジンでのインデックスの持ち方の癖とかいったものがあるのでしょう。
投稿： Inetgate(当ブログ管理人) | 2008/04/11 02:14
はじめまして！ギャンブランドと申します。
私も個人的にブログを開設しているのですが、昨日からリモートホストcrawl-6.cuill.comからの集中攻撃（？）を受けています。
過去のあらゆる記事にまで進出しているみたいで・・・。
本当に放っておけばいいのでしょうか？
投稿： gambland | 2008/10/04 01:15
ギャンブランド さん、
検索エンジンのクローラーは普通、そういう動きをするので、昔のNaver（あれはひどかった．．．）みたいに集中的にアクセスしないのであれば、放置でも無問題かと。
最近は、MSNボットが時々やってきますが、静かなものです。
投稿： Inetgate(当ブログ管理人) | 2008/10/08 03:21