goo検索ガイド

クローラーとは

Webクローラとは、インターネット上のWebサーバからWebページを網羅的に収集し、検索エンジンのデータベースに反映させるためのシステムです。

ichiroについて

「ichiro」は、NTTレゾナント株式会社が運用しているWebクローラの名称です。

ichiro が収集した Webページは下記サイトでの検索サービスに使用させて頂きます。

ichiroは、画像、動画の検索サービスですので、HTMLページだけでなく、画像、動画も収集させて頂きます。
また、システムの研究開発のための収集をさせて頂く場合もあります。

ichiro は、皆様の Webサーバに負担をかけないために、以下のルールに従います。

1.robots.txt に従います

認識するのは、”User-agent:”、 “Disallow:”、 “Allow:” です。
robots.txt の書き方については、以下URLをご参照ください。

2. META TAG による収集制限に従います

認識するのは、”NOINDEX”、”NOFOLLOW”、 “NOARCHIVE”、 “NOIMAGEINDEX”、 “NONE”、 “FOLLOW”、 “INDEX”、 “ALL”、 “NOSERVE”、 “SERVE”、 “ARCHIVE”、 “NOIMAGECLICK”です。 　META TAG の書き方については、以下URLをご参照ください。

3. 同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません

これは、複数のドメイン名を持つ Webサーバに対しても同様です。ある Webサーバが、A と B という二つのドメイン名を持っていても、A と B に同時に接続する事は致しません。

4. 適切な間隔で収集します

収集間隔は状況によって変更されますが、動画等のファイルを収集した後は、長めに間隔をあける等の制御を行っています。

goo_vsearchについて

「goo_vsearch」は、NTTレゾナント株式会社が運用しているWebクローラの名称です。

goo_vsearch が収集した Webページは下記サイトでの検索サービスに使用させて頂きます。

また、システムの研究開発のための収集をさせて頂く場合もあります。

goo_vsearch は、皆様の Webサーバに負担をかけないために、以下のルールに従います。

1.robots.txt に従います

認識するのは、”User-agent:”、 “Disallow:”、 “Allow:” です。
robots.txt の書き方については、以下URLをご参照ください。

2. META TAG による収集制限に従います

認識するのは、”NOFOLLOW”、 “NOINDEX”　です。META TAG の書き方については、以下URLをご参照ください。

3. 同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません

これは、複数のドメイン名を持つ Webサーバに対しても同様です。ある Webサーバが、A と B という二つのドメイン名を持っていても、A と B に同時に接続する事は致しません。

4. 適切な間隔で収集します

収集間隔は状況によって変更されますが、webページを収集した後は、一定間隔をあける等の制御を行っています。
※「goo_vsearch」に関するお問い合わせの際は、件名または本文に「goo_vsearchについて」とお書き添えください。

gooblogsearchについて

「gooblogsearch」はNTTレゾナント株式会社が運用するブログ検索用Webクローラのうちのひとつです。

1. ユーザーエージェント

gooblogsearch/[バージョン]

例：gooblogsearch/2.0

2. robots.txt に従います

認識するのは、”User-agent:”、 “Disallow:”です。

3. META TAG による収集制限に従います

認識するのは、”NOINDEX”です。