クローラーとは

Webクローラとは、インターネット上のWebサーバからWebページを 網羅的に収集し、検索エンジンのデータベースに反映させるためのシステムです。

  • ichiroについて

    「ichiro」は、NTTレゾナント株式会社が運用しているWebクローラの名称です。

    ichiro が収集した Webページは下記サイトでの検索サービスに使用させて頂きます。

    ・http://search.goo.ne.jp/ (goo画像・動画検索)
    ichiroは、画像、動画の検索サービスですので、HTML ページだけでなく、画像、動画も収集させて頂きます。
    また、システムの研究開発のための収集をさせて頂く場合もあります。

    ichiro は、皆様の Webサーバに負担をかけないために、以下のルールに従います。

    1.robots.txt に従います
    認識するのは、”User-agent:”、 “Disallow:”、 “Allow:” です。
    robots.txt の書き方については、こちらを参照してください。

    2. META TAG による収集制限に従います
    認識するのは、”NOINDEX”、”NOFOLLOW”、 “NOARCHIVE”、 “NOIMAGEINDEX”、 “NONE”、 “FOLLOW”、 “INDEX”、 “ALL”、 “NOSERVE”、 “SERVE”、 “ARCHIVE”、 “NOIMAGECLICK”です。  META TAG の書き方については、こちらを参照して下さい。

    3. 同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません
    これは、複数のドメイン名を持つ Webサーバに対しても同様です。ある Webサーバが、A と B という二つのドメイン名を持っていても、A と B に同時に接続する事は致しません。

    4. 適切な間隔で収集します
    収集間隔は状況によって変更されますが、動画等のファイルを収集した後は、長めに間隔をあける等の制御を行っています。

    ※「ichiro」に関するお問い合わせの際は、件名または本文に「ichiroについて」とお書き添えください。

  • goo_vsearchについて

    「goo_vsearch」は、NTTレゾナント株式会社が運用しているWebクローラの名称です。

    goo_vsearch が収集した Webページは下記サイトでの検索サービスに使用させて頂きます。

    ・http://search.goo.ne.jp/ (goo画像・動画検索)
    ・http://bsearch.mobile.goo.ne.jp/ (モバイルgoo画像検索)
    また、システムの研究開発のための収集をさせて頂く場合もあります。

    goo_vsearch は、皆様の Webサーバに負担をかけないために、以下のルールに従います。

    1.robots.txt に従います
    認識するのは、”User-agent:”、 “Disallow:”、 “Allow:” です。
    robots.txt の書き方については、こちらを参照してください。

    2. META TAG による収集制限に従います
    認識するのは、”NOFOLLOW”、 “NOINDEX” です。META TAG の書き方については、こちらを参照して下さい。

    3. 同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません
    これは、複数のドメイン名を持つ Webサーバに対しても同様です。ある Webサーバが、 A と B という二つのドメイン名を持っていても、A と B に同時に接続する事は致しません。

    4. 適切な間隔で収集します
    収集間隔は状況によって変わりますが、webページを収集した後は、一定間隔をあける等の制御を行っています。

    ※「goo_vsearch」に関するお問い合わせの際は、件名または本文に「goo_vsearchについて」とお書き添えください。

  • gooblogsearch について

    「gooblogsearch」はNTTレゾナント株式会社が運用するブログ検索用Webクローラのうちのひとつです。

    1. ユーザーエージェント
    gooblogsearch/[バージョン]
    例:gooblogsearch/2.0

    2. robots.txt に従います
    認識するのは、”User-agent:”、 “Disallow:”です。

    3. META TAG による収集制限に従います
    認識するのは、”NOINDEX”です。

  • mogimogi について

    「mogimogi」はNTTレゾナント株式会社が運用するニュース検索用Webクローラのうちのひとつです。

    1. ユーザーエージェント
    mogimogi/[バージョン]
    例:mogimogi/2.0

    mogimogi が収集した Webページは下記サイトでの検索サービスに使用させて頂きます。

    ・http://search.goo.ne.jp/ (gooニュース検索)
    また、システムの研究開発のための収集をさせて頂く場合もあります。

    mogimogi は、皆様の Webサーバに負担をかけないために、以下のルールに従います。

    1.robots.txt に従います
    認識するのは、”User-agent:”、 “Disallow:”、 “Allow:” です。
    robots.txt の書き方については、こちらを参照してください。

    2. META TAG による収集制限に従います
    認識するのは、”NOFOLLOW”、 “NOINDEX” です。META TAG の書き方については、こちらを参照して下さい。

    3. 同一の Webサーバに対しては、一度に 1ページしか Webページを収集しません
    これは、複数のドメイン名を持つ Webサーバに対しても同様です。ある Webサーバが、 A と B という二つのドメイン名を持っていても、A と B に同時に接続する事は致しません。

    4. 適切な間隔で収集します
    収集間隔は状況によって変わりますが、webページを収集した後は、一定間隔をあける等の制御を行っています。

    ※「mogimogi」に関するお問い合わせの際は、件名または本文に「mogimogiについて」とお書き添えください。