検索エンジン登録 SEOのド登録

検索エンジン登録代行・SEOサービス


ド登録がホームページのSEO・アクセスアップをサポートします
トップ
検索エンジン登録
FAQ
SEOツール
SEOリンク集
用語集
お問い合わせ

SEO 用語集
SEO 用語集 索引
50音順
 アルファベット順
A B C D E
F G H I J
K L M N O
P Q R S T
U V W X Y
Z        

クローラー

(くろーらー) (robotから転送)
同義語：

クローラ ロボット スパイダー crawler robot spider

クローラーとは、検索エンジンのデータベースを作成するために、あらゆるWebページを巡回し、収集するプログラムのこと。クローラーは、Web上のHTML、画像、PDF、RSSなどを定期的に取得し、自動的にデータベース化する。一般に既知のページからのリンクを辿り、データベースにないページは新たにインデックスし、アクセスが出来なくなったページ（削除されたページ）はインデックスから削除するといった動作をする。「スパイダー」や「ロボット」とも呼ばれる。
関連用語：

Google.Yahoo! MSN ロボット型検索エンジン

robot
に関する最新ニュース

Cuilでサイトがダウン? 2008/09/02
「Twicelerは当社が新検索エンジン向けに開発中の実験用クローラです。当社にとってはこれがrobots.txtの命令に従うことを確かめるのも大事ですが、クロールして欲しくないサイトはクロールしないことを確かめるのも重要です。ご希望なら、クロール対象外のサイトに追加して差し上げても構いません。... [TechCrunch]
 
グーグル、検索範囲の拡大に向けて実験に着手 2008/04/15
実際、HTML形式のフォームは、検索エンジンの通常の対象範囲に含まれていない大量のデータにつながる入口になるだろうということは長年考えられてきた」とMadhavan氏とHalevy氏は書いている。 Googleの新しいインデックス付け作業は、「質の高い」ウェブサイトだけを対象とし、「robots.txt」などインデックスソフトウェアを回避する標準的なシステムを採用しているサイトには行われない。... [毎日新聞]
 
Yahoo!、検索の向上を目指し新タグ導入 2007/05/07
robots.txt を使うと、検索エンジンのインデックスから、Web サイトの全ページまたは特定のディレクトリを除外させることができる。Yahoo! はこのほど、さらにページ内の特定箇所にまで検索除外指定の的を絞れる「robots-nocontent」タグを導入した。... [インターネットコム]
 
Google、Google Newsは違法ではないと主張 2007/02/15
さらに検索エンジンでの検索を希望しないのであれば、robots.txtやメタタグなどの標準技術を利用すれば、自動的に表示を防げると指摘。またGoogle Newsへのコンテンツ表示を希望しない場合、その所有者がGoogle側に通知さえすれば、削除要求に従う方針であることを強調、訴訟の必要はないとしている。... [ITmedia]
 
ベルギー裁判所、再び Google に著作権法違反の判決 2007/02/14
Google によると、新聞社には、『robots.txt』ファイルを埋め込んで Google の検索ロボットを遮断するという手段がすでに提供されているという。robots.txt は、ページ検索エンジンが収集するものを制限する。 ベルギー裁判所による今回の判決は、Google が許可なくニュース記事へのリンクを掲載することは著作権法侵害にあたるとする、2006年9月に出された裁判所の判断を再確認するものだ。... [インターネットコム]
 
Copyright © 2005-2008 Broadentry Services all rights reserved.