Googlebot

Googlebot
Googlebot
Тип

Поисковый робот

Автор

Google

Сайт

GoogleBot FAQ

Googlebotпоисковый робот компании Google, используемый для сканирования мировой сети и пополнения поискового индекса системы Google. Робот начинает сканирование каждого отдельного сайта с получения списка URL-адресов веб-страниц, созданного по результатам предыдущих сеансов, и пополняет его данными из файлов Sitemap; просматривая страницы, робот ищет ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию.

Веб-мастера могут управлять роботом с помощью команды в файле robots.txt или мета-тега <meta name="Googlebot" content="nofollow" />; Google в списке своих инструментов для веб-мастеров даёт возможность проверить «видение» сайта роботом. IP-адреса бота время от времени меняются.
При сканировании Googlebot указывает user-agent:

  • Googlebot/2.1 (+http://www.googlebot.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot-Image/1.0 (паук сканирующий изображения)

Ссылки


Wikimedia Foundation. 2010.

Игры ⚽ Поможем решить контрольную работу

Полезное


Смотреть что такое "Googlebot" в других словарях:

  • Googlebot — ist der Webcrawler der Suchmaschine Google. Dabei handelt es sich um ein Computerprogramm, das Texte und Bilder im World Wide Web herunterlädt und diese über die Web und die Bildsuche von Google auffindbar macht. Inhaltsverzeichnis 1 Arbeitsweise …   Deutsch Wikipedia

  • Googlebot — es el robot de búsqueda usado por Google. Colecciona documentos desde la web para construir una base de datos para el motor de búsqueda Google. Si un webmaster no quiere que su página sea descargada por un Googlebot, puede insertar un texto… …   Wikipedia Español

  • Googlebot — A Googlebot is a search bot used by Google. It collects documents from the web to build a searchable index for the Google search engine.If a webmaster wishes to restrict the information on their site available to a Googlebot, or another well… …   Wikipedia

  • Googlebot — Les googlebots sont des robots d indexation utilisés par le moteur de recherche Google afin de recenser et indexer les pages web. La chaîne de caractères permettant de les identifier en tant que User Agent est, selon la tâche qu ils effectuent, l …   Wikipédia en Français

  • Googlebot — ● np. m. ►WEB►MOTREC Nom du robot du moteur de recherche Google …   Dictionnaire d'informatique francophone

  • Googlebot — Name (User Agent) des Spiders von Google. Bemerkenswert ist, dass Google die Zahl seiner Spider Anfang 2004 offenbar drastisch erhöht hat. Neu ist auch, dass ein Typ des Googlebots mit einer Mozilla Kennung unterwegs ist. Es steht zu vermuten,… …   SEO Wörterbuch

  • Google bot — Googlebot ist der Webcrawler der Suchmaschine Google. Dabei handelt es sich um ein Computerprogramm, das Texte und Bilder im World Wide Web herunterlädt und diese über die Web und die Bildsuche von Google auffindbar macht. Inhaltsverzeichnis 1… …   Deutsch Wikipedia

  • Robots.txt — Nach der Übereinkunft des Robots Exclusion Standard Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt… …   Deutsch Wikipedia

  • Robots Exclusion Standard — Nach der Übereinkunft des Robots Exclusion Standard Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt… …   Deutsch Wikipedia

  • User-Agent — Pour les articles homonymes, voir Agent. Un user agent est une application cliente utilisée avec un protocole réseau particulier ; l expression est plus généralement employée comme référence pour celles qui accèdent au World Wide Web. Les… …   Wikipédia en Français


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»