Поисковой робот

Поисковой робот

Поиско́вый ро́бот («веб-пау́к», краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для обхода страниц Интернета с целью занесения информации о них в базу данных поисковика. По принципу действия паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.

Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются поисковыми алгоритмами.

В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.

Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для индексирования. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается единственной возможностью указать на его существование.

Ограничить индексацию сайта можно с помощью файла

См. также

Ссылки




Wikimedia Foundation. 2010.

Игры ⚽ Нужно решить контрольную?

Полезное


Смотреть что такое "Поисковой робот" в других словарях:

  • Робот поисковой системы — компонента поисковой системы; программа, которая посещает веб страницы, считывает (индексирует) полностью или частично их содержимое и далее следует по ссылкам, найденным на данной странице. Робот возвращается через определенные периоды времени и …   Финансовый словарь

  • Поисковый робот — («веб паук», краулер)  программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика. По принципу действия паук напоминает обычный… …   Википедия

  • Google (поисковая система) — У этого термина существуют и другие значения, см. Google. Google (произносится /ˈguːgl/, «гугл»)  первая по популярности (77,04 %[1]) в мире поисковая система, обрабатывающей 41 млрд 345 млн запросов в месяц (доля рынка… …   Википедия

  • Wikia Search — Не путайте с Википедией многоязычной свободной энциклопедией Wikia Search …   Википедия

  • Мёртвая ссылка — Мертвая ссылка или «битая» ссылка (англ. badlink, «плохая ссылка») гиперссылка, которая ведет на несуществующую страницу, документ, файл или изображение в Интернете. Эта ссылка является битой. При переходе по такой ссылке, браузер выдаст… …   Википедия

  • Google — (Гугл) Крупнейшая поисковая система Google, сервисы и инструменты Google История создания поиска Google, собственники и руководство Google, Google Apps, Google Maps, Google Chrome, Google Earth ,Picasa, Google Video, Google Images Google+,… …   Энциклопедия инвестора

  • Google — У этого термина существуют и другие значения, см. Google (значения). Google …   Википедия

  • Поисковая система — – (англ. search engine, синонимы: искалка, поисковый сервер, поисковая машина) – Инструмент для поиска информации в Интернете. Как правило, работа поисковой машины состоит из двух этапов. Специальная программа (поисковый робот, автомат, агент,… …   Энциклопедический словарь СМИ

  • Nigma — Nigma.ru Тип Общество с ограниченной ответственностью Год основания 2005 (12 апреля) …   Википедия

  • Нигма.ру — Nigma.ru Год основания 2005 (12 апреля) Ключевые фигуры Лавренко, Виктор Сергеевич генеральный директор Чернышов, Владимир Анатольевич технический директор …   Википедия


Поделиться ссылкой на выделенное

Прямая ссылка:
… Нажмите правой клавишей мыши и выберите «Копировать ссылку»