Невидимая паутина

Невидимая паутина

Глубокая паутина (также известна как невидимая паутина) — множество веб-страниц Всемирной паутины, неиндексируемых поисковыми системами. Термин произошел от соотв. англ. invisible web[1]. Наиболее значительной частью глубокой паутины является глубинный веб (от англ. deep web, hidden web), состоящий из веб-страниц, динамически-генерируемых по запросам к онлайн базам данных[2]. Не следует смешивать понятие глубокая паутина с понятием тёмная паутина (от англ. англ. dark web), под которым имеются в виду сетевые сегменты, вообще не подключённые к сети Интернет.

Содержание

Суть проблемы

В глубокой паутине находятся веб-страницы, не связанные с другими гиперссылками — например, страницы, динамически создаваемые по запросам к базам данных. В глубокой паутине также находятся сайты, доступ к которым открыт только для зарегистрированных пользователей. Поисковые системы используют специальные роботы (англ. web crawler), которые переходят по гиперссылкам и индексируют содержимое веб-страниц, на которых они оказываются. В то же время, информация из баз данных, доступная пользователям через поисковые веб-формы (но не по гиперссылкам), остается недоступной для робота, неспособного в режиме реального времени правильно заполнить форму значениями (другими словами, сформировать запрос к базе данных). Таким образом, значительная часть Всемирной паутины оказывается скрыта от поисковых роботов. Используя аналогию, информация, будучи недоступной для поисковых систем, находится «на глубине» (от англ. deep).

Масштаб

В 2000 году поисковая компания «BrightPlanet» провела исследование, которое показало, что в глубокой паутине находится в 500 раз больше документов, чем доступно через поисковые системы. Конечно, эти цифры могут быть не совсем точными. Например, существует проблема с различением разных представлений одного и того же материала в базах данных.

Ключи к решению

В 2005 году компания «Yahoo!» сделала серьёзный шаг к решению этой проблемы. Компания выпустила поисковый движок «Yahoo! Subscriptions», который производит поиск по сайтам (пока немногочисленным), доступ к которым открыт только зарегистрированным участникам этих сайтов.

Это, однако, полностью не решило имеющейся проблемы. Эксперты поисковых систем по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам.


Специальные поисковые машины

Литература

  1. Гари Прайс, Крис Шерман. "Невидимая паутина: Открывая источники информации, которые поисковые машины не видят" (англ. «The Invisible Web: Uncovering Information Sources Search Engines Can’t See», издательство CyberAge Books, 2001, ISBN 0-910965-51-X).
  2. Денис Шестаков, Наталья Воронцова (2005). "Структура русскоязычной части глубинного Веба". Интернет-математика 2005, стр.320-341. Ссылка

Ссылки


Wikimedia Foundation. 2010.

Игры ⚽ Нужно сделать НИР?

Полезное


Смотреть что такое "Невидимая паутина" в других словарях:

  • Глубокая паутина — (также известна как невидимая паутина)  множество веб страниц Всемирной паутины, не индексируемых поисковыми системами. Термин произошел от соотв. англ. invisible web[1]. Наиболее значительной частью глубокой паутины является глубинный… …   Википедия

  • Невидимый веб — Глубокая паутина (также известна как невидимая паутина) множество веб страниц Всемирной паутины, неиндексируемых поисковыми системами. Термин произошел от соотв. англ. invisible web[1]. Наиболее значительной частью глубокой паутины является… …   Википедия

  • Женщина-паук (Джессика Дрю) — У этого термина существуют и другие значения, см. Женщина паук. Джессика Дрю Spide …   Википедия

  • Джулия Карпентер — Джулия Карпентер …   Википедия

  • Человек-паук — The Amazing Spider Man том 2, №50 (апрель 2003). Художники Дж. Скотт Кэмпбелл и Тим Таунсенд. История публикаций Изд …   Википедия

  • Список серий мультсериала «Лунтик» — В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете …   Википедия

  • Список миров Мультивселенной Marvel Comics — Ниже следует неполный список значимых параллельных миров и вселенных с известными числовыми обозначениями. Кроме них, в Marvel Comics посещали или исследовали многие другие параллельные миры. Название Первое появление Примечания Земля… …   Википедия

  • Список серий сериала «Лунтик» — Основная статья: Приключения Лунтика и его друзей Содержание 1 Количество серий 2 Список серий мультсериала Лунтик и его друзья …   Википедия

  • 2009 год в кино — В 2009 году был выпущен фильм «Аватар» режиссёра Джеймса Кэмерона, ставший самым кассовым за всю историю мирового кинематографа. Содержание 1 Лидеры проката 1.1 Лидеры российского проката …   Википедия

  • Стэн Ли — Stan Lee Стэн Ли в 2007 …   Википедия


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»