Большие Данные


Большие Данные

Большие Данные (англ. Big Data) в информационных технологиях — серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения человеко-читаемых результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, сформировавшихся в конце 2000-х годов, альтернативных традиционным системам управления базами данных и решениями класса Business Intelligence[1][2][3]. В данную серию включают средства массово-параллельной обработки неопределённо структурированных данных, прежде всего, решениями категории NoSQL, алгоритмами MapReduce, программными каркасами и библиотеками проекта Hadoop[4].

В качестве определяющих характеристик для Больших Данных отмечают «три V»: объём (англ. volume, в смысле величины физического объёма), скорость (англ. velocity в смыслах как скорости прироста, так и необходимости высокоскоростной обработки и получения результатов), многообразие (англ. variety, в смысле возможности одновременной обработки различных типов структурированных и полуструтурированных данных)[5][6].

Содержание

История

Введение термина «Большие Данные» относят к Клиффорду Линчу, редактору журнала Nature, подготовившему к 3 сентября 2008 года специальный номера журнала с темой «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объёмами данных?», в котором были собраны материалы о феномене взрывного роста объёмов и многообразия обрабатываемых данных и технологических перспективах в парадигме вероятного скачка «от количества к качеству»; термин был предложен по аналогии с расхожими в деловой англоязычной среде метафорами «большая нефть», «большая руда»[7][8].

Несмотря на то, что термин вводился в академической среде, и прежде всего, разбиралась проблема роста и многообрзия научных данных, начиная с 2009 года термин широко распространился в деловой прессе, а к 2010 году относят появление первых продуктов и решений, относящихся исключительно и непосредственно к проблеме обработки Больших Данных. К 2011 году большинство крупнейших поставщиков информационных технологий для организаций в своих деловых стратегиях используют понятие о Больших Данных, в том числе IBM[9], Oracle[10], Microsoft[11], Hewlett-Packard[12], EMC[13], а основные аналитики рынка информационных технологий посвящают концепции выделенные исследования[5][14][15][16].

В 2011 году Gartner отмечает Большие Данные как тренд номер два в информационно-технологической инфраструктуре (после виртуализации и как более существенный, чем энергосбережение и мониторинг)[17]. Прогнозируется, что внедрение технологий Больших Данных наибольшее влияние окажет на информационные технологии в производстве, здравоохранении, торговле, государственном управлении, а также в сферах и отраслях, где регистрируются индивидуальные перемещения ресурсов[18].

Источники

В качестве примеров источников возникновения Больших Данных приводятся[19][20] непрерывно поступающие данные с измерительных устройств, события от радиочастотных идентификаторов, потоки сообщений из социальных сетей, метеорологические данные, данные дистанционного зондирования земли, потоки данные о местонахождении абонентов сетей сотовой связи, устройств аудио- и видеорегистрации. Развитие и начало широкого использования этих источников отмечается как триггер для проникновения технологий Больших Данных как в научно-исследовательскую деятельность, так и в коммерческий сектор и сферу государственного управления.

Методы анализа

Методы и техники анализа, применимые к Большим Данным, выделеные в отчёте McKinsey[21]:

Технологии

Наиболее часто указывают в качестве базового принципа обработки Больших Данных в SN-архитектуру (англ. Shared Nothing Architecture), обеспечивающую массивно-параллельную обработку, масштабируемую без деградации на сотни и тысячи узлов обработки[источник?]. При этом, McKinsey, кроме рассматриваемых большинством аналитиков технологий NoSQL, MapReduce, Hadoop, R, включает в контекст применимости для обработки больших данных также технологии Business Intelligence и реляционные системы управления базами данных с поддержкой языка SQL[22].

NoSQL

Основная статья: NoSQL

MapReduce

Основная статья: MapReduce

Hadoop

Основная статья: Hadoop

R

Основная статья: R (язык программирования)

Аппаратные решения

Также существует ряд аппаратно программных комплексов, предоставляющих предконфигурированные решения для обработки больших данных — Aster MapReduce appliance (корпорации Teradata), Oracle Big Data appliance, Greenplum appliance (корпорации EMC, на основе решений поглощённой компании Greenplum). Эти комплексы поставляются как готовые к установке в центры обработки данных телекоммуникационные шкафы, содержащие кластер серверов и управляющее программное обеспечение для массово-параллельной обработки.

Аппаратные решения для аналитической обработки в оперативной памяти, в частности, предлагаемой аппаратно-программными комплексами SAP HANA (решение на программной базе Sybase IQ (англ.) — реляционной системы управления базами данных с колоночной организацией) и Oracle Exalytics (на основе реляционной системы Timesten (англ.) и многомерной Essbase), также иногда относят к решениям из области проблематики Больших Данных[23][24], несмотря на то, что такая обработка изначально не является массово-параллельной, а объёмы оперативной памяти одного узла ограничиваются несколькими терабайтами.

Кроме того, иногда к решениям для Больших Данных относят и аппаратно-программные комплексы на основе традиционных реляционных систем управления базами данных — Netezza, Teradata, Exadata, как способные эффективно обрабатывать терабайты и экзабайты структурированной информации, решая задачи быстрой поисковой и аналитической обработки огромных объёмов структурированных данных. Отмечается, что первыми массово-параллельными аппаратно-программными решениями для обработки сверхбольших объёмов данных были машины компаний Britton Lee (англ.), впервые выпущенные в 1983 году, и Teradata (начали выпускаться в 1984 году, притом в 1990 году Teradata поглотила Britton Lee)[25].

Аппаратные решения DAS — систем хранения данных, напрямую присоединённых к узлам — в условиях независимости узлов обработки в SN-архитектуре также иногда относят к технологиям Больших Данных. Именно с появлением концепции Больших Данных связывают всплеск интереса к DAS-решениям в начале 2010-х годов, после вытеснения их в 2000-е годы сетевыми решениями классов NAS и SAN[26].

Примечания

  1. Праймесбергер, 2011, “Big data refers to the volume, variety and velocity of structured and unstructured data pouring through networks into processors and storage devices, along with the conversion of such data into business advice for enterprises.”
  2. PwC, 2010, Термин «большие данные» характеризует совокупности данных c возможным экспоненциальным ростом, которые слишком велики, слишком неформатированы или слишком неструктурированы для анализа традиционными методами.
  3. McKinsey, 2011, “Big data” refers to datasets whose size is beyond the ability of typical database software tools to capture, store, manage, and analyze
  4. PwC, 2010, К началу 2010 года Hadoop, MapReduce и ассоциированные с ними технологии с открытым кодом стали движущей силой целого нового явления, которое O’Reilly Media, The Economist и другие издания окрестили большими данными
  5. 1 2 Gartner, 2011
  6. Канаракус, Крис Машина Больших Данных  (рус.). Сети, № 04, 2011. Открытые системы (1 ноября 2011). — «…большие данные как «три V»: volume («объем» — петабайты хранимых данных), velocity («скорость» — получение данных, преобразование, загрузка, анализ и опрос в реальном времени) и variety («разнообразие» — обработка структурированных и полуструктурированных данных различных типов)»  Проверено 12 ноября 2011.
  7. Черняк, 2011, Big Data относится к числу немногих названий, имеющих вполне достоверную дату своего рождения — 3 сентября 2008 года, когда вышел специальный номер старейшего британского научного журнала Nature, посвященный поиску ответа на вопрос «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами данных?» […] осознавая масштаб грядущих изменений, редактор номера Nature Клиффорд Линч предложил для новой парадигмы специальное название Большие Данные, выбранное им по аналогии с такими метафорами, как Большая Нефть, Большая Руда и т. п., отражающими не столько количество чего-то, сколько переход количества в качество
  8. Пример употребления метафоры Big Oil  (англ.), ср. также повесть «Большая руда», фильм «Большая нефть»
  9. Дубова, Наталья Большая конференция о Больших Данных  (рус.). Открытые системы (3 ноября 2011). — «На форуме IBM Information on Demand, собравшем более 10 тыс. участников, центральной темой стала аналитика Больших Данных»  Проверено 12 ноября 2011.
  10. Henschen, Doug Oracle Releases NoSQL Database, Advances Big Data Plans  (англ.). InformationWeek (24 October 2011). Проверено 12 ноября 2011.
  11. Finley, Klint Steve Ballmer on Microsoft's Big Data Future and More in This Week's Business Intelligence Roundup  (англ.). ReadWriteWeb (17 July 2011). Проверено 12 ноября 2011.
  12. Шах, Агам HP меняет персональные компьютеры на Большие Данные. Открытые системы (19 августа 2011). Проверено 12 ноября 2011.
  13. EMC Tries To Unify Big Data Analytics  (англ.). InformationWeek (21 September 2011). Проверено 12 ноября 2011.
  14. Woo, Benjamin et al. IDC's Worldwide Big Data Taxonomy  (англ.). International Data Corporation (1 October 2011). Проверено 12 ноября 2011.
  15. Evelson, Boris and Hopkins, Brian How Forrester Clients Are Using Big Data  (англ.). Forrester Research (20 September 2011). Проверено 12 ноября 2011.
  16. McKinsey, 2011
  17. Thibodeau, Patrick Gartner's Top 10 IT challenges include exiting baby boomers, Big Data  (англ.). Computerworld (18 October 2011). Проверено 12 ноября 2011.
  18. Черняк, 2011, По оценкам экспертов, например McKinsey Institute, под влиянием Больших Данных наибольшей трансформации подвергнется сфера производства, здравоохранения, торговли, административного управления и наблюдения за индивидуальными перемещениями
  19. McKinsey, 2011, pp. 7—8
  20. Черняк, 2011
  21. McKinsey, 2011, pp. 27—31
  22. McKinsey, 2011, pp. 31—33
  23. Черняк, 2011, Следующим шагом может стать технология SAP HANA (High Performance Analytic Appliance), суть которой в размещении данных для анализа в оперативной памяти
  24. Darrow, Barb Oracle launches Exalytics, an appliance for big data  (англ.). GigaOM (2 October 2011). Проверено 12 ноября 2011.
  25. Черняк, 2011, …первой создать «машину баз данных» удалось компании Britton-Lee в 1983 году на базе мультипроцессорной конфигурации процессоров семейства Zilog Z80. В последующем Britton-Lee была куплена Teradata, с 1984 года выпускавшая компьютеры MPP-архитектуры для систем поддержки принятия решений и хранилищ данных
  26. Черняк, Леонид Большие данные возрождают DAS  (рус.). «Computerworld Россия» , № 14, 2011. Открытые системы (5 мая 2011). Проверено 12 ноября 2011.

Литература

Ссылки


Wikimedia Foundation. 2010.

Смотреть что такое "Большие Данные" в других словарях:

  • Большие данные — (англ. Big Data) в информационных технологиях  серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения человеко читаемых результатов,… …   Википедия

  • Большие и маленькие (фильм) — Большие и маленькие Жанр Киноповесть Режиссёр Мария Фёдорова В главных ролях …   Википедия

  • Большие и маленькие — Жанр Киноповесть Режиссёр Мария Фёдорова Автор сценария И …   Википедия

  • Большие Балыклы — Характеристика Длина 23 км Бассейн Каспийское море Бассейн рек Кама Водоток Устье Ашкадар  · Местоположение …   Википедия

  • Большие Чаши — Характеристика Длина 10 км Бассейн Катунь Водоток Устье Иша  · Местоположение 72 км по правому берегу Расположение …   Википедия

  • Большие Шибеты — Характеристика Длина 27 км Бассейн Катунь Водоток Устье Уландрык  · Местоположение 13 км по левому берегу Расположени …   Википедия

  • Большие Гурды — Характеристика Длина 11 км Бассейн Каспийское море Бассейн рек Кама Водоток Устье Маты  · Местоположение …   Википедия

  • Большие Карлы — Характеристика Длина 28 км Площадь бассейна 211 км² Бассейн Каспийское море Водоток Устье Карла  · Местоположение 63 км по правому берегу …   Википедия

  • Большие Кураты — Характеристика Длина 15 км Площадь бассейна 70,7 км² Бассейн Каспийское море Водоток Устье Малка  · Местоположение 140 км по …   Википедия

  • Большие Тайлы — Характеристика Длина 21 км Бассейн Карское море Водоток Устье Суенга  · Местоположение 31 км по правому берегу Расположе …   Википедия

Книги

Другие книги по запросу «Большие Данные» >>


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»

We are using cookies for the best presentation of our site. Continuing to use this site, you agree with this.