Большие данные

Большие данные (англ. Big Data) в информационных технологиях — серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения человеко-читаемых результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, сформировавшихся в конце 2000-х годов, альтернативных традиционным системам управления базами данных и решениями класса Business Intelligence^[1][2][3]. В данную серию включают средства массово-параллельной обработки неопределённо структурированных данных, прежде всего, решениями категории NoSQL, алгоритмами MapReduce, программными каркасами и библиотеками проекта Hadoop^[4].

В качестве определяющих характеристик для больших данных отмечают «три V»: объём (англ. volume, в смысле величины физического объёма), скорость (англ. velocity в смыслах как скорости прироста, так и необходимости высокоскоростной обработки и получения результатов), многообразие (англ. variety, в смысле возможности одновременной обработки различных типов структурированных и полуструктурированных данных)^[5][6].

История

Введение термина «большие данные» относят к Клиффорду Линчу, редактору журнала Nature, подготовившему к 3 сентября 2008 года специальный номера журнала с темой «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объёмами данных?», в котором были собраны материалы о феномене взрывного роста объёмов и многообразия обрабатываемых данных и технологических перспективах в парадигме вероятного скачка «от количества к качеству»; термин был предложен по аналогии с расхожими в деловой англоязычной среде метафорами «большая нефть», «большая руда»^[7][8].

Несмотря на то, что термин вводился в академической среде, и прежде всего, разбиралась проблема роста и многообразия научных данных, начиная с 2009 года термин широко распространился в деловой прессе, а к 2010 году относят появление первых продуктов и решений, относящихся исключительно и непосредственно к проблеме обработки больших данных. К 2011 году большинство крупнейших поставщиков информационных технологий для организаций в своих деловых стратегиях используют понятие о больших данных, в том числе IBM^[9], Oracle^[10], Microsoft^[11], Hewlett-Packard^[12], EMC^[13], а основные аналитики рынка информационных технологий посвящают концепции выделенные исследования^{[5][14][15][16]}.

В 2011 году Gartner отмечает большие данные как тренд номер два в информационно-технологической инфраструктуре (после виртуализации и как более существенный, чем энергосбережение и мониторинг)^[17]. Прогнозируется, что внедрение технологий больших данных наибольшее влияние окажет на информационные технологии в производстве, здравоохранении, торговле, государственном управлении, а также в сферах и отраслях, где регистрируются индивидуальные перемещения ресурсов^[18].

Источники

В качестве примеров источников возникновения больших данных приводятся^[19][20] непрерывно поступающие данные с измерительных устройств, события от радиочастотных идентификаторов, потоки сообщений из социальных сетей, метеорологические данные, данные дистанционного зондирования Земли, потоки данных о местонахождении абонентов сетей сотовой связи, устройств аудио- и видеорегистрации. Ожидается, что развитие и начало широкого использования этих источников инициирует проникновение технологий больших данных как в научно-исследовательскую деятельность, так и в коммерческий сектор и сферу государственного управления.

Этот раздел не завершён. Вы поможете проекту, исправив и дополнив его.

Методы анализа

Методы и техники анализа, применимые к большим данным, выделенные в отчёте McKinsey^[21]:

• методы класса Data Mining: обучение ассоциативным правилам (англ. association rule learning), классификация (методы категоризации новых данных на основе принципов, ранее применённых к уже наличествующим данным), кластерный анализ, регрессионный анализ;
• краудсорсинг — категоризация и обогащение данных силами широкого, неопределённого круга лиц, привлечённых на основании публичной оферты, без вступления в трудовые отношения;
• смешение и интеграция данных (англ. data fusion and integration) — набор техник, позволяющих интегрировать разнородные данные из разнообразных источников для возможности глубинного анализа, в качестве примеров таких техник, составляющих этот класс методов приводятся цифровая обработка сигналов и обработка естественного языка (включая тональный анализ);
• машинное обучение, включая обучение с учителем и без учителя, а также Ensemble learning (англ.) — использование моделей, построенных на базе статистического анализа или машинного обучения для получения комплексных прогнозов на основе базовых моделей (англ. constituent models, ср. со статистическим анcамблем в статистической механике);
• искусственные нейронные сети, cетевой анализ, оптимизация, в том числе генетические алгоритмы;
• распознавание образов;
• прогнозная аналитика;
• имитационное моделирование;
• англ. Spatial analysis) — класс методов, использующих топологическую, геометрическую и географическую информацию в данных;
• статистический анализ, в качестве примеров методов приводятся A/B-тестирование и анализ временных рядов;
• визуализация аналитических данных — представление информации в виде рисунков, диаграмм, с использованием интерактивных возможностей и анимации как для получения результатов, так и для использования в качестве исходных данных для дальнейшего анализа.

Технологии

Наиболее часто указывают в качестве базового принципа обработки больших данных в SN-архитектуру (англ. Shared Nothing Architecture), обеспечивающую массивно-параллельную обработку, масштабируемую без деградации на сотни и тысячи узлов обработки^{[источник не указан 407 дней]}. При этом, McKinsey, кроме рассматриваемых большинством аналитиков технологий NoSQL, MapReduce, Hadoop, R, включает в контекст применимости для обработки больших данных также технологии Business Intelligence и реляционные системы управления базами данных с поддержкой языка SQL^[22].

NoSQL

Основная статья: NoSQL

MapReduce

Основная статья: MapReduce

Hadoop

Основная статья: Hadoop

R

Основная статья: R (язык программирования)

Аппаратные решения

Существует ряд аппаратно программных комплексов, предоставляющих предконфигурированные решения для обработки больших данных: Aster MapReduce appliance (корпорации Teradata), Oracle Big Data appliance, Greenplum appliance (корпорации EMC, на основе решений поглощённой компании Greenplum). Эти комплексы поставляются как готовые к установке в центры обработки данных телекоммуникационные шкафы, содержащие кластер серверов и управляющее программное обеспечение для массово-параллельной обработки.

Аппаратные решения для аналитической обработки в оперативной памяти, в частности, предлагаемой аппаратно-программными комплексами SAP HANA (предконфигурированное аппаратно-программное решение для аналитической системы SAP BW (англ.)) и Oracle Exalytics (на основе реляционной системы Timesten (англ.) и многомерной Essbase), также иногда относят к решениям из области проблематики Больших Данных^[23][24], несмотря на то, что такая обработка изначально не является массово-параллельной, а объёмы оперативной памяти одного узла ограничиваются несколькими терабайтами.

Кроме того иногда к решениям для больших данных относят и аппаратно-программные комплексы на основе традиционных реляционных систем управления базами данных — Netezza, Teradata, Exadata, как способные эффективно обрабатывать терабайты и экзабайты структурированной информации, решая задачи быстрой поисковой и аналитической обработки огромных объёмов структурированных данных. Отмечается, что первыми массово-параллельными аппаратно-программными решениями для обработки сверхбольших объёмов данных были машины компаний Britton Lee (англ.), впервые выпущенные в 1983 году, и Teradata (начали выпускаться в 1984 году, притом в 1990 году Teradata поглотила Britton Lee)^[25].

Аппаратные решения DAS — систем хранения данных, напрямую присоединённых к узлам — в условиях независимости узлов обработки в SN-архитектуре также иногда относят к технологиям больших данных. Именно с появлением концепции больших данных связывают всплеск интереса к DAS-решениям в начале 2010-х годов, после вытеснения их в 2000-е годы сетевыми решениями классов NAS и SAN^[26].

Примечания

1. ↑ Праймесбергер, 2011, “Big data refers to the volume, variety and velocity of structured and unstructured data pouring through networks into processors and storage devices, along with the conversion of such data into business advice for enterprises.”
2. ↑ PwC, 2010, Термин «большие данные» характеризует совокупности данных c возможным экспоненциальным ростом, которые слишком велики, слишком неформатированы или слишком неструктурированы для анализа традиционными методами., с. 42
3. ↑ McKinsey, 2011, “Big data” refers to datasets whose size is beyond the ability of typical database software tools to capture, store, manage, and analyze, p. 1
4. ↑ PwC, 2010, К началу 2010 года Hadoop, MapReduce и ассоциированные с ними технологии с открытым кодом стали движущей силой целого нового явления, которое O’Reilly Media, The Economist и другие издания окрестили большими данными, с. 42
5. ↑ ^{1 2} Gartner, 2011
6. ↑ Канаракус, Крис Машина Больших Данных  (рус.). Сети, № 04, 2011. Открытые системы (1 ноября 2011). — «…большие данные как «три V»: volume («объем» — петабайты хранимых данных), velocity («скорость» — получение данных, преобразование, загрузка, анализ и опрос в реальном времени) и variety («разнообразие» — обработка структурированных и полуструктурированных данных различных типов)»  Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.
7. ↑ Черняк, 2011, Big Data относится к числу немногих названий, имеющих вполне достоверную дату своего рождения — 3 сентября 2008 года, когда вышел специальный номер старейшего британского научного журнала Nature, посвященный поиску ответа на вопрос «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами данных?» […] осознавая масштаб грядущих изменений, редактор номера Nature Клиффорд Линч предложил для новой парадигмы специальное название Большие Данные, выбранное им по аналогии с такими метафорами, как Большая Нефть, Большая Руда и т. п., отражающими не столько количество чего-то, сколько переход количества в качество
8. ↑ Пример употребления метафоры Big Oil  (англ.), ср. также повесть «Большая руда», фильм «Большая нефть»
9. ↑ Дубова, Наталья Большая конференция о Больших Данных  (рус.). Открытые системы (3 ноября 2011). — «На форуме IBM Information on Demand, собравшем более 10 тыс. участников, центральной темой стала аналитика Больших Данных»  Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.
10. ↑ Henschen, Doug Oracle Releases NoSQL Database, Advances Big Data Plans  (англ.). InformationWeek (24 October 2011). Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.
11. ↑ Finley, Klint Steve Ballmer on Microsoft's Big Data Future and More in This Week's Business Intelligence Roundup  (англ.). ReadWriteWeb (17 July 2011). Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.
12. ↑ Шах, Агам HP меняет персональные компьютеры на Большие Данные. Открытые системы (19 августа 2011). Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.
13. ↑ EMC Tries To Unify Big Data Analytics  (англ.). InformationWeek (21 September 2011). Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.
14. ↑ Woo, Benjamin et al. IDC's Worldwide Big Data Taxonomy  (англ.). International Data Corporation (1 October 2011). Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.
15. ↑ Evelson, Boris and Hopkins, Brian How Forrester Clients Are Using Big Data  (англ.). Forrester Research (20 September 2011). Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.
16. ↑ McKinsey, 2011
17. ↑ Thibodeau, Patrick Gartner's Top 10 IT challenges include exiting baby boomers, Big Data  (англ.). Computerworld (18 October 2011). Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.
18. ↑ Черняк, 2011, По оценкам экспертов, например McKinsey Institute, под влиянием Больших Данных наибольшей трансформации подвергнется сфера производства, здравоохранения, торговли, административного управления и наблюдения за индивидуальными перемещениями
19. ↑ McKinsey, 2011, pp. 7—8
20. ↑ Черняк, 2011
21. ↑ McKinsey, 2011, pp. 27—31
22. ↑ McKinsey, 2011, pp. 31—33
23. ↑ Черняк, 2011, Следующим шагом может стать технология SAP HANA (High Performance Analytic Appliance), суть которой в размещении данных для анализа в оперативной памяти
24. ↑ Darrow, Barb Oracle launches Exalytics, an appliance for big data  (англ.). GigaOM (2 October 2011). Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.
25. ↑ Черняк, 2011, …первой создать «машину баз данных» удалось компании Britton-Lee в 1983 году на базе мультипроцессорной конфигурации процессоров семейства Zilog Z80. В последующем Britton-Lee была куплена Teradata, с 1984 года выпускавшая компьютеры MPP-архитектуры для систем поддержки принятия решений и хранилищ данных
26. ↑ Черняк, Леонид Большие данные возрождают DAS  (рус.). «Computerworld Россия» , № 14, 2011. Открытые системы (5 мая 2011). Архивировано из первоисточника 3 сентября 2012. Проверено 12 ноября 2011.

Литература

• Preimesberger, Chris Hadoop, Yahoo, 'Big Data' Brighten BI Future  (англ.). EWeek (15 August 2011). Архивировано из первоисточника 17 мая 2012. Проверено 12 ноября 2011.
• Черняк, Леонид Большие Данные — новая теория и практика (рус.) // Открытые системы. СУБД. — М.: Открытые системы, 2011. — № 10. — ISSN 1028-7493.
• Моррисон, Алан и др. Большие Данные: как извлечь из них информацию  (рус.). Технологический прогноз. Ежеквартальный журнал, российское издание, 2010 выпуск 3. PricewaterhouseCoopers (17 декабря 2010). Архивировано из первоисточника 11 марта 2012. Проверено 12 ноября 2011.
• Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data  (англ.). Gartner (27 June 2011). Архивировано из первоисточника 17 мая 2012. Проверено 12 ноября 2011.
• Manyika, James et al. Big data: The next frontier for innovation, competition, and productivity  (англ.) (PDF). McKinsey Global Institute, June, 2011. McKinsey (9 August 2011). Архивировано из первоисточника 11 декабря 2012. Проверено 12 ноября 2011.

Ссылки