Netezza

Netezza
Тип	Публичная компания
Листинг на бирже	NZ
Год основания	2000
Упразднена	2011
Причина упразднения	Поглощена IBM
Преемник	IBM
Основатели	Джитиндра Саксина Фостер Хиншоу
Расположение	США: Мальборо, Массачусетс
Отрасль	Вычислительная техника (ISIC: 2620)
Продукция	Аппаратно-программные комплексы обработки данных
Оборот	$190 млн (2010)
Число сотрудников	469 (2010)

Netezza (урду نتائج — «результаты») — американская компания, разработчик аппаратно-программных комплексов хранилищ данных — кластеров серверов реляционных баз данных, обеспечивающих массово-параллельную обработку. Отличительной чертой всех комплексов Netezza является использование программируемых вентильных матриц на узлах обработки данных, обеспечивающих сжатие и фильтрацию данных и тем самым позволяющих снизить издержки на хранение и операции ввода-вывода при выполнении запросов на выборку данных^[1].

Компания основана в 2000 году, в 2010 году поглощена корпорацией IBM, с 2011 года полностью интегрирована в корпорацию, аппаратно-программные комплексы с этого момента выпускаются под маркой IBM Netezza.

История

Логотип Netezza в начале 2000-х годов

Компания основана в 2000-м году (в период краха доткомов) предпринимателем индийского происхождения Джитиндрой Саксиной (Jitendra Saxena) и Фостером Хиншоу (Foster Hinshaw) при поддержке венчурного инвестора Пола Фери (Paul Feri), позднее основавшего инвестиционную компанию Matrix partners). Компания была зарегистрирована в августе 2000 года в Делавэре под названием Intelligent data engines, а в октябре того же года сменила наименование на Netezza. В 1990-е годы Саксина был сооснователем компании Applix (англ.) и длительное время возглавлял её (основной продукт Applix — многомерная система управлениями базами данных в оперативной памяти TM1, с 2008 года принадлежащая корпорации IBM), Хиншоу — ИТ-консультантом в системном интеграторе Keane (англ.)русск.. Саксина занял пост президента компании, а Хиншоу — технического директора. Штаб-квартира и разработческие подразделения компании на протяжении истории находились в городах Массачусетса: Фрэминхэме (англ.)русск., Мальборо (англ.)русск., Кембридже, представительские офисы располагались в 12 странах.

Компания изначально сориентировалась на выпуск аппаратно-программных комплексов для хранилищ данных, реализующих массово-параллельную обработку больших объёмов информации. В 2002 году представлены аппаратно-программные комплексы Performance Server, позволяющие обрабатывать хранилища объёмом 4,5 — 18 ТБ^[2]. Комплексы собирались в виде готовых к использованию телекоммуникационных шкафов, наполненных необходимым серверным и коммутационным оборудованием с предустановленным программным обеспечением. Главной особенностью решения была комбинация стандартного оборудования на базе серверов ProLiant с блоками на базе программируемых вентильных матриц, обеспечивающих эффективное хранение и высокопроизводительную обработку данных, сжатых и секционированных по узлам хранения. Компания обещала за счёт эффективного хранения существенно снизить для заказчика стоимость обработки больших реляционных хранилищ и предлагала комплексы по ценам от $622 тыс. до $2,5 млн в зависимости от объёма хранилища^[2].

В 2002—2003 годы компания поставила первые комплексы заказчикам, в качестве одного из них указывается администрация штата Массачуссетс^[3]. В 2003 году Хиншоу отмечен наградой журнала Infroworld в номинации «инноватор года» за разработку и внедрение комплексов Performance Server 8000^[3].

За 2003 год компания заработала $13,5 млн, в 2004 — $40 млн^[4], в течение последующих лет существования ежегодный прирост выручки составлял около 50 %^[5][6] (хотя в 2005 году Саксина ожидал роста 150 %^[7]). Среди заказчиков 2004 года фигурируют AT&T Wireless и британское отделение корпорации Orange^[8], притом Orange указывается как один из инвесторов Netezza^[9].

В 2006 году компании удалось продать 200 комплексов, выручив за год около $80 млн, а среди заказчиков появились такие крупные компании и организации, как Amazon.com, Американский Красный Крест, AOL^[5], год компания закончила с чистым убытком в размере $14 млн^[6]. В июле 2007 года Netezza осуществила первичное размещение акций на Нью-Йоркской фондовой бирже, оценённое как успешное (стоимость акций выросла в период размещения на 45 %)^[6], вплоть до упразднения акции компании торговались под тикером NZ.

В начале 2009 года Саксина покинул компанию, возглавил Netezza Джим Бом (Jim Baum), ранее руководивший бостонской компанией Endeca (англ.) (поглощённой Oracle в 2011 году). По состоянию на 2010 год сообщалось о более 500 организациях, использующих комплексы Netezza^[10].

В сентябре 2010 года объявлено о поглощении компании корпорацией IBM за $1,7 млрд^[11]. В течение 2011 осуществлена интеграция в корпорацию, начиная с этого времени все аппаратно-программные комплексы Netezza распространяются по каналам сбыта программного обеспечения IBM, слово Netezza сохранено в наименовании продукции.

Положение на рынке

Специализированные аппаратно-программные комплексы распределённой обработки данных в 1980-е год выпускали компании Britton Lee (англ.) и Teradata, в 1990 году Teradata поглотила Britton Lee)^[12], и именно им отдаётся приоритет в подходе к такой реализации обработки больших объёмов данных. Однако именно появление в начале 2000-х годов комплексов Netezza отмечается как идентификация рынка таких систем^[13]. Кроме того, само понятие о специализированных аппаратно-программных комплексах для хранилищ данных (англ. data warehouse appliances) связывают с техническим директором Netezza Фостером Хиншоу^[14].

По состоянию на 2004 год, когда компания выпускала комплексы, способные обрабатывать хранилища объёмом до 27 ТБ, решение Netezza сравнивалось как с комплексами Teradata, так и с неспециализированными системами на основе программного обеспечения Oracle и IBM; в то время комплексы Teradata могли обрабатывать сотни терабайт и критика со стороны конкурента базировалась на сложности модернизации системы от Netezza в случае быстрого прироста объёмов хранилища^[15].

В 2006—2007 годы Gartner относил Netezza к группе «провидцев» рынка решений для хранилищ данных в рамках ежегодно составляемого по данному сегменту «магического квадранта»^[16], c 2008 года Netezza перемещена в квадрант лидеров рынка. В магическом квадранте 2010 года особо отмечается, что комплексы Netezza являются прямым конкурентом Oracle Exadata^[10].

Performance Server

Комплекс Performance Server выпускался 2002 года и комплектовался серией из управляющих узлов, узлов обработки на базе серверов Hewlett-Packard ProLiant, оснащённых вычислительными блоками на программируемых вентильных матрицах, отвечающих за взаимодействие с узлами хранения. Узлы обработки функционировали под управлением операционной системы Red Hat Enterprise Linux и системы управления базами данных PostgreSQL^[2]. Решение реализовано в SN-архитектуре (англ. shared-nothing architecture), таким образом, от проектировщика хранилища данных требовалось определить ключи секционирования, позволяющие относительно равномерно распределить обрабатываемую базу данных по узлам.

Первые комплексы обрабатывали до 18 ТБайт при цене $2,5 млн (ок. $140 тыс. за терабайт). Старшая модель 2004 года обрабатывала хранилища размером до 27 ТБайт и комплектовалась 650 дисками и 676 процессорами, при стоимости комплекса $10 млн^[17] терабайт обходился ок. $370 тыс. Младший комплекс 2004 года обрабатывал 400 ГБ, содержал 60 процессоров и стоил $300 тыс.^[18] (ок. $770 тыс. в пересчёте на терабайт).

TwinFin

Комплекс TwinFin-1000

Первые комплексы TwinFin использовали узлы обработки данных на базе процессоров архитектуры Power, которые поставлялись одним из OEM-партнёров IBM^[19], и, также как и в Performance Server, комплектовались специализированными обрабатывающими узлами на основе программируемых вентильных матриц. В августе 2009 года узлы обработки заменены на двухсокетные блейд-серверы IBM с процессорами Intel Xeon, программируемые вентильные матрицы устанавливались по одной на каждое ядро Xeon^[20], эти узлы размещались в стандартной блейд-корзине IBM BladeCenter. Благодаря переходу на архитектуру x86-64 удалось существенно снизить стоимость одного терабайта данных для хранилища — до суммы ниже $20 тыс.^[21] PostgreSQL, используемый в TwinFin, охарактеризован как «сильно модифицированный»^[22].

Корпорация IBM продолжила развитие комплексов. Основные модификации коснулись внедрения различных программных технологий «больших данных»: добавлена возможность MapReduce-обработки в базе данных посредством интеграции Hadoop, реализована статистическая обработка средствами SPSS и R непосредственно на узлах кластера. По следам сообщений об интеграции статистического пакета Revolution R в решение, изначально применявшиеся для практической аналитики над реляционными хранилищами данных, комплекс охарактеризован в одной из публикаций как «Франкенштейн для больших данных»^[23]. В 2011 году TwinFin переименован в IBM Netezza 1000, по состоянию на 2012 год выпускается несколько конфигураций комплекса с количеством сниппетов (пар из узла обработки и программируемой вентильной матрицы) от 3 до 12 на шкаф и объёмом хранения 8 до 32 ТБ на шкаф, поддерживается объединение до 10 шкафов. Вес полного шкафа около 900 кг, энергопотребление — ок. 7,5 КВатт. Стоимость полного шкафа у партнёров в США ок. $320 тыс.^[24] (ок. $10 тыс. на терабайт). Для целей разработки и тестирования поставляются комплексы IBM Netezza 100, ранее Skimmer (1 управляющий узел и 1 сниппет на 2,8 ТБ). Кроме того, IBM добавила в линейку Netezza IBM Netezza High Capacity Appliance (два или четыре шкафа с 8 или 16 сниппетами на 288 и 576 ТБ соответственно).

Критика

Netezza была обвинена в нелегальном использовании геопространственного пакета массачусетской компании IISi (Intelligent Integration Systems) при выполнении заказа ЦРУ по созданию аппаратно-программного обеспечения беспилотника MQ-1 Predator. Суть проблемы была в том, что Netezza, получив отказ от IISi в требовании по ускоренному портированию пакета под TwinFin, взломала тестовую версию пакета и самостоятельно осуществила его интеграцию в своё аппаратно-программное окружение. Особо отмечалось, ЦРУ было в курсе взлома, а также заказчику было известно, что отклонения в оценках местоположения в тестовой версии доходили до 13 метров (в сравнении со стабильной версией, где таких отклонений не было), и это могло привести к неоправданным жертвам при боевом применении техники^[25]. Однако, в ноябре 2010 года претензии удалось урегулировать в досудебном порядке^[26].

Примечания

1. ↑ Прикетт-Морган, 2010, The special sauce in the Netezza gear is a field programmable gate array (FPGA) that handles data compression and decompression as it goes on and off the disk, thereby speeding up throughput, as well as providing sophisticated data filtering so that only the relevant portions of a giant data set are passed on up to the X64 engines to run the SQL query
2. ↑ ^{1 2 3} Whiting, Rick Startup Netezza Pushes Discount Data Warehouse Products. The company is promising appliances that it says can tackle terabyte-scale business-intelligence apps 10 to 20 times faster than traditional systems at half the cost  (англ.). Information Week. UBM TechWeb (23 September 2002). Проверено 11 июля 2012.
3. ↑ ^{1 2} Rash, Wayne 2003 InfoWorld Innovator: Foster D. Hinshaw. Netezza CTO used aerodynamics to invent a large-scale database appliance that handles data in a whole new way  (англ.). Inforworld (23 March 2003). — «Some of the biggest organizations, including the Commonwealth of Massachusetts, were finding that BI (business intelligence) wasn't so useful if it couldn't handle all of their data»  Архивировано из первоисточника 25 сентября 2012. Проверено 8 июля 2012.
4. ↑ Лайонс, 2004, Jitendra Saxena's tiny computer company, Netezza, will do all of $40 million in sales this year
5. ↑ ^{1 2} Netezza Corporation. Initial Public Offering  (англ.). Edgar, Form S-1. United States Securities and Exchange Commision (22 March 2007). Архивировано из первоисточника 25 сентября 2012. Проверено 8 июля 2012.
6. ↑ ^{1 2 3} Vance, Ashley Netezza nets plenty of cash in IPO  (англ.). The Register (21 July 2007). Архивировано из первоисточника 25 сентября 2012. Проверено 8 июля 2012.
7. ↑ Лайонс, 2004, Saxena expects his sales to grow 150% in 2005, to $100 million
8. ↑ Лайонс, 2004, AT&T Wireless and Orange UK chose Netezza boxes to analyze customer call records
9. ↑ Лайонс, 2004, Orange is also an investor in Netezza
10. ↑ ^{1 2} Feinberg, Donald; Beyer, Mark A. Magic Quadrant for Data Warehouse Database Management Systems  (англ.). Magic quadrant. Gartner (28 January 2011). — «The acquisition of Netezza in late 2010 gives IBM a ready-made Linux-capable data warehouse appliance, which competes directly with Oracle’s Exadata. Further, conversations with Gartner clients indicate that Netezza continues to compete well on both price and performance against Oracle’s Exadata.»  Архивировано из первоисточника 25 сентября 2012. Проверено 11 июля 2012.
11. ↑ Nutall, Chris. IBM to buy Netezza for $1.7bn in cash  (англ.) (HTML), Financial Times (20 September 2010). Проверено 8 июля 2012.
12. ↑ Черняк, Леонид Большие Данные — новая теория и практика (рус.) // Открытые системы. СУБД. — М.: Открытые системы, 2011. — № 10. — ISSN 1028-7493.
13. ↑ Понья, 2010, Generally, Terradata's core product line cosidered as mother of all data warehouse appliances, allthough the term was not associated with product offering. Greater interest in data warehouse appliances surged with emerging of Netezza in early 2000s
14. ↑ Понья, 2010, The term data warehouse appliance was coined by Foster Hinshow
15. ↑ Лайонс, 2004, Executives at Teradata dismiss Netezza, saying its boxes are hard to upgrade and too puny to handle enormous data warehouses like the ones it has built for Wal-Mart, FedEx and Dell. Teradata systems can handle hundreds of terabytes
16. ↑ Beasty, Colin Teradata Tops Gartner Magic Quadrant for Database Management  (англ.). Destination CRM. CRM Magazine (26 October 2007). — «Netezza, which was virtually unchanged from its previous rating; this year, the company is just slightly lagging Sybase in ability to execute, but squeaking past in terms of the completeness of its vision»  Архивировано из первоисточника 25 сентября 2012. Проверено 11 июля 2012.
17. ↑ Лайонс, 2004, Netezza's top-end model boasts 650 hard disk drives and 676 microprocessors. It holds 27 terabytes of data and costs $10 million
18. ↑ Лайонс, 2004, The low-end model, at $300,000, uses 60 microprocessors and holds 400 gigabytes
19. ↑ Прикетт-Морган, 2011, The original Netezza appliances were based on Power architecture (and did not come from IBM, but one of its OEMs)
20. ↑ Прикетт-Морган, 2010, IBM's BladeCenter chassis and two-socket HS22 Xeon blade servers and plunking the FPGAs (one per Xeon core) onto a companion blade
21. ↑ Monash, Kurt Netezza is changing its hardware architecture and slashing prices accordingly  (англ.). Monash Research (30 July 2009). Архивировано из первоисточника 25 сентября 2012. Проверено 13 июля 2012.
22. ↑ Прикетт-Морган, 2010, …heavily customized PostgreSQL database
23. ↑ Harris, Derrick. IBM Creates Big Data Frankenstein With Netezza-R Fusion  (англ.), The New York Times (2011-03-141). Проверено 19 ноября 2011.
24. ↑ Netezza 1000-12  (англ.). Gemini (13 July 2012). Архивировано из первоисточника 25 сентября 2012. Проверено 13 июля 2012.
25. ↑ Williams, Christopher CIA used “illegal, inaccurate code to target kill drones”. “They want to kill people with software that doesn’t work”  (англ.). The Register (24 October 2010). Архивировано из первоисточника 25 сентября 2012. Проверено 11 июля 2012.
26. ↑ Williams, Christopher Netezza pays to shut down CIA killer drone lawsuit. Faulty targeting row hushed  (англ.). The Register (11 November 2010). Архивировано из первоисточника 25 сентября 2012. Проверено 11 июля 2012.

Ссылки

• ibm.com/software/data/netezza/ — официальный сайт программно-аппаратных комплеков IBM Netezza на сайте корпорации IBM

Литература

• Prickett Morgan, Timothy Netezza to bake analytics into appliances  (англ.). The Register (24 February 2010). Архивировано из первоисточника 25 сентября 2012. Проверено 8 июля 2012.
• Prickett Morgan, Timothy Oracle and IBM fight for the heavy workload  (англ.). The Register (12 December 2011). Архивировано из первоисточника 25 сентября 2012. Проверено 11 июля 2012.
• Lyons, Daniel Speed Demon. Netezza’s computers can do only one thing-but they do it very, very fast  (англ.). Companies, People, Ideas. Forbes (13 December 2004). Архивировано из первоисточника 25 сентября 2012. Проверено 11 июля 2012.
• Ponniah, Paulraj Data Warehousing Fundamentals for It Professionals. — Hoboken, N. J.: John Wiley and Sons, 2010. — P. 189-200. — 571 p. — (Fundamentals for IT professionals). — ISBN 9780470462072