Interested Article - Netezza

brigid
  • 2021-03-21
  • 1

Netezza ( урду نتیجہ ‎ , «натиджа» — « результат ») — американская компания, разработчик аппаратно-программных комплексов хранилищ данных — кластеров серверов реляционных баз данных , обеспечивающих массово-параллельную обработку . Отличительной чертой всех комплексов Netezza является использование программируемых вентильных матриц на узлах обработки данных, обеспечивающих сжатие и фильтрацию данных и тем самым позволяющих снизить издержки на хранение и операции ввода-вывода при выполнении запросов на выборку данных .

Компания основана в 2000 году , в 2010 году поглощена корпорацией IBM , с 2011 года полностью интегрирована в корпорацию, аппаратно-программные комплексы в период 2012—2014 годов выпускались под маркой «IBM PureData for Analytics».

История

Логотип Netezza в начале 2000-х годов

Основана в 2000-м году (в период краха доткомов ) предпринимателем индийского происхождения Джитиндрой Саксеной ( Jitendra Saxena ) и Фостером Хиншоу ( Foster Hinshaw ) при поддержке венчурного инвестора Пола Фери ( Paul Feri ), позднее основавшего инвестиционную компанию Matrix partners ). Зарегистрирована в августе 2000 года в Делавэре под названием Intelligent data engines , а в октябре того же года сменила наименование на Netezza. В 1990-е годы Саксена был сооснователем компании и длительное время возглавлял её (основной продукт Applix — многомерная система управлениями базами данных в оперативной памяти TM1 , с 2008 года принадлежащая корпорации IBM ), Хиншоу — ИТ-консультантом в системном интеграторе . Саксена занял пост президента компании, а Хиншоу — технического директора. Штаб-квартира и разработческие подразделения компании на протяжении истории находились в городах Массачусетса : , , Кембридже , представительские офисы располагались в 12 странах.

Компания изначально сориентировалась на выпуск аппаратно-программных комплексов для хранилищ данных , реализующих массово-параллельную обработку больших объёмов информации. В 2002 году представлены аппаратно-программные комплексы , позволяющие обрабатывать хранилища объёмом 4,5 — 18 ТБ . Комплексы собирались в виде готовых к использованию телекоммуникационных шкафов , наполненных необходимым серверным и коммутационным оборудованием с предустановленным программным обеспечением. Главной особенностью решения была комбинация стандартного оборудования на базе серверов ProLiant с блоками на базе программируемых вентильных матриц , обеспечивающих эффективное хранение и высокопроизводительную обработку данных, сжатых и сегментированных по узлам хранения. Компания обещала за счёт эффективного хранения существенно снизить для заказчика стоимость обработки больших реляционных хранилищ и предлагала комплексы по ценам от $622 тыс. до $2,5 млн в зависимости от объёма хранилища .

В 2002—2003 годы компания поставила первые комплексы заказчикам, в качестве одного из них указывается администрация штата Массачусетс . В 2003 году Хиншоу отмечен наградой журнала Infroworld в номинации «инноватор года» за разработку и внедрение комплексов Performance Server 8000 .

За 2003 год компания заработала $13,5 млн, в 2004 — $40 млн , в течение последующих лет существования ежегодный прирост выручки составлял около 50 % (хотя в 2005 году Саксена ожидал роста 150 % ). Среди заказчиков 2004 года фигурируют и британское отделение корпорации Orange , притом Orange указывается как один из инвесторов Netezza .

В 2006 году компании удалось продать 200 комплексов, выручив за год около $80 млн, а среди заказчиков появились такие крупные компании и организации, как Amazon.com , Американский Красный Крест , AOL , год компания закончила с чистым убытком в размере $14 млн . В июле 2007 года Netezza осуществила первичное размещение акций на Нью-Йоркской фондовой бирже , оценённое как успешное (стоимость акций выросла в период размещения на 45 %) , вплоть до упразднения акции компании торговались под тикером NZ .

В начале 2009 года Саксена покинул компанию, возглавил Netezza Джим Бом ( Jim Baum ), ранее руководивший бостонской компанией Endeca (поглощённой Oracle в 2011 году). По состоянию на 2010 год сообщалось о более 500 организациях, использующих комплексы Netezza .

В сентябре 2010 года объявлено о поглощении компании корпорацией IBM за $1,7 млрд . В течение 2011 осуществлена интеграция в корпорацию, начиная с этого времени все аппаратно-программные комплексы Netezza распространяются по каналам сбыта программного обеспечения IBM, слово «Netezza» первые два года использовалось в наименовании комплексов, с конца 2012 года — только как имя собственное технологии обработки данных. С 2014 года выпуск новых комплексов на базе технологий Netezza прекращён, а с середины 2019 года прекращена техническая поддержка проданного оборудования . В 2020 году под маркой «Netezza» от IBM появилась совместимая со снятыми с производства аппаратно-программными комплексами , предоставляемая по подписке из облаков или Amazon Web Services .

Положение на рынке

Специализированные аппаратно-программные комплексы распределённой обработки данных в 1980-е год выпускали компании и Teradata (в 1990 году Teradata поглотила Britton Lee) , и именно им отдаётся приоритет в подходе к такой реализации обработки больших объёмов данных. Однако именно появление в начале 2000-х годов комплексов Netezza отмечается как идентификация рынка таких систем . Кроме того, само понятие о специализированных аппаратно-программных комплексах для хранилищ данных ( англ. data warehouse appliances ) связывают с техническим директором Netezza Фостером Хиншоу .

По состоянию на 2004 год, когда компания выпускала комплексы, способные обрабатывать хранилища объёмом до 27 ТБ, решение Netezza сравнивалось как с комплексами Teradata, так и с неспециализированными системами на основе программного обеспечения Oracle и IBM ; в то время комплексы Teradata могли обрабатывать сотни терабайт и критика со стороны конкурента базировалась на сложности модернизации системы от Netezza в случае быстрого прироста объёмов хранилища .

В 2006—2007 годы Gartner относил Netezza к группе «провидцев» рынка решений для хранилищ данных в рамках ежегодно составляемого по данному сегменту « магического квадранта » , c 2008 года Netezza перемещена в квадрант лидеров рынка. В магическом квадранте 2010 года особо отмечается, что комплексы Netezza являются прямым конкурентом Oracle Exadata .

Performance Server

Комплекс Performance Server выпускался 2002 года и комплектовался серией из управляющих узлов, узлов обработки на базе серверов Hewlett-Packard ProLiant , оснащённых вычислительными блоками на программируемых вентильных матрицах , отвечающих за взаимодействие с узлами хранения. Узлы обработки функционировали под управлением операционной системы Red Hat Enterprise Linux и системы управления базами данных PostgreSQL . Решение реализовано в ( англ. ), таким образом, от проектировщика хранилища данных требовалось определить ключи сегментирования , позволяющие относительно равномерно распределить обрабатываемую базу данных по узлам.

Первые комплексы обрабатывали до 18 Тбайт при цене $2,5 млн (ок. $140 тыс. за терабайт). Старшая модель 2004 года обрабатывала хранилища размером до 27 Тбайт и комплектовалась 650 дисками и 676 процессорами, при стоимости комплекса $10 млн терабайт обходился ок. $370 тыс. Младший комплекс 2004 года обрабатывал 400 ГБ, содержал 60 процессоров и стоил $300 тыс. (ок. $770 тыс. в пересчёте на терабайт).

TwinFin

Комплекс TwinFin-1000

Первые комплексы TwinFin использовали узлы обработки данных на базе процессоров архитектуры Power , которые поставлялись одним из OEM -партнёров IBM , и, также как и в Performance Server, комплектовались специализированными обрабатывающими узлами на основе программируемых вентильных матриц. В августе 2009 года узлы обработки заменены на двухсокетные блейд-серверы IBM с процессорами Intel Xeon , программируемые вентильные матрицы устанавливались по одной на каждое ядро Xeon , эти узлы размещались в стандартной блейд-корзине IBM BladeCenter. Благодаря переходу на архитектуру x86-64 удалось существенно снизить стоимость одного терабайта данных для хранилища — до суммы ниже $20 тыс. PostgreSQL, используемый в TwinFin, охарактеризован как «сильно модифицированный» .

Корпорация IBM в первые годы после поглощения продолжала развитие комплексов. Основные модификации коснулись внедрения различных программных технологий « больших данных »: добавлена возможность MapReduce -обработки в базе данных посредством интеграции Hadoop , реализована статистическая обработка средствами SPSS и R непосредственно на узлах кластера. По следам сообщений об интеграции статистического пакета Revolution R в решение, изначально применявшиеся для практической аналитики над реляционными хранилищами данных, комплекс охарактеризован в одной из публикаций как « Франкенштейн для больших данных» . В 2011 году TwinFin переименован в IBM Netezza 1000, выпускалось несколько конфигураций комплекса с количеством сниппетов (пар из узла обработки и программируемой вентильной матрицы) от 3 до 12 на шкаф и объёмом хранения 8 до 32 ТБ на шкаф, поддерживается объединение до 10 шкафов. Вес полного шкафа около 900 кг, энергопотребление — ок. 7,5 КВатт. Стоимость полного шкафа у партнёров в США составляла ок. $320 тыс. (ок. $10 тыс. на терабайт). Для целей разработки и тестирования поставлялись комплексы IBM Netezza 100, ранее Skimmer (1 управляющий узел и 1 сниппет на 2,8 ТБ). Кроме того, IBM добавила в линейку комплекс IBM Netezza High Capacity Appliance (два или четыре шкафа с 8 или 16 сниппетами на 288 и 576 ТБ соответственно).

В октябре 2012 года IBM провела ребрендинг и с этого момента и до прекращения выпуска в середине 2010-х годов комплексы поставлялись под маркой «PureData for Analytics» в рамках линейки , в материалах о комплексах используется подзаголовок «на основе технологии Netezza» , существенно изменён внешний вид шкафов. Под индексом N1001 поставлялись комплексы с 4, 7 и 14 сниппетами на шкаф и 32, 64, 128 ТБ ёмкости хранилища соответственно, продолжающие логику линейки Netezza 1000, стоимость полного шкафа у партнёров в США на начало 2013 года составляла около $360 тыс. Под индексом N2001 выходили комплексы повышенной ёмкости с 4—7 сниппетами и 96—192 ТБ на шкаф, в 2014 году в продолжение этой линейки выпущены комплексы N3001 с 2—7 сниппетами и до 192 ТБ на шкаф, в сравнении с предыдущей версией увеличено число ядер на сниппете (20 ядер на узле обработки и 16 ядер на программируемой вентильной матрице в противовес восьми ядрам на каждом из компонентов сниппета ранее).

Критика

Netezza была обвинена в нелегальном использовании геопространственного пакета массачусетской компании IISi (Intelligent Integration Systems) при выполнении заказа ЦРУ по созданию аппаратно-программного обеспечения беспилотника MQ-1 Predator . Суть проблемы была в том, что Netezza, получив отказ от IISi в требовании по ускоренному портированию пакета под TwinFin, взломала тестовую версию пакета и самостоятельно осуществила его интеграцию в своё аппаратно-программное окружение. Особо отмечалось, ЦРУ было в курсе взлома, а также заказчику было известно, что отклонения в оценках местоположения в тестовой версии доходили до 13 метров (в сравнении со стабильной версией, где таких отклонений не было), и это могло привести к неоправданным жертвам при боевом применении техники . Однако, в ноябре 2010 года претензии удалось урегулировать в досудебном порядке .

Примечания

  1. , The special sauce in the Netezza gear is a field programmable gate array (FPGA) that handles data compression and decompression as it goes on and off the disk, thereby speeding up throughput, as well as providing sophisticated data filtering so that only the relevant portions of a giant data set are passed on up to the X64 engines to run the SQL query.
  2. ↑ Whiting, Rick (англ.) . Information Week . UBM TechWeb (23 сентября 2002). Дата обращения: 11 июля 2012. 12 января 2013 года.
  3. ↑ Rash, Wayne (англ.) . (23 марта 2003). — «Some of the biggest organizations, including the Commonwealth of Massachusetts, were finding that BI (business intelligence) wasn't so useful if it couldn't handle all of their data». Дата обращения: 8 июля 2012. 25 сентября 2012 года.
  4. , Jitendra Saxena's tiny computer company, Netezza, will do all of $40 million in sales this year.
  5. ↑ (англ.) . Edgar, Form S-1 . United States Securities and Exchange Commision (22 марта 2007). Дата обращения: 8 июля 2012. 25 сентября 2012 года.
  6. ↑ Vance, Ashley (англ.) . The Register (21 июля 2007). Дата обращения: 8 июля 2012. 25 сентября 2012 года.
  7. , Saxena expects his sales to grow 150% in 2005, to $100 million.
  8. , AT&T Wireless and Orange UK chose Netezza boxes to analyze customer call records.
  9. , Orange is also an investor in Netezza.
  10. ↑ Feinberg, Donald; Beyer, Mark A. (англ.) . Magic quadrant . Gartner (28 января 2011). — «The acquisition of Netezza in late 2010 gives IBM a ready-made Linux-capable data warehouse appliance, which competes directly with Oracle’s Exadata. Further, conversations with Gartner clients indicate that Netezza continues to compete well on both price and performance against Oracle’s Exadata.» Дата обращения: 11 июля 2012. 25 сентября 2012 года.
  11. Nutall, Chris (2010-09-20). (HTML) . Financial Times (англ.) . L. . a568b96c-c4df-11df-9134-00144feab49a. из оригинала 25 ноября 2010 . Дата обращения: 8 июля 2012 .
  12. Max Smolaks. . Once mighty business killed by cloud computing . The Register (3 июля 2019). Дата обращения: 3 июля 2019. 3 июля 2019 года.
  13. Lindsay Clark. . The Register (27 мая 2020).
  14. Черняк, Леонид. // Открытые системы. СУБД . — 2011. — № 10 . — ISSN . 24 октября 2016 года.
  15. , Generally, Terradata's core product line cosidered as mother of all data warehouse appliances, allthough the term was not associated with product offering. Greater interest in data warehouse appliances surged with emerging of Netezza in early 2000s.
  16. , The term data warehouse appliance was coined by Foster Hinshow.
  17. , Executives at Teradata dismiss Netezza, saying its boxes are hard to upgrade and too puny to handle enormous data warehouses like the ones it has built for Wal-Mart, FedEx and Dell. Teradata systems can handle hundreds of terabytes.
  18. Beasty, Colin (англ.) . Destination CRM . (26 октября 2007). — «Netezza, which was virtually unchanged from its previous rating; this year, the company is just slightly lagging Sybase in ability to execute, but squeaking past in terms of the completeness of its vision». Дата обращения: 11 июля 2012. 25 сентября 2012 года.
  19. , Netezza's top-end model boasts 650 hard disk drives and 676 microprocessors. It holds 27 terabytes of data and costs $10 million.
  20. , The low-end model, at $300,000, uses 60 microprocessors and holds 400 gigabytes.
  21. , The original Netezza appliances were based on Power architecture (and did not come from IBM, but one of its OEMs).
  22. , IBM's BladeCenter chassis and two-socket HS22 Xeon blade servers and plunking the FPGAs (one per Xeon core) onto a companion blade.
  23. Monash, Kurt (англ.) . Monash Research (30 июля 2009). Дата обращения: 13 июля 2012. 7 ноября 2012 года.
  24. , …heavily customized PostgreSQL database.
  25. Harris, Derrick (2011-03-141). (англ.) . The New York Times . Дата обращения: 19 ноября 2011 . {{ cite news }} : Проверьте значение даты: |date= ( справка )
  26. (англ.) . Gemini (13 июля 2012). Дата обращения: 13 июля 2012. 25 сентября 2012 года.
  27. Pricket Morgan, Timothy. (англ.) . Th Register (10 октября 2012). Дата обращения: 16 февраля 2013. 14 марта 2013 года.
  28. Powered by Netezza technology
  29. (англ.) . Gemini (16 февраля 2013). Дата обращения: 16 февраля 2013. 14 марта 2013 года.
  30. Williams, Christopher (англ.) . The Register (24 октября 2010). Дата обращения: 11 июля 2012. 25 сентября 2012 года.
  31. Williams, Christopher (англ.) . The Register (11 ноября 2010). Дата обращения: 11 июля 2012. 25 сентября 2012 года.

Литература

  • Prickett Morgan, Timothy (англ.) . The Register (24 февраля 2010). Дата обращения: 8 июля 2012. 25 сентября 2012 года.
  • Prickett Morgan, Timothy (англ.) . The Register (12 декабря 2011). Дата обращения: 11 июля 2012. 25 сентября 2012 года.
  • Lyons, Daniel (англ.) . Companies, People, Ideas . Forbes (13 декабря 2004). Дата обращения: 11 июля 2012. 25 сентября 2012 года.
  • Ponniah, Paulraj. . — Hoboken, N. J.: John Wiley and Sons, 2010. — P. —200. — 571 p. — (Fundamentals for IT professionals). — ISBN 9780470462072 .
Источник —

brigid
  • 2021-03-21
  • 1
  • Tags:

Same as Netezza

The title for the last searches