Interested Article - NiFi

NiFi ( Apache NiFi ) — открытое программное обеспечение проекта фонда Apache , предназначенное для организации ETL -процессов в рамках экосистемы Hadoop .

Наименование — акроним от NiagaraFiles — названия программы Агентства национальной безопасности США , на основе которой создан в рамках программы передачи технологий АНБ в 2014 году . Основной разработчик в первые годы — компания Onyara, в 2015 поглощена , которую, в свою очередь поглотила корпорация Cloudera в 2019 году , где по состоянию на 2020-е годы сосредоточена основная активность по развитию и поддержке продукта.

Поддерживает горизонтальное масштабирование для работы в кластерах , безопасность с использованием шифрования TLS , расширяемость (пользователи могут писать свои собственные приложения для расширения его возможностей), реализован пользовательский интерфейс для визуального просмотра и изменения сценариев обработки данных.

Компоненты NiFi

Все компоненты — серверные Java -программы, запускающиеся под управлением виртуальной машины Java , основные из них:

  • веб-сервер — компонент на основе HTTP , используемый для визуального анализа и отслеживания событий;
  • контроллер потоков — управляет запуском экземпляров потоков-расширений NiFi и планирует выделение ресурсов для них;
  • потоки-расширения — различные плагины , позволяющие NiFi взаимодействовать с различными системами;
  • репозиторий FlowFile — хранилище метаданных для поддержания и отслеживания состояния текущего активного потока или информации, перемещаемой между системами;
  • репозиторий контента — хранилище передаваемых данных;
  • репозиторий провенанса — данные о происхождении данных, проходящих через систему.

Примечания

  1. (англ.) . www.nsa.gov . Дата обращения: 7 декабря 2017. Архивировано из 7 декабря 2017 года.
  2. Bridgwater. . (21 июля 2015). Дата обращения: 21 сентября 2016. 8 декабря 2017 года.
  3. Vaughan-Nichols. . ZDNet . Дата обращения: 21 сентября 2016. 2 октября 2016 года.
  4. . The Register . Дата обращения: 21 сентября 2016. 6 октября 2016 года.
  5. Wolpe. . ZDNet . Дата обращения: 21 сентября 2016. 11 сентября 2016 года.
  6. . VentureBeat (25 августа 2015). Дата обращения: 21 сентября 2016. 27 июля 2017 года.
  7. (амер. англ.) . Hortonworks (3 января 2019). Дата обращения: 20 мая 2019. 14 мая 2019 года.
Источник —

Same as NiFi