Interested Article - Apache Airflow

Apache Airflow — открытое программное обеспечение для создания, выполнения, мониторинга и оркестровки потоков операций по обработке данных.

Изначально разработан в Airbnb в октябре 2014 году . В марте 2016 года стал проектом Apache Incubator , в январе 2019 года — проектом верхнего уровня Apache Software Foundation в январе 2019 года.

Написан на Python , потоки операций и зависимости между ними кодируются также на Python по принципу «конфигурация как код» (в отличие от таких систем, как Oozie и , использующих ). Для оркестровки потоков операций используется представление в виде направленного ациклического графа (DAG); собранная в граф группа операций может запускаться либо по определённому расписанию (например, ежечасно или ежедневно), либо по событию (например, появлению файла в Hive ).

Airflow по подписке предоставляется многими публично-облачными провайдерами, в том числе Google Cloud Platform (Cloud Composer) и Amazon Web Services (с ноября 2020 года) .

Примечания

. Apache Airflow . Дата обращения: 30 сентября 2019. 12 августа 2019 года.
. Дата обращения: 30 сентября 2019. 6 июля 2019 года.
. Apache Software Foundation (28 марта 2019). Дата обращения: 1 октября 2019. 7 апреля 2022 года.
Trencseni, Marton . BytePawn (16 января 2016). Дата обращения: 1 октября 2019. 28 февраля 2019 года.
(англ.) . TechCrunch . Дата обращения: 18 сентября 2019.
(англ.) . Amazon Web Services (24 ноября 2020). Дата обращения: 17 декабря 2020.