Interested Article - Apache Oozie

Apache Oozie — это серверная система планирования рабочих процессов для управления заданиями Hadoop .

Рабочие процессы в Oozie определяются как набор потоков управления и узлов действий в ориентированном ациклическом графе . Узлы потока управления определяют начало и конец рабочего процесса (узлы начала, конца и сбоя), а также механизм для контроля пути выполнения рабочего процесса (узлы решения, разветвления и объединения). Узлы действия — это механизм, с помощью которого рабочий процесс запускает задачу вычисления / обработки. Oozie обеспечивает поддержку различных типов действий, включая Hadoop MapReduce , операции распределённой файловой системы Hadoop, Pig, SSH и электронную почту . Oozie также может быть расширен для поддержки дополнительных типов действий.

Рабочие процессы Oozie можно параметризовать, используя такие переменные как ${inputDir} в определении рабочего процесса. При отправке задания рабочего процесса необходимо указать значения параметров. При правильной параметризации (с использованием разных выходных каталогов) несколько идентичных заданий рабочего процесса могут выполняться одновременно.

Oozie реализован в виде веб-приложения на Java, которое выполняется в контейнере сервлетов Java и распространяется под лицензией Apache License 2.0.