Interested Article - Apache Beam

Apache Beam — унифицированная модель программирования с открытым кодом , созданная для описания и выполнения конвейров обработки данных, предназначенных для таких процессов, как ETL , а также для пакетной и многопоточной обработки данных. Конвейры Beam создаются с помощью одного из представленных комплектов для разработки программного обеспечения и выполняются одним из поддерживаемых Beam “исполнителей”, в состав которых входят Apache Flink , Apache Samza, Apache Spark и Google Cloud Dataflow.

История

Apache Beam является одной из реализаций модели потока данных Dataflow компании Google. Она основана на предыдущей работе компании Google связанной с абстракциями распределенных вычислений, в частности на FlumeJava и Millwheel.

В 2014 году компания Google выпустила реализацию модели Dataflow в виде комплекта для разработки программного обеспечения с открытым исходным кодом, а также распределенную (в виде одного из сервисов "Oблачной платформы Google" ) и локальную (не распределенную) среды выполнения.

Хронология

Второстепенные релизы Apache Beam выходят раз в 6 недель.

Версия	Дата выхода
2.41.0	2022-08-23
2.40.0	2022-06-27
2.39.0	2022-05-25
2.38.0	2022-04-20
2.37.0	2022-03-04
2.36.0	2022-02-07
2.35.0	2021-12-29
2.34.0	2021-11-11
2.33.0	2021-10-07
2.32.0	2021-08-25
2.31.0	2021-07-08
2.30.0	2021-06-09
2.29.0	2021-04-27
2.28.0	2021-02-22
2.27.0	2021-01-08
2.26.0	2020-12-11
2.25.0	2020-10-23
2.24.0	2020-09-18
2.23.0	2020-07-29
2.22.0	2020-06-08
2.21.0	2020-05-27
2.20.0	2020-04-15
2.19.0	2020-02-04
2.18.0	2020-01-23
2.17.0	2020-01-06
2.16.0	2019-10-07
2.15.0	2019-08-22
2.14.0	2019-08-01
2.13.0	2019-05-22
2.12.0	2019-04-25
2.11.0	2019-02-26
2.10.0	2019-02-01
2.9.0	2018-12-13
2.8.0	2018-10-29
2.7.0 (LTS)	2018-10-03
2.6.0	2018-08-08
2.5.0	2018-06-26
2.4.0	2018-03-20
2.3.0	2018-01-30
2.2.0	2017-12-02
2.1.0	2017-08-23
2.0.0	2017-05-17
0.6.0	2017-03-11
0.5.0	2017-02-02
0.4.0	2016-12-29
0.3.0	2016-10-31
0.2.0	2016-08-08
0.1.0	2016-06-15
Легенда: Старая версия, не поддерживается Старая поддерживаемая версия Текущая версия Тестовая версия Будущая версия

Ссылки

— 2024.
Woodie, Alex . Datanami (22 апреля 2016). Дата обращения: 4 августа 2016. 13 августа 2016 года.
↑ . Дата обращения: 1 февраля 2023. 23 декабря 2018 года.
Akidau, Tyler; Schmidt, Eric; Whittle, Sam; Bradshaw, Robert; Chambers, Craig; Chernyak, Slava; Fernández-Moctezuma, Rafael J.; Lax, Reuven; McVeety, Sam; Mills, Daniel; Perry, Frances (1 August 2015). (PDF) . Proceedings of the VLDB Endowment . 8 (12): 1792—1803. doi : . (PDF) из оригинала 4 марта 2016 . Дата обращения: 4 августа 2016 .
Chambers, Craig; Raniwala, Ashish; Perry, Frances; Adams, Stephen; Henry, Robert R.; Bradshaw, Robert; Weizenbaum, Nathan (1 January 2010). (PDF) . Proceedings of the 31st ACM SIGPLAN Conference on Programming Language Design and Implementation . ACM: 363—375. doi : . S2CID . Архивировано из (PDF) 23 сентября 2016 . Дата обращения: 4 августа 2016 .
Akidau, Tyler; Whittle, Sam; Balikov, Alex; Bekiroğlu, Kaya; Chernyak, Slava; Haberman, Josh; Lax, Reuven; McVeety, Sam; Mills, Daniel; Nordstrom, Paul (27 August 2013). (PDF) . Proceedings of the VLDB Endowment . 6 (11): 1033—1044. doi : . Архивировано из (PDF) 1 февраля 2016 . Дата обращения: 4 августа 2016 .
Pointer, Ian . InfoWorld. Дата обращения: 4 августа 2016. 22 декабря 2018 года.
. beam.apache.org . Дата обращения: 21 апреля 2022. 1 февраля 2023 года.