Interested Article - Kubeflow

Kubeflow — построенная на Kubernetes и представленная Google платформа с открытым кодом , предназначенная для машинного обучения и MLOps практик. Различные этапы в типичном жизненном цикле машинного обучения представлены разными компонентами программного обеспечения в Kubeflow, включая разработку модели ( ) , тренировку модели ( , ) , использование модели ( ) , и автоматическое машинное обучение ( ) .

Каждый компонент Kubeflow может быть развернут отдельно, также нет требования развертывать каждый компонент .

История

Проект Kubeflow был впервые анонсирован на конференции KubeCon + CloudNativeCon North America 2017 инженерами Google Дэвидом Арончиком, Джереми Леви и Вишну Каннаном для устранения предполагаемой нехватки гибких возможностей для построения систем машинного обучения готовых к запуску на производстве . Было также заявлено, что проект начался как способ компании Google сделать открытым код, с помощью которого в компании используется TensorFlow .

Первый выпуск Kubeflow (Kubeflow 0.1) был анонсирован на конференции KubeCon + CloudNativeCon Europe 2018 с утверждениями, что он уже стал одним из верхних 2% проектов на GitHub за всё время существования сервиса . Kubeflow 1.0 был выпущен в марте 2020 года в публичном посте анонсирующим перевод множества компонентов Kubeflow в «стабильный статус», обозначая тем самым, их готовность для производственного использования .

Компоненты

Kubeflow Notebooks для разработки модели

Модели машинного обучения разрабатываются в компоненте записной книжки называемым Kubeflow Notebooks . Компонент использует web среды разработки внутри Kubernetes кластера, с родной поддержкой Jupyter Notebook , Visual Studio Code , и RStudio .

Kubeflow Pipelines для обучения модели

После разработки модели обучаются в компоненте Kubeflow Pipelines . Компонент служит платформой для построения и развертывания портируемого , масштабируемого рабочего процесса машинного обучения, основанного на контейнерах Docker . Облачная платформа Google адаптировала Kubeflow Pipelines DSL для использования внутри своего продукта Vertex AI Pipelines .

Kubeflow Training Operator для обучения модели

Для некоторых моделей машинного обучения и библиотек, компонент Kubeflow Training Operator предоставляет поддержку пользовательских ресурсов Kubernetes . Компонент позволяет запускать как распределенные, так и не распределенные работы для обучения с использованием TensorFlow , PyTorch , Apache MXNet , XGBoost , и на Kubernetes .

KServe для использования модели

Компонент KServe (ранее называемый KFServing ) предоставляет пользовательские ресурсы Kubernetes для использования моделей машинного обучения с помощью различных фреймворков включая TensorFlow , XGBoost , scikit-learn , PyTorch , и ONNX . KServe был разработан совместно Google, IBM , Bloomberg , NVIDIA , и . Публично раскрытые пользователи KServe включают Bloomberg , , и прочих .

Katib для автоматического машинного обучения

Наконец, Kubeflow включает компонент для автоматического обучения и разработки моделей машинного обучения — Katib компонент. Он описывается как родной проект Kubernetes и позволяет производить настройку гиперпараметров , раннюю остановку и .

Хронология выпусков

Хронология выпусков
Версия	Дата выпуска	Сведения о выпуске
Kubeflow 0.1	5 апреля, 2018	-
Kubeflow 0.2	2 июля, 2018	-
Kubeflow 0.3	5 октября, 2018	-
Kubeflow 0.4	8 января, 2019	-
Kubeflow 0.5	9 апреля, 2019	-
Kubeflow 0.6	19 июля, 2019
Kubeflow 0.7	17 октября, 2019
Kubeflow 1.0	20 февраля, 2020
Kubeflow 1.1	31 июля, 2020
Kubeflow 1.2	18 ноября, 2020
Kubeflow 1.3	23 апреля, 2021
Kubeflow 1.4	12 октября, 2021
Kubeflow 1.5	10 марта, 2022
Kubeflow 1.6	7 сентября, 2022