NiFi

NiFi


Разработчики	Apache Software Foundation, Cloudera и Hortonworks^[d]
Написана на	Java
Первый выпуск	2006
Аппаратная платформа	кроссплатформенность
Последняя версия	1.25.0 (29 января 2024)^[1]
Репозиторий	gitbox.apache.org/repos/…
Лицензия	Apache License 2.0
Сайт	nifi.apache.org (англ.)
Медиафайлы на Викискладе

NiFi (Apache NiFi) — открытое программное обеспечение проекта фонда Apache, предназначенное для организации ETL-процессов в рамках экосистемы Hadoop.

Наименование — акроним от NiagaraFiles — названия программы Агентства национальной безопасности США, на основе которой создан в рамках программы передачи технологий АНБ в 2014 году^[2]^[3]^[4]^[5]^[6]. Основной разработчик в первые годы — компания Onyara, в 2015 поглощена Hortonworks^[7], которую, в свою очередь поглотила корпорация Cloudera в 2019 году^[8], где по состоянию на 2020-е годы сосредоточена основная активность по развитию и поддержке продукта.

Поддерживает горизонтальное масштабирование для работы в кластерах, безопасность с использованием шифрования TLS, расширяемость (пользователи могут писать свои собственные приложения для расширения его возможностей), реализован пользовательский интерфейс для визуального просмотра и изменения сценариев обработки данных.

Все компоненты — серверные Java-программы, запускающиеся под управлением виртуальной машины Java, основные из них:

веб-сервер — компонент на основе HTTP, используемый для визуального анализа и отслеживания событий;
контроллер потоков — управляет запуском экземпляров потоков-расширений NiFi и планирует выделение ресурсов для них;
потоки-расширения — различные плагины, позволяющие NiFi взаимодействовать с различными системами;
репозиторий FlowFile — хранилище метаданных для поддержания и отслеживания состояния текущего активного потока или информации, перемещаемой между системами;
репозиторий контента — хранилище передаваемых данных;
репозиторий провенанса — данные о происхождении данных, проходящих через систему.