Бурный поток

В связи с распространением технологии IoT растет число источников данных в реальном времени, поэтому традиционные методы пакетной обработки, которые хранят данные и ретроспективно анализируют их по батчам, могут привести к упущенным возможностям для предприятий.

Организациям все чаще требуется мгновенный анализ и возможность моментального принятия решений. Это повысило интерес к технологиям потоковой обработки, где данные рассматриваются как "поток событий", который постоянно генерируется.

Потоковая обработка может как питать AI-приложения, которым важно реагировать в режиме реального времени, так и сама увеличивать свою эффективность в результате машинного обучения.

Технология потоковой обработки сильно продвинулась вперед из-за наличия инструментов с открытым исходным кодом. Apache имеет под своим зонтиком несколько распределенных потоковых платформ, что снижает барьер входа для разработчиков, которые хотят интегрировать потоковую аналитику в корпоративные рабочие процессы.

В то же время, Kafka, в разработке которой принимала участие LinkedIn, является одним из самых популярных сервисов, используемых сегодня.

Технология объединяет параллельную распределенную память (RAM) нескольких компьютеров для высокоскоростного хранения и обработки данных, что делает анализ в тысячи раз быстрее, в сравнении с традиционными методами.

Hazelcast - один из самых популярных вендоров в области вычислений в памяти, недавно получивший финансирование в размере 88 млн долларов США от Bain Capital Ventures, Earlybird Venture Capital и других фондов.

Компания Striim, которая привлекла первый раунд финансирования в 2013 году, позиционирует себя как "единое окно" для создания и развертывания потоковой инфраструктуры, включая:

- Сбор данных об изменениях на основе журнала, с поддержкой нескольких типов источников и целей

- Потоковая обработка в памяти

- SQL-подобный язык программирования для взаимодействия с потоковыми данными

- Краевая обработка и возможности интеграции с облаком.

В следующем посте серии поговорим об обработке неструктурированных данных, а пока что хорошего всем вторника!