Data engineer

MSK or Remote | full time | 140к -180к 

О проекте: Перед нами встала задача написать масштабируемую и надежную систему сбора данных, и мы ищем человека в команду. Система должна позволять собирать данные из разных источников (OPC сервера, PI системы, топики сообщений) и реализовывать доступ к данным со стороны нашего основного продукта 

Задачи: 

Участвовать в разработке нашей системы сбора данных 

Настраивать потоки данных из внешних (Kafka, OPC UA, реляционные БД) 

Работать с пайплайнами сбора данных 

Требования:  

— Опыт работы с современными системами хранения данных 

— Опыт написания SQL запросов и использования ORM 

— Работа на Python 3.9+, в том числе написание асинхронного кода 

— Умение документировать свой код 

— Умение писать тесты на код  

Желательно: 

— Опыт работы с RabbitMQ/Kafka 

— Опыт работы с Redis и Clickhouse 

— Опыт работы с NiFi 

— Понимание принципов партиционирования, шардирования 

— Понимание принципов репликации 

Если вакансия вас заинтересовала - прошу обратиться к нашему HR в телеграмм

@makhmutovaa