Data Engineer

Remote | full-time

DBS                                                                                                             

Проект: разработка решения, которое соединяет онлайн-продавцов и многомиллионную аудиторию покупателей.

Город и адрес офиса: удаленка(любая локация) 

Цель проекта: предоставить качественные бизнес-инсайты и данные для команд и компаний, в проектах с которыми мы участвуем. Для этого нужна устойчивая и легко расширяемая платформа для обработки и хранения данных

Мы ищем специалиста, который имеет необходимый опыт и готов развиваться в этой роли.

Ключевые задачи:

• Написание и поддержка коннекторов для Kafka Connect и Debezium.
• Разработка DAGов на Airflow.
• Написание процедур обработки данных + Data Quality Control.
• Развитие системы мониторинга данных и процессов                                                                    
• Участие во внедрении систем Data Governance и DQC.

Что мы от ожидаем от кандидата:

• SQL - на уровне аналитических функций.
• Python - на уровне написания дагов для Airflow, если лучше то как преимущество.
• Airflow - человек должен понимать что это за инструмент и уметь использовать его.
• Опыт работы с одной из MPP DB(в порядке приоритета): Greenplum, Teradata.
• Опыт работы с PostgreSQL.
• Kafka - понимание работы, базовые навыки работы: создать/удалить, партиционировать топик, сбросить офсеты у топика.
• Опыт работы с Hadoop стеком приветствуется, особенно понимание форматов хранения данных.
• Kafka Connect опыт написания коннекторов загрузки данных - преимущество, но не обязательно.
• Debezium опыт написания коннекторов загрузки данных - преимущество, но не обязательно.
• Знание/понимание Inmon, Kimball, DataVault, Anchor modeling и других моделей данных - преимущество, но не обязательно.

Что мы предлагаем взамен:

• Трудоустройство в соответствии с ТК РФ.
• ДМС с первого рабочего дня.
• Страхование от несчастного случая.
• Удаленная работа.
• Отличная корпоративная культура                                                                                

Контакты: @w_winner