ETL разработчик/Data engineer
Remote | от 300 т.р. на руки
ЗП : от 300 000 руб на руки. (Готовы обсуждать)
Формат: удаленно на территории РФ.
- Официальное трудоустройство по ТК РФ c первого дня;
- Аккредитованная IT компания (льготная ипотека, отсрочка от призыва и бронь от мобилизации);
Дополнительные условия:
- ДМС;
- Ежегодная индексация заработной платы.
О компании:
Современная российская IT компания, специализирующаяся на внедрении инструментов для повышения эффективности бизнес-процессов ищет будущего коллегу - ETL разработчика.
Нам есть что тебе предложить - уникальный проект, в котором предстоит работать, не имеющий аналогов в своей нише.
Задачи:
- Совместная работа с DBA-архитектором на проектах;
- Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
- Разработка трансформации данных ODS-слоя в DDS-слой;
- Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
- Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логики существующего Python/T-SQL кода (MSSQL);
- Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
- Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala);
- Работа с AirFlow-операторами, разработка DAGs;
- Мониторинг и поиск проблемных мест при эксплуатации ADB (Greenplum).
Требования:
- Понимание различий PostgreSQL & Greenplum;
- Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
- Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
- Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
- Понимание различий между логическими моделями: звезды, снежинки и DataVault.
- Опыт на аналогичной должности от 4 лет;
- Опыт с технологическим стеком: Greenplum, PXF, gpfdist, AirFlow, Spark, Scala обязателен.
Контакты: @evsmarvl