Data Engineer

Мы создаём высоконагруженный сервисный сайт, который занимает 3 место в мире по рейтингу SimilarWeb среди сайтов по поиску работы. Ежедневно к нам приходят около полутора миллионов пользователей, смотрят более 100 миллионов страниц (до 10000 в секунду), и делают около 1 миллиона откликов на вакансии. Мы хотим знать о всех действиях пользователя и понимать их поведение. Поэтому внедряем различные инструменты для сбора и анализа данных, и сейчас ищем человека, который будет развивать инфраструктуру нашего DWH.

Стек:
· Ванильный Apache Hadoop последней версии
· Apache Airflow как основной оркестратор
· Apache Kafka для доставки данных, Flink для их обработки
· Spark 3
· Hive 3
· Trino
· Greenplum

Чем предстоит заниматься:

• Развитием, оптимизацией внутреннего фреймворка расчетов A/B-экспериментов;
• Выстраивать и развивать процессы обработки данных в компании;
• Разрабатывать и сопровождать решения для пакетной и потоковой выгрузки данных из корпоративных и внешних систем в аналитическое хранилище;
• Развивать инфраструктуру хранилища, экспериментировать с новыми системами сбора, хранения и анализа данных;
• Поддерживать, развивать и мониторить существующие hadoop-кластера;
• Помогать аналитикам и разработчикам в их ежедневной работе с hadoop.

Кандидат мечты:

• Опыт разработки ETL-процессов;
• Знает Python, Airflow, Flask и SQL (Hive/Trino, Postgres), а также умеет разбирать и улучшать чужой код;
• Имеет представление о том, что такое А/Б-тесты и для чего они нужны. Не обязательно знать формулы из математической статистики, но важно быть знакомым с процессом проверки продуктовых гипотез через А/Б-тест;
• Обладает опытом рефакторинга существующей кодовой базы;
• Опыт работы с Java будет плюсом;
• Будет полезен опыт работы в команде с аналитиками, поскольку многие задачи требуют совместной работы и погружения в контекст, связанный с математической статистикой.

Что мы предлагаем:

• Возможность удаленной работы;

• Корпоративное ДМС (со стоматологией) с первого месяца работы; страхование жизни;

• Обучение за счет компании, участие в специализированных конференциях;

• Работу в ИТ-компании с аккредитацией в Минцифры;

• Корпоративный сервис с круглосуточной поддержкой юриста, психолога и финансового консультанта;

• Промокоды и бонусы от партнеров.

Откликнуться

​