Data Engineer (Hadoop)

Мы создаём высоконагруженный сервисный сайт, который занимает 3 место в мире по рейтингу SimilarWeb среди сайтов по поиску работы. Ежедневно к нам приходят около полутора миллионов пользователей, смотрят более 100 миллионов страниц (до 10000 в секунду), и делают около 1 миллиона откликов на вакансии. Мы хотим знать о всех действиях пользователя и понимать их поведение. Поэтому внедряем различные инструменты для сбора и анализа данных, и сейчас ищем человека, который будет развивать инфраструктуру нашего DWH.

Чем предстоит заниматься:

• Разрабатывать и сопровождать решения для пакетной и потоковой выгрузки данных из корпоративных и внешних систем в аналитическое хранилище;
• Развивать инфраструктуру хранилища, экспериментировать с новыми системами сбора, хранения и анализа данных;
• Помогать аналитикам и разработчикам в их ежедневной работе с hadoop;
• Разрабатывать средства мониторинга, организовывать процессы, связанные с качеством данных;
• Выстраивать и развивать процессов обработки данных в компании;
• Поддерживать, развивать и мониторить существующие hadoop-кластера.

Стек:

• Apache Hadoop;
• Airflow, Spark, Trino;
• Ansible, Telegraf, Grafana.

Языки программирования:

• Python - необходим для организации ELT и активно используется во внутренних утилитах;

• SQL - чтобы помогать аналитикам находить проблемы в запросах;

• Go - небольшая часть наших внутренних сервисов написана на нем, но знать его не обязательно.

Что мы еще ждем:

• Хорошие знания Linux;
• Опыт работы с БД, SQL;
• Опыт поддержки приложений на java;
• Опыт работы с системами управления конфигурацией как ansible, chef, salt, puppet;
• опыт с hadoop-экосистемой (будет преимуществом).

Что мы предлагаем:

• Hadoop-кластер из 50+ машин содержащий около 1.5 Пб данных;

• Гибкий график работы (забыть про утренние пробки — это бесценно);

• Возможность удаленной работы;

• Корпоративное ДМС (со стоматологией) с первого месяца работы; страхование жизни;

• Обучение за счет компании, участие в специализированных конференциях;

• Работу в ИТ-компании с аккредитацией в Минцифры;

• Корпоративный сервис с круглосуточной поддержкой юриста, психолога и финансового консультанта;

• Промокоды и бонусы от партнеров.

Откликнуться

​