Big Data Engineer at JetBrains

Мы ищем Big Data Engineer, чтобы помогать JetBrains извлекать максимальную пользу из данных, которые мы собираем через наши продукты. Задача этого инженера будет заключаться в создании и развитии надежной, безотказной и удобной инфраструктуры данных.

В нашей команде ты будешь заниматься следующим:

• Проектировать, реализовывать и обслуживать инфраструктуру конвейера данных;
• Обеспечивать надежность инфраструктуры и данных в режиме «24/7» путем автоматизации тестирования и мониторинга конвейера данных;
• Создавать и оптимизировать ETL и SQL-запросы;
• Содействовать развитию высокой культуры работы с данными в нашей компании;
• Снабжать команду продукта результатами обработки данных, имеющими практическую ценность.

Мы хотим видеть тебя в нашей команде, если ты:

• Работал(а) с технологиями обработки больших данных, такими как SQL, Spark, MapReduce, Hadoop и т. д.
• Создавал(а) безотказной и надежной инфраструктуры данных
• Можешь писать качественный код.

Мы будем особенно рады дополнительному опыту в следующих областях:

• Работал с AWS, Google Cloud или другой облачной платформой;
• Опыт применения DevOps практик на предыдущем месте работы.

Подробнее о нашем конвейере данных:

• Инфраструктура работает на платформе AWS и конфигурируется с помощью Terraform;
• Обновления инфраструктуры автоматически развертываются через TeamCity и соответствующие задачи Gradle;
• Обновления сначала развертываются в тестовом окружении, а переносятся в продакшен только после тестирования;
• Код хранится в репозитории Git.

https://spb.hh.ru/vacancy/27992535