DevOps-инженер

Remote or MSK | full time

Umbrella IT

(мы аккредитованы МинЦифрой)

🧩Ищем DevOps-инженера (Hadoop администратора), основными задачами которого будет развернуть платформу Data Lake (на базе Hadoop) с нуля, настроить все необходимые компоненты для построения современного стека для работы с данными.Платформа Data Lake: будет являться частью централизованной Data Platform и поможет в стандартизации и автоматизации бизнес-процессов по загрузке и обработке “сырых” данных, обеспечении нужных таблиц в корпоративном реляционном хранилище DWH и развитии Data Science инициатив. Будущие пользователи нашей платформы - это разработчики и аналитики из продуктовых команд, Data Scientiest-ы, которые будут решать прикладные задачи бизнеса.

🧩Наш стек: Hadoop (HDFS, YARN, Spark, Hive), Airflow, Bitbucket, Teamcity, Nexus,

Jira/Confluence, Ansible, Docker, Grafana/Zabbix, Yandex.Cloud

🧩Чем предстоит заниматься:

– участвовать в пилоте по разворачиванию Data Lake (Hadoop);

– развернуть дистрибутив Hadoop на целевом железе;

– поддерживать и проводить troubleshooting, тестирование и анализ возникающих issues

платформы;

– настроить репликацию данных между Production и DR площадками;

– оказывать поддержку разработчикам Data Lake из продуктовых команд;

– настроить мониторинги по основным сервисам (HDFS, Yarn, Hive, Spark, Kerberos +

Ranger, Jupyterhub и др.)

– проводить RnD, изучать новое open-source ПО

🧩Мы ожидаем, что ты имеешь следующий опыт работы:

Администрирование Hadoop кластеров;

Администрирование OC Linux (RHEL, CentOS);

Знание CI/CD практик

Опыт написания shell-скриптов

Нам есть чем и кем гордиться! Увидимся в Umbrella IT! Писать и присылать резюме можно мне

@KatyaUIT