Python (DE)
PythonМы создаем новую команду, которая занимается развитием BI отчетности для облачной платформы управления операционным риском дочерних компаний группы.
Суть продукта: BI отчетность E2E для конечных пользователей платформы на базе OpenSource.
В команде есть все необходимые роли, выделены DevOps.
Используемые технологии:
- Apache Airflow
- Postgres SQL
- ClickHouse
- Kafka
- Apache SuperSet
- Опционально часть источников данных на Hadoop\Spark
Стек:
- Python
- ANSI SQL
Код храним в Bitbucket, DevOps трубы создаем на Jenkins+HELM.
Задачами команды управляем в Jira, аналитику и требования ведем в Confluence.
Работаем в Agile двухнедельными спринтами.
Что нужно делать:
- Проектировать DWH: проектирование, определение сущностей, формирование витрин данных;
- Разрабатывать потоки данных в DWH из внутренних и внешних систем (стек Kafka, PySpark, Hadoop, Clickhouse, AirFlow);
- Формировать DQ проверки данных, разрабатывать процессы мониторинга и информирования о качестве данных.
Какие навыки и опыт ожидаем от тебя:
- Опыт обработки больших данных, знание принципов работы БД и методологий моделирования;
- продвинутый уровень владения Python, Apache AirFlow, SQL;
- понимание концепций непрерывной интеграции, доставки (CI/CD) и работа с контейнерами (Docker);
- высшее образование, широкий технический кругозор;
- проактивность и ответственность за конечный результат;
- английский - на уровне чтения документации.
Мы предлагаем:
- Регулярное обучение hard и soft скиллам в нашем корпоративном университете.
- Большое количество различных митапов и хакатонов, с возможностью выступить на мероприятиях в качестве спикера.
- Льготная ипотека от Сбербанка для сотрудников
- Прекрасный ДМС, в лучших клиниках г. Москва.
- Работа в лучшем офисе страны + гибридный режим.
- Регулярный пересмотр заработной платы в зависимости от результатов.
- Бесплатный фитнес и тренажерный зал.
- Полная свобода действий, важен результат.
Откликнуться
