Data engineer

Мы интернациональная команда, занимающаяся адаптацией, ⁣ ⁣локализацией и созданием новых сервисов экосистемы для дочерних банков экосистемы Сбер.

Чем предстоит заниматься:

• полным циклом разработки всех слоев хранилища данных и отображения отчетности
• участвовать в составлении плана проекта, оценка проектных сроков и рисков
• участвовать в проектировании системы, решать сложные исследовательские задачи по реализации никем ранее не реализованного функционала
• развивать корпоративное хранилище и витрины данных (АС Облако данных) для развития международного бизнеса Сбербанка. Участвовать в сложных интеграционных проектах по развитию корпоративного DWH (преимущественно Hadoop, возможно, интеграции с БД Oracle и Teradata) в роли разработчика.
• разрабатывать и проектировать потоки данных, алгоритмы загрузки и обработки данных в Hadoop с использованием Apache Spark
• разрабатывать и оптимизировать ETL, обеспечивать производительность и стабильность, при необходимости участвовать в анализе инцидентов
• организовывать оптимальный процесс разработки
• участвовать в приемке системы

Мы ожидаем:

• опыт работы в области Data engineer от одного года

Работа с данными:

• знание SQL - простые запросы, Join`ы, агрегаты, группировки, вложенные запросы
• знание python: стандартные структуры данных (dict, list, set, модуль collections), pandas, numpy, h5py
• опыт работы с Hadoop (Hive, Spark, HBase) является плюсом

Моделирование:

• Feature Engineering: - методы оценки значимости и отбора признаков, методы уменьшения размерности, приемы работы с текстом
• Model - умение различать основные классы задач (регрессия, классификация, кластеризация) и формулировать бизнес-задачу в их терминах. Знать основные методы и знать api по их использованию
• Python - sklearn, numpy, scipy, xgboost (в порядке убывания приоритета)

Evaluation:

• умение различать методы оценки качества модели под основные классы задач и понимать плюсы и минусы их применения. (f1, precision, recall, roc auc, mse, rmse, silhouette)
• опыт работы с инструментами для организации и автоматизации работы: GridSearch, pipelines, ide, git, Jira, Confluence
• понимание методологии Agile и DevOps
• владение английским языком на уровне чтения технической документации

Мы предлагаем:

• работа в команде профессионалов, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны
• можно работать в офисе или в смешанном графике
• конференции и обучение на корпоративных или вендорских курсах за наш счёт
• отличная ДМС, включая несчастные случаи и тяжелые заболевания
• льготные условия по ипотеке и кредитам
• материальная помощь и социальная поддержка
• корпоративная пенсионная программа
• офис в бизнес-центре Поклонка (м. Кутузовская)

Откликнуться

​