Wave Access

Ищем инженера по данным для участия в разработке системы, обрабатывающей информацию о продажах по всей России. Наша команда занимается созданием ETL-процессов и агрегатов для формирования витрин данных и отчетов для BI и конечных пользователей. 

Стек технологий: Scala, Apache Spark, ClickHouse, HDFS, Apache Airflow, PostgreSQL, Apache Kafka, Apache Hive, Apache Iceberg

Чем предстоит заниматься:  

- Построение, поддержка ETL-процессов и решение разнообразных бизнес-задач для обработки больших объёмов данных с использованием Spark+Scala  

- Оптимизация скорости обработки данных и потребления системных ресурсов  

- Создание оптимальных SQL-запросов средней сложности для анализа больших объёмов данных по требованиям бизнеса

Что мы ожидаем от кандидата:  

- Владение Scala, Java или готовность оперативно освоить основы scala  

- Консольный минимум Linux  

- Опыт работы со Spark, уверенное понимание принципов работы и потенциальных проблем  

- Знание основ работы с БД, уверенное знание SQL

Будет плюсом:  

- Опыт работы с Zepellin или Jupiter  

- Знание Hadoop/HDFS, работа с Parquet-файлами, работа с hive  

- Умение работать с GitLab CI  

- Знание Bash достаточное, чтобы внести исправления в скрипты  

- Минимальные знания Python  

- Английский на уровне B1 и выше

Условия:

ЗП от $1800

Оформление ИП/Самозанятость,

100% оплата больничного и отпуска  

Техника для работы

Корпоративные обучающие программы 

Демократичный подход к процессам и плавающее начало рабочего дня.