Python-разработчик

Проект по внутренней разработке оркестратора загрузки для высоконоагруженных кластерных СУБД, который подразумевает плотную интеграцию с Airflow и Kubernetes, а также производительную обработку данных и реализацию тиражируемых подходов к описанию сложных процессов обработки данных.
Фреймворк уже применяется на нескольких крупных хранилищах данных и на текущий момент запланирован переход от императивного описания загрузок на декларативный подход. Данное решение предоставляет аналитику большому количеству конечных пользователей в государственном секторе.

Твои задачи:

• Разработка оркестратора загрузок данных в кластер Clickhouse/Greenplum и распределенных расчетов на базе Airflow
• Высокопроизводительный парсинг данных
• Оптимизация/оркестрация обработки данных (sharding)
• Реализация DSL для пользователей (фреймворк ETL)

Что мы ждем от тебя:

• Опыт работы с FastAPI и/или Django
• Хорошие знания git и различных flow разработки (релиз-ветки, ветки окружений, GitFlow)
• Умение работать с докер-контейнерам, docker-compose
• Умение писать и оптимизировать SQL запросы

Будет плюсом:

• Умение работать с Kubernetes
• Знания в области ETL/ELT и оркестраторов задач
• Опыт работы с Airflow
• Опыт работы с Clickhouse, Greenplum или Postgres

Мы предлагаем:

• Возможность удаленной работы на территории РФ
• Профессиональная сессия развития персонала дважды в год, по итогу которой составляется план индивидуального развития каждого сотрудника
• Тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
• Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Где располагается место работы?Какой график работы?Вакансия открыта?Какая оплата труда?Как с вами связаться?Другой вопрос

Откликнуться

​