Senior Data Engineer (ETL/загрузка данных)

Bilim Group - это продуктовая EdTech-компания в Казахстане. Мы работаем с огромным масштабом изменений - со всей системой образования страны. В нашей экосистеме сегодня более 20 цифровых продуктов и платформ, которыми пользуется уже более 15 000 детских садов, школ и колледжей по всему Казахстану. Сейчас в компании происходят качественные изменения, и мы ищем сотрудников способных предложить нестандартные решения и высокий уровень вовлеченности. Мы в поисках Senior Data Engineer на продукт OQU – это национальная платформа для получения государственных услуг в сфере дополнительного образования, которая станет основой для справедливого, прозрачного и эффективного распределения ваучеров на обучение детей и подростков по всей стране. Задачи: Загрузка и регулярное обновление мастер- и справочных данных платформы: госзаказ, справочники, система специальностей и квалификаций, контингент, дипломы, оценки, аттестаты, директора, обновления по колледжам Поддержка и разработка конвейеров ingestion (ETL): каталоги / атрибуты /оркестрация Нормализация, валидация и маппинг данных из разнородных и легаси-форматов; постоянный контроль качества загрузок Сопровождение контрактов данных на стыке с CDC-контуром (Mongo → Kafka → PostgreSQL, Pub/Sub со смежными сервисами) Сопровождение методологии отчетности и выгрузок: поддержка рабочих отчетов, участие в регулярной подготовке государственной отчётности Документирование пайплайнов, структуры данных и методологии Требования: Технические навыки (обязательно) Python для ETL: Polars / pandas, пайплайны as-code Оркестрация пайплайнов: Temporal (или Airflow-подобные) Базы данных и хранилища: PostgreSQL, MongoDB Моделирование и обработка справочных / мастер-данных: нормализация, версионирование, маппинг разнородных форматов Потоковые данные и CDC: Kafka, MongoDB, Pub/Sub, Debezium Опыт: 4–6+ лет в дата-инженерии / ETL Специальные знания (предметная область) Структура государственных образовательных данных РК: знание профильных систем — сильное преимущество Гос. форматы и справочники: понимание форматов государственных данных, справочников (КАТО и др.), ЭЦП и согласий в государственных потоках Реверс-инжиниринг данных: способность восстанавливать недокументированную структуру данных и методологию отчётов и доводить их до документации Границы роли Это инженерная роль владения данными и пайплайнами — без разработки middleware / эндпоинтов и без владения CDC-контуром Не Product Owner / PM — фокус на данных и загрузке, а не на людях и бэклоге Что ты получаешь, присоединившись к нам: Достойная зарплата — обсудим на встрече, индивидуально и честно Поддерживающая команда — ценим уважение, открытость и чувство юмора Прокачка знаний — доступ к курсам Kitap.kz, Bilimland.com, Lerna.kz и другим образовательным платформам Языки — легко: изучай иностранные на Qlang.kz в удобном тебе ритме Кафетерий бенефитов — спорт, здоровье, обучение. Ты сам выбираешь, что важно (доступ через полгода) Ивенты, квизы, meet-up’ы и Тәтті күн — традиция вкусных угощений и веселых встреч BYOD — если работаешь со своим ноутом, мы это компенсируем Как мы работаем: Предлагаем удаленный режим работы Есть возможность работать из офисов в г. Астана и в офисе г. Алматы График: пн–пт, с 9:00 до 18:00 Официальный найм с первого дня, испытательный срок — 3 месяца </d

Вакансия была найдена и отобрана на hh