- Разработка и поддержка ETL/ELT‑процессов и пайплайнов на Python и SQL для переноса исторических и операционных данных, а также для регулярной загрузки новых данных в хранилище;
- Работа с Apache Airflow: проектирование DAG, создание операторов, настройка расписаний, мониторинг выполнения задач, обработка ошибок и настройка уведомлений;
- Построение системы проверки качества данных (Data Quality): разработка метрик и скриптов для контроля полноты, точности, соответствия бизнес‑правилам и целостности информации на всех этапах миграции и эксплуатации;
- Оптимизация производительности ETL/ELT‑процессов: анализ и исправление узких мест в коде (Python) и запросах (SQL), работа с большими наборами данных, использование эффективных методов загрузки в системы массово‑параллельной обработки (MPP);
- Интеграция решений с системами мониторинга: настройка логов, метрик и дашбордов, обеспечение соответствия требованиям надёжности (SLA).
- Опыт работы: от 3 лет на позиции инженера данных, ETL‑разработчика или Backend‑разработчика, специализирующегося на системах хранения и обработки данных;
- Участие в проектах по трансформации инфраструктуры данных: практический опыт разработки и внедрения решений в рамках проектов миграции, консолидации или масштабной модернизации платформ хранения и обработки данных;
- Работа с большими объёмами данных: понимание принципов и практический опыт оптимизации обработки датасетов, включая работу с распределёнными системами и MPP‑архитектурами;
- Опыт интеграции ETL‑процессов с системами мониторинга и оповещения.
- Корпоративные ценности и задачи;
- Медицинское страхование;
- Компенсация абонементов в спортивные секции;
- Материальная помощь на оздоровление при предоставлении трудового отпуска в размере 2 окладов;
- Другие корпоративные выплаты и бонусы;
- Тимбилдинги.
Похожие вакансии
Опыт работы в роли DevOps от 2 лет. Глубокое понимание Linux. Владение Bash/Python. Высокий уровень экспертизы в k8...
Высшее техническое или инженерно-экономическое образование, юридическое либо среднее специальное образование (техническое), юридическое. Высокая работоспособность, умение работать в режиме многозадачности...
Высшее специальное образование. Знание сметных программ. Знание ценообразования в строительстве. Знание нормативной документации, опыт в составлении и проверке сметной документации...
Высшее техническое образование. Опыт работы в должности главного инженера крупного объекта не менее 3-х лет. Наличие V группы допуска...
Опыт работы на опасных производственных объектах. Понимание устройства карьерных самосвалов (опасные зоны, гидравлика, высокое напряжение). Высшее образование (Техносферная безопасность) или...
