В связи с расширением команды и масштабированием проектов находимся в поиске дата инженера в IT-компанию, которая занимается разработкой и полным сопровождением заказного программного обеспечения, веб-сайтов и мобильных приложений, предоставляя широкий спектр услуг.
Cтек: Data LakeHouse архитектура, Kafka, Spark, Airflow, ClickHouse, S3, SuperSet, OpenMetadata. Таск-трекеры: Jira. Документация: Confluence
Чем предстоит заниматься:
-
Разрабатывать и поддерживать ETL/ELT пайплайны в Data Lakehouse архитектуре с Iceberg;
-
Разрабатывать витрины в ClickHouse;
-
Разрабатывать потоки данных из различных источников через Kafka и обработкой в Spark;
-
Настраивать и внедрять DataQuality проверки;
-
Работать с CDC и Debezium.
Ожидания:
-
5+ лет опыта работы на позиции Data Engineer;
-
Опыт работы с Data Lakehouse архитектурой (предпочтительно с Iceberg);
-
Глубокое понимание и опыт работы с Apache Spark от 2 лет.
-
Опыт работы с Kafka.
-
Глубокое знание Python и SQL, опыт оптимизации запросов.
-
Опыт работы с инструментами оркестрации (Airflow).
-
Понимание Data Quality и Data Governance процессов.
Будет плюсом:
-
Опыт работы с BI инструментами (Power BI, Qlik, Metabase, Superset);
-
Опыт работы с MongoDB
-
Понимание DevOps: Docker, Kubernetes
-
Знание инструментов CDC (Debezium, Kafka Connect).
Мы предлагаем:
- Оформление по ТК Республики Беларусь;
- Стабильную официальную заработную плату;
- Комфортный, современный офис в Минске;
- Расширенный социальный пакет.
Данное рабочее место является планируемым к созданию и замещению (перспективным).
Похожие вакансии
Опыт работы не менее двух лет по проектированию объектов в должностях специалистов и (или) руководителей в соответствующей области знаний (связь...
Высшее техническое образование в области компьютерных технологий, информационных технологий или телекоммуникаций. Глубокие знания в администрировании операционным систем Linux, Windows, гипервизоров...
Высшее образование. Знание стандартов СТБ ISO 9001; СТБ 1470; FSSC 22000; Халяль с обязательным практическим внедрением на пищевом и кормовом...
1. Высшее техническое образование (машиностроение, механика, приборостроение, холодильная техника и т.п.). 2. Понимание принципов работы холодильных систем. 3.
Высшее профессиональное (инженерно-техническое) образование. Знание законодательства в области охраны труда. Умение справляться с большим объемом информации. Уверенное владение устным...

