Data Engineer

В связи с расширением команды и масштабированием проектов находимся в поиске дата инженера в IT-компанию, которая занимается разработкой и полным сопровождением заказного программного обеспечения, веб-сайтов и мобильных приложений, предоставляя широкий спектр услуг.

Cтек: Data LakeHouse архитектура, Kafka, Spark, Airflow, ClickHouse, S3, SuperSet, OpenMetadata. Таск-трекеры: Jira. Документация: Confluence

Чем предстоит заниматься:

• Разрабатывать и поддерживать ETL/ELT пайплайны в Data Lakehouse архитектуре с Iceberg;

• Разрабатывать витрины в ClickHouse;

• Разрабатывать потоки данных из различных источников через Kafka и обработкой в Spark;

• Настраивать и внедрять DataQuality проверки;

• Работать с CDC и Debezium.

Ожидания:

• 5+ лет опыта работы на позиции Data Engineer;

• Опыт работы с Data Lakehouse архитектурой (предпочтительно с Iceberg);

• Глубокое понимание и опыт работы с Apache Spark от 2 лет.

• Опыт работы с Kafka.

• Глубокое знание Python и SQL, опыт оптимизации запросов.

• Опыт работы с инструментами оркестрации (Airflow).

• Понимание Data Quality и Data Governance процессов.

Будет плюсом:

• Опыт работы с BI инструментами (Power BI, Qlik, Metabase, Superset);

• Опыт работы с MongoDB

• Понимание DevOps: Docker, Kubernetes

• Знание инструментов CDC (Debezium, Kafka Connect).

Мы предлагаем:

• Оформление по ТК Республики Беларусь;
• Стабильную официальную заработную плату;
• Комфортный, современный офис в Минске;
• Расширенный социальный пакет.

Данное рабочее место является планируемым к созданию и замещению (перспективным).