Azure Data Engineer

Zakres obowiązków:
Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python

Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse)

Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog)

Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne

Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami

Integracja rozwiązań danych z innymi systemami w organizacji

Usprawnianie wydajności, skalowalności i kosztów rozwiązań

️ Wymagania:
Bardzo dobra znajomość:
Azure Databricks

Python

Apache Spark

Doświadczenie z usługami Azure:
Data Lake (ADLS Gen2)

Data Factory / Synapse

Znajomość API (REST lub podobne)

Doświadczenie w projektowaniu ETL oraz modelowaniu danych

Podstawowa znajomość architektury danych

Doświadczenie z CI/CD i Git

Umiejętność rozwiązywania problemów i pracy w metodykach Agile

Dobre umiejętności komunikacyjne (współpraca z biznesem i zespołami technicznymi)

➕ Mile widziane:
Doświadczenie z przetwarzaniem dużych zbiorów danych (big data, streaming)

Znajomość Unity Catalog oraz zasad data governance

Doświadczenie z narzędziami wizualizacji danych (np. Power BI)

Znajomość Databricks Asset Bundles