Senior Data Engineer

About the Position

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

Dołącz do projektu realizowanego we współpracy z firmą technologiczną, w którym będziesz rozwijać skalowalne rozwiązania danych w ekosystemie Microsoft Azure. Będziesz odpowiedzialny za projektowanie i rozwój pipeline’ów ETL/ELT, przetwarzanie danych w Apache Spark i Azure Databricks oraz rozwój architektury Data Lakehouse. Rola obejmuje również modernizację platform danych, optymalizację wydajności i kosztów oraz zapewnienie jakości, bezpieczeństwa i niezawodności rozwiązań produkcyjnych.

Technologies and Tools

• Apache Spark
• Python
• SQL
• Azure Databricks
• Azure Data Factory
• Azure Data Lake
• Azure Synapse Analytics
• Azure Data Explorer
• Delta Live Tables (DLT)
• Unity Catalog
• CI/CD
• Power BI

Responsibilities

• Projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w środowisku Azure, w szczególności z wykorzystaniem Azure Databricks i architektury Data Lakehouse
• Tworzenie i optymalizacja pipeline’ów ETL/ELT służących do pobierania, transformowania i udostępniania danych z różnych obszarów biznesowych
• Rozwój rozwiązań do przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark
• Budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków opartych na metadanych oraz procesów orkiestracji
• Udział w migracji i modernizacji platform danych, w tym wdrażaniu Unity Catalog, aktualizacjach platformy i transformacji rozwiązań
• Współpraca z architektami danych, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne
• Zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych oraz diagnozowanie problemów produkcyjnych i analiza ich przyczyn
• Automatyzacja procesów wdrażania z wykorzystaniem CI/CD i Azure DevOps oraz udział w code review i utrzymywaniu standardów inżynierskich
• Optymalizacja pipeline’ów, struktur danych i obciążeń przetwarzania w celu poprawy efektywności i ograniczenia kosztów
• Wspieranie inicjatyw związanych z raportowaniem, analityką i AI/ML poprzez dostarczanie wiarygodnych i skalowalnych fundamentów danych

Requirements

• Masz minimum 5 lat doświadczenia w obszarze Data Engineering i bardzo dobrze znasz Apache Spark oraz Python
• Masz praktyczne doświadczenie w pracy z platformą Microsoft Azure, w szczególności Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics i Azure Data Explorer
• Dobrze znasz SQL i potrafisz projektować oraz optymalizować procesy przetwarzania danych, w tym pipeline’y ETL/ELT
• Masz doświadczenie z Databricks, a także znasz zagadnienia związane z Delta Live Tables (DLT), Unity Catalog i zarządzaniem metadanymi
• Masz doświadczenie z Azure DevOps i CI/CD oraz stosujesz dobre praktyki inżynierskie w projektowaniu, testowaniu i wdrażaniu rozwiązań danych
• Znajomość Power BI i rozumienie potrzeb rozwiązań analitycznych oraz raportowych
• Potrafisz samodzielnie diagnozować problemy produkcyjne, optymalizować wydajność i koszty oraz współpracować z architektami, zespołami platformowymi i interesariuszami biznesowymi
• Posiadasz znajomość języka angielskiego na poziomie C1

We Offer

• Współpraca w oparciu o kontrakt B2B
• Praca zdalna
• Profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji

About the Company

Poznaj nas lepiej👉 Clurgo

Salary

130 – 150 PLN (net, hourly)

Job Details

• Job ID: 296
• Published on: 13/10/2026
• Employment Type: Contract
• Experience Level: Senior
• Work Location Type: Remote