Data Engineer
Primary stack
AzureCI/CDPythonETL
Job description
About the Position
We are seeking a Data Engineer with experience in Azure Data Lake and Python/PySpark for a hybrid role in Prague, Czech Republic.
Role Description
Popis projektu
- Integrace nových zdrojů dat, API, různých databází a streamovacích platforem (Kafka)
- Vývoj a správa datových toků v Azure Data Lake ve vrstvách Bronze, Silver a Gold
- Práce s metadatatovým frameworkem a navrhování metadatatově řízených řešení
- Nastavování a správa CI/CD pipelines a účast při releasovacím procesu
- Vývoj a údržba DWH tabulek v Azure SQL, včetně implementace SCD2 a hvězdicového schématu
- Tvorba a optimalizace ETL/ELT procesů v Pythonu/PySpark
- Po onboardingu 2-3 dny onsite
Requirements
Požadavky projektu
- Alespoň 1 rok praktických zkušeností s daty v Azure Data Lake (Bronze, Silver, Gold)
- Minimálně 1 rok zapojení do CI/CD procesů a releasování kódu
- Alespoň 1 rok zkušeností s vývojem tabulek v Azure SQL
- Nejméně 2 roky praxe s vývojem DWH tabulek (SCD2, hvězdicové schéma)
- Praktické zkušenosti s Pythonem/PySpark v oblasti ETL, transformací a optimalizace výkonu
- Schopnost pracovat s metadatatovými frameworky a metadatatově řízenými řešeními
- Praktická zkušenost s integrací zdrojů (API databáze, Kafka)
- Angličtina na úrovni min B2, pro komunikaci v mezinárodním týmu a tvorbu dokumentace
We Expect You to Have
About the Company
The Workly s.r.o.
4D CENTER, Kodaňská 1441/46,
101 00, Praha 10.
Contact
Email: [email protected]
Phone: + 420 775 371 991
Apply for this position
Our team will review your application within the next 5 days.
© The Workly. This job description was sourced from the employer's public career page. TheJob is not the employer — we index the posting and route candidates to the source. All content rights and hiring decisions belong to the employer.