Tech Stack
PythonCI/CDAzure
Job Description, Responsibilities & Requirements
About the Position
Your vision. Our solutions.
We are seeking a skilled Data Engineer with experience in Azure Data Lake, CI/CD processes, and DWH table development for a hybrid role in Prague.
Role Description
Popis projektu
- Integrace nových zdrojů dat, API, různých databází a streamovacích platforem (Kafka)
- Vývoj a správa datových toků v Azure Data Lake ve vrstvách Bronze, Silver a Gold
- Práce s metadatatovým frameworkem a navrhování metadatatově řízených řešení
- Nastavení a správa CI/CD pipelines a účast při releasovacím procesu
- Vývoj a údržba DWH tabulek v Azure SQL, včetně implementace SCD2 a hvězdicového schématu
- Tvorba a optimalizace ETL/ELT procesů v Pythonu/PySpark
- Po onboardingu 2-3 dny onsite
Requirements
Požadavky projektu
- Alespoň 1 rok praktických zkušeností s daty v Azure Data Lake (Bronze, Silver, Gold)
- Minimálně 1 rok zapojení do CI/CD procesů a releasování kódu
- Alespoň 1 rok zkušeností s vývojem tabulek v Azure SQL
- Nejméně 2 roky praxe s vývojem DWH tabulek (SCD2, hvězdicové schéma)
- Praktické zkušenosti s Pythonem/PySpark v oblasti ETL, transformací a optimalizace výkonu
- Schopnost pracovat s metadatatovými frameworky a metadatatově řízenými řešeními
- Praktická zkušenost s integrací zdrojů (API databáze, Kafka)
- Angličtina na úrovni min B2, pro komunikaci v mezinárodním týmu a tvorbu dokumentace
We Expect You to Have
About the Company
The Workly s.r.o.
4D CENTER, Kodaňská 1441/46,
101 00, Praha 10.
Contact
Email: [email protected]
Phone: + 420 775 371 991
©2023, All right reserved.