Data Engineer
Primary stack
Job description
About the Position
Jako firma rekrutacyjna jesteśmy świadomi, że każdy solidny biznes napędzają ludzie z odpowiednio dopasowanymi kompetencjami. Nasz styl zarządzania i partnerskie podejście pozwalają nam na elastyczne dostosowanie się do Twoich potrzeb i zapewniają pełne wsparcie podczas współpracy. W związku z ciągłym rozwojem i dużą liczbą projektów rekrutacyjnych, jakie prowadzimy dla naszych Partnerów, szukamy osoby na stanowisko:
Data Engineer
Responsibilities
- Projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub
- Migracja i przebudowa procesów przetwarzania oraz zasilania danych ze środowisk Oracle/on-premise do GCP
- Projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), z uwzględnieniem kontroli jakości danych, obsługi błędów i mechanizmów ponawiania
- Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz optymalizacji kosztów
- Analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i środowisk GCP
- Tworzenie, analiza i optymalizacja zapytań SQL, w tym analiza planów wykonania i identyfikacja wąskich gardeł przy przetwarzaniu dużych wolumenów danych
- Analiza istniejących procesów Informatica PowerCenter oraz ich migracja do rozwiązań docelowych w GCP
- Implementacja logiki transformacji, walidacji i integracji danych z wykorzystaniem SQL oraz Python
- Przeprowadzanie analiz technicznych, analiz wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązań
- Przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresyjnych i UAT
- Przygotowywanie zmian do wdrożenia, instrukcji wdrożeniowych oraz wsparcie wdrożeń i weryfikacji powdrożeniowej
- Diagnozowanie i rozwiązywanie incydentów związanych z przetwarzaniem i jakością danych
- Tworzenie i aktualizacja dokumentacji technicznej oraz praca z repozytoriami kodu i procesami CI/CD zgodnie z podejściem DevOps
Requirements
- Minimum 2 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych
- Praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności z BigQuery, Cloud Storage i Pub/Sub
- Praktyczna znajomość Oracle, w tym tworzenia i optymalizacji zapytań SQL oraz pracy z dużymi wolumenami danych
- Doświadczenie developerskie z Informatica PowerCenter, umożliwiające samodzielną analizę i modyfikację procesów ETL
- Znajomość zagadnień modelowania danych oraz projektowania procesów przetwarzania danych
- Umiejętność optymalizacji zapytań SQL pod kątem wydajności
- Znajomość zagadnień związanych z jakością, spójnością i walidacją danych
- Doświadczenie w przygotowywaniu i przeprowadzaniu testów oraz tworzeniu dokumentacji technicznej
We Offer
- Dofinansowanie karty sportowej
- Stałe wsparcie konsultanta
- Program rekomendacji pracowników
About the Company
DCG Sp. z o.o.,
Siedziba główna: ul. Towarowa 28, 00-839 Warszawa
Oddział: Aleja Grunwaldzka 50A, 80-241 Gdańsk
| Col 1 |
|---|
| REGON: 141316780 |
| Col 1 |
|---|
| NIP: 5222877930 |
| Col 1 |
|---|
| KRS: 0001067305 |
Obserwuj nas:
© DCG. This job description was sourced from the employer's public career page. TheJob is not the employer — we index the posting and route candidates to the source. All content rights and hiring decisions belong to the employer.
IT Services,Financial Services,Telecommunications,Data Center Migration,Regulatory Compliance
About the Company DCG is a company that matches business needs with the ambitions of individuals. They value well-matched collaborations, helping candidates find environments where they can thrive and companies to build teams. Products, Services & Tech Stack Core Solutions: Recruitment Outsourcing Team Leasing Technologies & Frameworks: Checkpoint (VSS, VSX, URL) Fortinet (Fortimanager, FortiAnalyzer, UTM) VPN CISCO Orion (NPM, NCM) Infoblox VISIO Cisco ASA Firewalls Catalyst switches ISR routers Secunet SINA routing switching DMVPN IPSEC Windows stations telephony Wifi Linux/SQL IBM p-series Solaris Linux PRINCE2 PMP ITIL Remedy MS Project MS Outlook Project Scope & Target Clients Client Base: Corporations requiring network security policy and procedure creation. Corporations needing secure information exchange systems. Corporations relocating headquarters. Corporations needing compliance with local financial regulatory requirements. Corporations migrating critical business applications. Corporations separating Shared Service Centers. Engineering Scale: Projects involving optimization of network configurations. Projects involving secure data transmission in network environments. Projects involving relocation of corporate headquarters. Projects involving compliance with local financial regulatory requirements. Projects involving migration of critical business applications. Projects involving separation of Shared Service Centers.
More at DCG
All 174 rolesAutomatyk/ Automatyczka
DCG · Poland
IT Environment Manager
DCG · Warsaw +2
Kierownik/Kierowniczka Budowy
DCG · Poland
Specjalista / Specjalistka ds. opakowań
DCG · Poland