Engenharia de Dados | Remota - 134797

About the Position

Estamos à procura de um Engenheiro de Dados para liderar um projeto estratégico de migração do Data Warehouse legado para um Enterprise Lakehouse em Databricks, com foco na reconstrução de pipelines. A pessoa será responsável por reimplementar pipelines nativamente em PySpark e Spark SQL, apoiando a modernização da plataforma de dados e garantindo paridade entre o ambiente legado e o novo ecossistema Lakehouse.

Responsibilities

• Reconstruir pipelines do Data Warehouse legado em Databricks utilizando PySpark e Spark SQL;
• Implementar as camadas bronze, silver e gold seguindo os padrões da arquitetura medalhão;
• Aplicar padrões de ingestão CDC e batch conforme diretrizes do projeto;
• Executar waves de reconstrução por domínio em coexistência com o DW legado até o cutover;
• Implementar regras de negócio e transformações com testes automatizados;
• Realizar reconciliação e validação de paridade entre os dados do ambiente legado e do Lakehouse;
• Otimizar performance e custos dos pipelines por meio de particionamento, OPTIMIZE, Z-ORDER e dimensionamento de workloads;
• Contribuir com a documentação técnica das regras migradas;
• Apoiar a priorização e execução das waves de migração;

Requirements

• Conhecimento avançado em PySpark e Python;
• Experiência com desenvolvimento de pipelines batch em larga escala;
• Conhecimento avançado em SQL;
• Experiência com modelagem de dados relacional e dimensional;
• Experiência com Databricks e Delta Lake em ambiente produtivo;
• Conhecimento em arquitetura medalhão (bronze, silver e gold);
• Experiência com Delta Live Tables, Lakeflow e Asset Bundles;
• Vivência em migração ou reconstrução de pipelines ETL;
• Experiência com tradução de regras de negócio de plataformas legadas para Spark;
• Conhecimento em ingestão CDC e batch a partir de bancos relacionais;
• Experiência com AWS (S3, Glue, EMR, Athena, Lambda, DMS e Step Functions);
• Conhecimento em Azure Synapse (SQL Pools e Pipelines);
• Experiência com qualidade e reconciliação de dados;
• Conhecimento em testes automatizados e controles de Data Quality;
• Experiência com Git e CI/CD aplicados à engenharia de dados;

Nice to Have

• Conhecimento em DataStage para leitura de jobs e apoio à engenharia reversa;
• Experiência em programas de migração de Data Warehouse para Lakehouse;
• Conhecimento em Unity Catalog (permissões, lineage e contratos de dados);
• Experiência no mercado financeiro ou de crédito;
• Certificações Databricks Data Engineer Associate ou Professional;

Behavioral Description

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

About the Company

Com mais de 35 anos de mercado e localizada em 16 países, a GFT emprega mais de 12.000 pessoas ao redor do mundo sendo 4.000 pessoas no Brasil.

Aqui, a diversidade, a igualdade e a inclusão estão no centro e garantir um ambiente de trabalho seguro para todas as pessoas faz parte de quem somos.

Promovemos uma cultura de desenvolvimento e crescimento pautada no nosso pilar de Continuous Scaled Learning porque acreditamos que o uso inteligente da tecnologia é a chave para o sucesso nesse mundo digital.

We Offer

• Cartão multi-benefícios – você escolhe como e onde utilizar.
• Bolsas de Estudos para cursos de Graduação, Pós, MBA e Idiomas.
• Programas de incentivo à Certificações.
• Horário de trabalho flexível.
• Salários competitivos.
• Avaliação de desempenho anual com plano de carreira estruturado.
• Possibilidade de carreira internacional.
• Wellhub e TotalPass.
• Previdência Privada.
• Auxílio-Creche.
• Assistência Médica.
• Assistência Odontológica.
• Seguro de Vida.

#VemPraGFT

Não encontrou oportunidade com seu perfil?

Conecte-se com a comunidade GFT! Insira seu e-mail e se mantenha informado sobre eventos e oportunidades que correspondam aos seus interesses.

Inscreva-se para receber alertas de oportunidades