Engenharia de Dados Azure & Databricks SR (Híbrida/SP) - 130175

We are looking for a data engineer with experience in developing and evolving pipelines and analytical architectures in a cloud environment, contributing to scalable, performant, and aligned data governance solutions. Position is 3 days a week in Faria Lima/SP region.

Requirements

• Atuar com o projeto e desenvolvimento de pipelines escaláveis and robustos de ingestão and transformação de dados em Azure and Databricks;
• Construir soluções baseadas em arquitetura lakehouse, organized in bronze, silver and gold layers;
• Garantir performance and escalabilidade dos pipelines through good practices of partitioning, caching and parallelism;
• Automatize processes with focus on reusability, monitoring and data quality control;
• Atuar como referência técnica para o time de engenharia de dados, promovendo boas práticas and padronizações;
• Experiência com bases de dados transacionais, analysis of requisitos and práticas de data governance;
• Domínio de Azure Data Lake Gen2, Azure Data Factory, Key Vault and integration between Azure services;
• Proficiência em Spark (PySpark) and Python for pipeline development and data transformation;
• Experiência com versionamento de código using Git and práticas de CI/CD applied to data pipelines;
• Inglês avançado;