Engenheiro(a) de Dados Sênior
Publicada 19 de NovembroA Blite é uma consultoria brasileira de tecnologia que atua em operações críticas dos setores de mobilidade, banking, varejo e indústria. Trabalhamos como extensão do time interno dos nossos clientes, e cada profissional alocado assume responsabilidade direta por uma parte da operação. A proposição de melhorias na forma de entregar software faz parte da nossa prática.
Algumas informações sobre a vaga
Estamos buscando um(a) Engenheiro(a) de Dados Sênior para atuar na construção e na operação dos pipelines de dados de um cliente de grande porte do setor de mobilidade, em Databricks sobre Azure. O cliente está posicionando a inteligência artificial no centro da operação, o que exige dados confiáveis, disponibilizados no prazo, com qualidade validada e prontos para consumo.
O(a) profissional será responsável pelos pipelines desde a ingestão até a entrega. Isso inclui a construção das cargas, a organização das camadas do lakehouse, a estabilidade do ambiente produtivo, o tratamento de falhas e reprocessamentos e o acompanhamento de custo e performance dos jobs. Como a estrutura de dados e de governança do cliente está em consolidação, a posição também envolve a definição de padrões que orientarão o trabalho do time.
Responsabilidades:
- Construir pipelines batch e incrementais de ingestão, transformação e disponibilização de dados.
- Organizar as camadas Bronze, Silver e Gold no Delta Lake, com uso de MERGE, OPTIMIZE e time travel.
- Gerenciar catálogos, schemas e permissões no Unity Catalog.
- Garantir a estabilidade dos pipelines em produção, com tratamento de falhas, reprocessamento e controle de cargas.
- Orquestrar cargas com Azure Data Factory e Lakeflow Jobs, e configurar a ingestão gerenciada com Lakeflow Connect.
- Integrar SQL Server, Azure Synapse Analytics e fontes on-premises ao ambiente Databricks.
- Otimizar jobs e clusters por meio de particionamento, ajuste de joins e dimensionamento, com controle de custo e performance.
- Modelar fatos, dimensões e SCD para consumo em ferramentas de BI.
- Disponibilizar dados por meio de APIs para os sistemas consumidores.
- Aplicar regras de qualidade nos pipelines e acompanhar o monitoramento e os alertas dos jobs.
- Estruturar Databricks Asset Bundles e automatizar o deploy entre os ambientes de desenvolvimento, homologação e produção com CI/CD.
- Participar das decisões de arquitetura de dados em Azure.
- Reportar o andamento das entregas, os riscos e as falhas ao time e à liderança do cliente de forma tempestiva.
Requisitos mínimos
- Experiência sênior em engenharia de dados, em empresas de grande porte.
- Domínio de Databricks, Apache Spark, Python e SQL, com experiência em PySpark e Spark SQL em ambiente produtivo.
- Otimização de jobs por meio de particionamento, ajuste de joins e dimensionamento de clusters.
- Experiência na construção e na operação de pipelines batch e incrementais em produção, com tratamento de falhas, reprocessamento e controle de cargas.
- Conhecimento em Unity Catalog, Delta Lake e arquitetura Medallion.
- Experiência com Azure Data Factory, Azure Data Lake Storage Gen2, Azure Synapse Analytics e SQL Server.
- Integração entre ambientes cloud e fontes on-premises.
- Modelagem dimensional (fato, dimensão e SCD) para analytics.
- Conhecimento em qualidade de dados, observabilidade, controle de acesso e linhagem.
- Experiência com Lakeflow Connect, Lakeflow Jobs e Databricks Asset Bundles.
- Versionamento com Git, fluxo de branches e pull requests, e esteiras em Azure DevOps ou GitHub Actions.
- Desenvolvimento e integração de APIs para disponibilização de dados.
- Comunicação clara com times técnicos e de negócio, incluindo apresentações à liderança.
- Autonomia, senso de responsabilidade sobre as entregas e capacidade de manter o foco diante de mudanças de prioridade.
Diferenciais Desejáveis
- Certificação Databricks Data Engineer.
- Certificação Azure Data Engineer ou Azure Solutions Architect.
- Experiência com Lakeflow Declarative Pipelines.
- Experiência com Terraform.
- Experiência com Power BI ou outras ferramentas de visualização.
- Conhecimento em práticas de Data Governance e Data Security.
- Uso de ferramentas de inteligência artificial no desenvolvimento, como o Claude, com critério na revisão do que é gerado.
Informações Adicionais:
- Contrato PJ
- Atuação 100% remota.
- Organização própria da rotina, com disponibilidade para alinhamentos e rituais do projeto previamente agendados.
- Equipamento disponibilizado para atendimento às políticas de segurança da informação.