Engenheiro(a) de Dados Sênior

Publicada 19 de Novembro

A Blite é uma consultoria brasileira de tecnologia que atua em operações críticas dos setores de mobilidade, banking, varejo e indústria. Trabalhamos como extensão do time interno dos nossos clientes, e cada profissional alocado assume responsabilidade direta por uma parte da operação. A proposição de melhorias na forma de entregar software faz parte da nossa prática.

Algumas informações sobre a vaga

Estamos buscando um(a) Engenheiro(a) de Dados Sênior para atuar na construção e na operação dos pipelines de dados de um cliente de grande porte do setor de mobilidade, em Databricks sobre Azure. O cliente está posicionando a inteligência artificial no centro da operação, o que exige dados confiáveis, disponibilizados no prazo, com qualidade validada e prontos para consumo.

O(a) profissional será responsável pelos pipelines desde a ingestão até a entrega. Isso inclui a construção das cargas, a organização das camadas do lakehouse, a estabilidade do ambiente produtivo, o tratamento de falhas e reprocessamentos e o acompanhamento de custo e performance dos jobs. Como a estrutura de dados e de governança do cliente está em consolidação, a posição também envolve a definição de padrões que orientarão o trabalho do time.

Responsabilidades:

  • Construir pipelines batch e incrementais de ingestão, transformação e disponibilização de dados.
  • Organizar as camadas Bronze, Silver e Gold no Delta Lake, com uso de MERGE, OPTIMIZE e time travel.
  • Gerenciar catálogos, schemas e permissões no Unity Catalog.
  • Garantir a estabilidade dos pipelines em produção, com tratamento de falhas, reprocessamento e controle de cargas.
  • Orquestrar cargas com Azure Data Factory e Lakeflow Jobs, e configurar a ingestão gerenciada com Lakeflow Connect.
  • Integrar SQL Server, Azure Synapse Analytics e fontes on-premises ao ambiente Databricks.
  • Otimizar jobs e clusters por meio de particionamento, ajuste de joins e dimensionamento, com controle de custo e performance.
  • Modelar fatos, dimensões e SCD para consumo em ferramentas de BI.
  • Disponibilizar dados por meio de APIs para os sistemas consumidores.
  • Aplicar regras de qualidade nos pipelines e acompanhar o monitoramento e os alertas dos jobs.
  • Estruturar Databricks Asset Bundles e automatizar o deploy entre os ambientes de desenvolvimento, homologação e produção com CI/CD.
  • Participar das decisões de arquitetura de dados em Azure.
  • Reportar o andamento das entregas, os riscos e as falhas ao time e à liderança do cliente de forma tempestiva.

    Requisitos mínimos

    • Experiência sênior em engenharia de dados, em empresas de grande porte.
    • Domínio de Databricks, Apache Spark, Python e SQL, com experiência em PySpark e Spark SQL em ambiente produtivo.
    • Otimização de jobs por meio de particionamento, ajuste de joins e dimensionamento de clusters.
    • Experiência na construção e na operação de pipelines batch e incrementais em produção, com tratamento de falhas, reprocessamento e controle de cargas.
    • Conhecimento em Unity Catalog, Delta Lake e arquitetura Medallion.
    • Experiência com Azure Data Factory, Azure Data Lake Storage Gen2, Azure Synapse Analytics e SQL Server.
    • Integração entre ambientes cloud e fontes on-premises.
    • Modelagem dimensional (fato, dimensão e SCD) para analytics.
    • Conhecimento em qualidade de dados, observabilidade, controle de acesso e linhagem.
    • Experiência com Lakeflow Connect, Lakeflow Jobs e Databricks Asset Bundles.
    • Versionamento com Git, fluxo de branches e pull requests, e esteiras em Azure DevOps ou GitHub Actions.
    • Desenvolvimento e integração de APIs para disponibilização de dados.
    • Comunicação clara com times técnicos e de negócio, incluindo apresentações à liderança.
    • Autonomia, senso de responsabilidade sobre as entregas e capacidade de manter o foco diante de mudanças de prioridade.

    Diferenciais Desejáveis

    • Certificação Databricks Data Engineer.
    • Certificação Azure Data Engineer ou Azure Solutions Architect.
    • Experiência com Lakeflow Declarative Pipelines.
    • Experiência com Terraform.
    • Experiência com Power BI ou outras ferramentas de visualização.
    • Conhecimento em práticas de Data Governance e Data Security.
    • Uso de ferramentas de inteligência artificial no desenvolvimento, como o Claude, com critério na revisão do que é gerado.

    Informações Adicionais:

    • Contrato PJ
    • Atuação 100% remota.
    • Organização própria da rotina, com disponibilidade para alinhamentos e rituais do projeto previamente agendados.
    • Equipamento disponibilizado para atendimento às políticas de segurança da informação.