Empregos e Vagas em Curitiba - Oportunidades de empregos em Curitiba

Engenheiro de Dados - Databricks

Remoto

PJ

Estamos em busca de um Engenheiro de Plataforma Databricks altamente qualificado para projetar, implementar e gerenciar um ambiente Databricks escalável, seguro e confiável, dando suporte a fluxos de trabalho de engenharia de dados, ciência de dados e MLOps.

Essa posição trabalhará em estreita colaboração com um cliente baseado nos EUA, portanto são exigidas fortes habilidades de comunicação e inglês fluente. O candidato ideal combina expertise técnica profunda em Databricks com experiência prática em plataformas de nuvem, Infraestrutura como Código, CI/CD, segurança e otimização de custos.

Principais Responsabilidades

• Projetar, implementar e gerenciar a plataforma Databricks para dar suporte a fluxos de trabalho de engenharia de dados, ciência de dados e MLOps.
• Garantir que o ambiente Databricks seja escalável, confiável, seguro e otimizado em desempenho e custo.
• Arquitetar e gerenciar ambientes Databricks em Desenvolvimento, Homologação (Staging) e Produção.
• Utilizar recursos nativos do Databricks, incluindo Delta Live Tables (DLT), Workflows, Unity Catalog e outras funcionalidades da plataforma.
• Aplicar boas práticas de arquitetura, governança, segurança, controle de acesso e gestão de dados no Databricks.
• Monitorar recursos de computação e desempenho da plataforma Databricks, identificando oportunidades de otimização e redução de custos.
• Implementar e manter práticas de Infraestrutura como Código (IaC) para provisionamento e gestão de recursos de nuvem e Databricks.
• Utilizar o GitHub para controle de versão e apoiar os fluxos de desenvolvimento e implantação.
• Colaborar com engenheiros de dados, cientistas de dados, equipes de MLOps e demais stakeholders técnicos para viabilizar desenvolvimento e implantação eficientes.
• Solucionar problemas de plataforma, infraestrutura, computação, segurança e desempenho.
• Avaliar recursos e limitações do Databricks e recomendar soluções adequadas às necessidades de negócio e técnicas.
• Estabelecer e manter boas práticas de confiabilidade, segurança, escalabilidade e eficiência operacional da plataforma.

Qualificações Necessárias

• Experiência comprovada em projetar, implementar e gerenciar plataformas Databricks em ambientes corporativos.
• Conhecimento profundo da arquitetura, recursos, capacidades e limitações do Databricks.
• Forte experiência prática com funcionalidades nativas do Databricks, especialmente:
• Delta Live Tables (DLT)
• Databricks Workflows
• Unity Catalog
• Gestão de computação e clusters do Databricks
• Experiência gerenciando ambientes de Desenvolvimento, Homologação e Produção e seus respectivos ciclos de implantação.
• Forte experiência com Infraestrutura como Código (IaC).
• Experiência com GitHub e boas práticas de controle de versão.
• Sólido conhecimento de infraestrutura em nuvem, com experiência em AWS fortemente desejável.
• Experiência com monitoramento, segurança, governança e gestão de acesso em ambientes Databricks e nuvem.
• Experiência em otimização de recursos de computação, tanto em custo quanto em desempenho.
• Fortes habilidades de solução de problemas.
• Capacidade de trabalhar efetivamente com equipes multifuncionais e distribuídas.
• Inglês fluente, escrito e falado, com capacidade de se comunicar diretamente com cliente baseado nos EUA e participar ativamente de reuniões e discussões técnicas.

Qualificações Desejáveis

• Experiência com MLOps e cargas de trabalho de machine learning no Databricks.
• Experiência com pipelines de CI/CD e implantações automatizadas no Databricks.
• Experiência com serviços AWS e sua integração com o Databricks.
• Conhecimento de boas práticas de segurança e governança em nuvem.
• Experiência implementando práticas de gestão de custos e FinOps para Databricks.
• Certificações Databricks são um diferencial.

Modelo de Atuação

• Cliente: empresa baseada nos EUA
• Ambiente de trabalho: equipe internacional/distribuída
• Idioma: inglês fluente obrigatório