Desenvolver e manter pipelines de dados escaláveis para ingestão, transformação e carregamento de grandes volumes de dados.
Projetar e implementar soluções de data warehousing e data lakes utilizando tecnologias de nuvem e on-premise.
Colaborar com cientistas de dados e analistas para otimizar o acesso e a performance de dados para modelos analíticos e relatórios.
Monitorar e otimizar a infraestrutura de dados, garantindo a qualidade, segurança e disponibilidade dos dados.
Implementar e gerenciar sistemas de orquestração de fluxos de trabalho de dados (e.g., Apache Airflow).
Realizar troubleshooting e resolver problemas complexos relacionados à integração e processamento de dados.
Participar da avaliação e seleção de novas tecnologias e ferramentas para o ecossistema de dados.
Requisitos
Experiência comprovada (mínimo de 4 anos) com engenharia de dados, incluindo design e implementação de soluções de dados.
Proficiência em linguagens de programação como Python ou Scala para manipulação e processamento de dados.
Domínio em SQL avançado e experiência com bancos de dados relacionais (PostgreSQL, MySQL) e NoSQL (MongoDB, Cassandra).
Experiência sólida com plataformas de nuvem (AWS, Azure ou GCP) e seus serviços de dados (e.g., AWS S3, EMR, Redshift, Glue; Azure Data Lake, Data Factory, Synapse; GCP BigQuery, Dataflow).
Conhecimento em ferramentas e conceitos de Big Data (Apache Spark, Hadoop, Kafka).
Experiência com ferramentas de orquestração de dados (Apache Airflow, Luigi, Prefect).
Familiaridade com práticas de CI/CD e controle de versão (Git) em projetos de dados.
