Desenvolvedor Engenheiro de Dados N3

Desenvolver pipeline ingestão de dados dos sistemas origem para as camadas de entrada no data lake (raw/trusted);

Desenvolver pipeline de transformação do dado para atender às necessidades de negócio;

Desenvolvimento de pipelines em batch e streaming (NRT);

Automatizar pipeline para execução automática de acordo com os requisitos de negócio;

Criação de controles para reexecução/retomada do pipeline em casos de erro;

Conhecimentos necessários:

--> Bancos de dados transacional (Oracle, Sybase, SQL Server, MySQL);

--> Bancos de dados analítico (GCP Big Query);

--> DBT

--> Integração de dados/sistemas;

--> GCP Dataflow (Apache Beam);

--> GCP Composer (Apache Airflow);

--> Conhecimento em Cloud GCP;

--> Armazenamento de dados (Google Cloud Storage);