Engenheiro de dados

Na DreamSquad, acreditamos que dados são a base para transformar tecnologia em soluções que geram impacto real para os nossos clientes.Estamos em busca de um Engenheiro de Dados para atuar na construção, evolução e otimização de pipelines de dados, trabalhando com grandes volumes de informações e tecnologias AWS, processamento distribuído e soluções de dados para aplicações de Inteligência Artificial.Principais atividadesConstrução e Otimização de Pipelines de Dados (ETL/ELT)- Desenvolvimento de Jobs de Transformação- Ingestão de Dados em Larga Escala- Modelagem e Estruturação de DadosSuporte e Governança de Dados para IA- Preparação de Datasets para Agentes- Monitoramento de Qualidade de Dados- Exploração e Análise de Dados  Requisitos: Linguagens e Fundamentos- Proficiência em Python e domínio avançado em SQL para manipulação e transformação de dados.- Sólida compreensão de Data Lakes (Amazon S3) e Data Warehouses (Ex: Amazon Redshift).Processamento Distribuído e ETL- Experiência na construção e otimização de Spark Jobs para processamento de dados em larga escala.- Proficiência na utilização de AWS Glue (com PySpark) para desenvolver e gerenciar pipelines de ETL/ELT.- Habilidade para consultar e explorar dados do Data Lake (S3) utilizando Amazon Athena.Streaming e Ingestão de Dados- Experiência mínima com serviços de streaming de dados, como Apache Kafka ou Amazon MSK.- Conhecimento e uso de Amazon Kinesis (Streams e/ou Analytics).- Familiaridade com Amazon Kinesis Firehose para entrega de dados em Data Lakes ou Data Warehouses. Diferenciais (O que vai te destacar)- Experiência com ferramentas de orquestração (Ex: Apache Airflow ou AWS Step Functions).- Noções de Infraestrutura como Código (IaC) (Ex: Terraform ou CloudFormation).- Conhecimento em Amazon SageMaker ou conceitos de MLOps para integração com Machine Learning.- Familiaridade com metodologias Ágeis e ferramentas de versionamento (Git).Orquestração e Automação de Fluxos- Desenvolvimento de Orquestração- Automação de Infraestrutura (IaC)Integração com MLOps e Ciclo de Vida de Agentes de IA- Integração de Dados com Agentes- Suporte a MLOps