Data Engineer Spec IV

Posted:
8/19/2024, 5:00:00 PM

Location(s):
São Paulo, Brazil

Experience Level(s):
Junior ⋅ Mid Level ⋅ Senior

Field(s):
Data & Analytics

Data Engineer Spec IV

Country: Brazil

Habilidades Técnicas
 
Multi-Cloud Expertise
   - Experiência comprovada com plataformas de cloud como Azure e AWS .
   - Capacidade de implementar e gerenciar pipelines de dados em ambientes multi-cloud.
   - Conhecimento em ferramentas de orquestração de dados, como Contro+m e Apache Airflow.
 
Apache Spark
   - Proficiência em Apache Spark para processamento de dados em larga escala.
   - Experiência com Spark SQL e programação em PySpark.
 
Databricks
   - Uso avançado da plataforma Databricks para criação e gerenciamento de ambientes de análise de dados.
   - Capacidade de otimizar notebooks Databricks e implementar melhores práticas de engenharia de dados.
 
SQL
   - Conhecimento avançado em SQL para consultas complexas, otimização de consultas e manipulação de grandes volumes de dados.
   - Experiência com bancos de dados relacionais e NoSQL (por exemplo, PostgreSQL, MySQL, Cassandra).
 
Linguagens de Programação
   - Proficiência em Python.
   - Conhecimento de scripts em Shell e Linux/Unix.
 
Data Warehousing e ETL
   - Desejável experiência com data warehousing (por exemplo, Snowflake, Redshift, BigQuery).
   - Desenvolvimento de processos ETL/ELT eficientes.
 
Conhecimento de DevOps/DataOps
   - Práticas de CI/CD para pipelines de dados.
   - Uso de ferramentas como Docker, Kubernetes e Terraform.
 
Soft Skills (Habilidades Interpessoais)
 
Comunicação: 
  - Habilidade para comunicar ideias técnicas complexas de maneira clara e compreensível para diferentes públicos, incluindo stakeholders não técnicos.

Trabalho em Equipe 
   - Capacidade de colaborar efetivamente com equipes multidisciplinares, como cientistas de dados, analistas de negócios e desenvolvedores de software.

Solução de Problemas 
   - Forte capacidade analítica e habilidade para resolver problemas complexos de dados de forma eficiente e criativa.

Gerenciamento de Tempo
   - Habilidade para gerenciar múltiplas prioridades e projetos de maneira eficaz, garantindo a entrega no prazo.

Adaptabilidade
   - Capacidade de se adaptar rapidamente a novas tecnologias e metodologias em um ambiente de trabalho dinâmico.
 
Proatividade
   - Iniciativa para identificar oportunidades de melhoria e propor soluções inovadoras para problemas de engenharia de dados.
 
Será um diferencial 
- Conhecimento em ' (Resultado, BDI, MOB, Contabilidade Gerencial (Fictício e Contábil) e Quebra de Segmentos e Produtos Bancários)
- Experiência em áreas de negócio e conhecer fluxo da informação gerencial no banco;
- Certificações relevantes em cloud computing (AWS Certified Data Analytics, Google Professional Data Engineer, Azure Data Engineer Associate).
- Experiência com metodologias ágeis (Scrum, Kanban).
- Conhecimento em machine learning e suas aplicações em big data.
 

#LI-DNI