Empleo de Senior Data Engineer - Remoto en Remoto - Solo México - Vacante 103373

Feria Virtual de Empleos de Tecnología en México 2024

¡Más de 700 ofertas de trabajo en México, USA y Remoto!

Visitar feria

Publicado hace 19 días.

Senior Data Engineer - Remoto en Derevo

Sueldo oculto

Remoto: México

Empleado de tiempo completo

Inglés: Nivel Avanzado

En Derevo  empoderamos a las empresas y a las personas liberando el valor de los datos en las organizaciones


¡¡We are looking for your talent!!


Data Engineer Senior


El perfil deseado debe tener al menos 5 años de experiencia práctica en el diseño, establecimiento y mantenimiento de sistemas de gestión y almacenamiento de datos. Hábil en la recopilación, procesamiento, limpieza y despliegue de grandes conjuntos de datos, la comprensión de los modelos de datos ER, y la integración con múltiples fuentes de datos. Eficaz en el análisis, la comunicación y la propuesta de diferentes formas de crear almacenes de datos, lagos de datos, conductos de extremo a extremo y soluciones de Big Data para los clientes, ya sea en estrategias por lotes o en streaming.


Será muy importante que tengas los siguientes conocimientos/experiencia:


Inglés B2+ o más   (llevarás proyectos 100% con el idioma, por lo que será indispensable el dominio hablado y escrito)


Technical Proficiencies:



SQL:

Data Definition Language, Data Manipulation Language, Intermediate/advanced queries for analytical purpose, Subqueries, CTEs, Data types, Joins with business rules applied, Grouping and Aggregates for business metrics, Indexing and optimizing queries for efficient ETL process, Stored Procedures for transforming and preparing data, SSMS, DBeaver



Python:

Experience in object-oriented programming, Management and processing datasets, Use of variables, lists, dictionaries and tuples, Conditional and iterating functions, Optimization of memory consumption, Structures and data types, Data ingestion through various structured and semi-structured data sources, Knowledge of libraries such as pandas, numpy, sqlalchemy, Must have good practices when writing code



Databricks / Pyspark:

Intermediate knowledge in


Understanding of narrow and wide transformations, actions, and lazy evaluations

How DataFrames are transformed, executed, and optimized in Spark

Use DataFrame API to explore, preprocess, join, and ingest data in Spark

Use Delta Lake to improve the quality and performance of data pipelines

Use SQL and Python to write production data pipelines to extract, transform, and load data into

tables and views in the Lakehouse

Understand the most common performance problems associated with data ingestion and how to

mitigate them

Monitor Spark UI: Jobs, Stages, Tasks, Storage, Environment, Executors, and Execution Plans

Configure a Spark cluster for maximum performance given specific job requirements

Configure Databricks to access Blob, ADL, SAS, user tokens, Secret Scopes and Azure Key Vault

Configure governance solutions through Unity Catalog and Delta Sharing

Use Delta Live Tables to manage an end-to-end pipeline with unit and integrations test




Azure:

Intermediate/Advanced knowledge in


Azure Storage Account:

Provision Azure Blob Storage or Azure Data Lake instances

Build efficient file systems for storing data into folders with static or parametrized names, considering possible security rules and risks

Experience identifying use cases for open-source file formats like parquet, AVRO, ORC

Understanding optimized column-oriented file formats vs optimized row-oriented file formats

Implementing security configurations through Access Keys, SAS, AAD, RBAC, ACLs


Azure Data Factory:

Provision Azure Data Factory instances

Use Azure IR, Self-Hosted IR, Azure-SSIS to establish connections to distinct data sources

Use of Copy or Polybase activities for loading data

Build efficient and optimized ADF Pipelines using linked services, datasets, parameters, triggers, data movement activities, data transformation activities, control flow activities and mapping data flows

Build Incremental and Re-Processing Loads

Understanding and applying best practices for Source Control with Azure Repos Git integration




Apache Kafka, Azure Event Hubs or AWS Kinesis

Intermediate/Advanced knowledge in


Architecture and fundamental concepts of event streaming platforms, including producers, consumers, topics, partitions, and consumer groups

Configuration, deployment, and management of event streaming clusters/services for high availability, scalability, and fault tolerance

Developing producer and consumer applications using the respective SDKs for various programming languages such as Java or Python

Performance tuning and optimization of event streaming clusters, including message retention, partition sizing, and data replication

Implementing common usage patterns such as asynchronous messaging, real-time stream processing, and end-to-end data pipelines for real-time data ingestion and processing

Security best practices for event streaming platforms, including encryption, authentication, and access control mechanisms


Además, valoramos mucho es que a nivel personal encajes con la cultura de Derevo:


• Capacidad de adaptación y superación. Buscamos personas que se quieran comer el mundo, proactivas y flexibles, a las que no les importe adaptarse a los cambios tecnológicos y metodologías existentes.

• Capacidad analítica y capaz de transmitir confianza en entornos de incertidumbre: debes tener capacidad para gestionar los problemas y verlos como punto de partida para la mejora. Tener y generar confianza al cliente y a tu equipo.

• Capacidad para trabajar en equipo: no solo capacidad de trabajar con el equipo de tu proyecto, sino colaborar con toda la división y fuera de ella con las que puedan estar involucradas para conseguir los objetivos de Data Creation.

• Creamos cosas nuevas: en este ámbito profesional existe una gran evolución y es importante mantenerse informado/a y formado/a, además de siempre buscar innovar para ofrecer algo diferente a nuestros clientes.

• Relaciones de largo plazo: nos encanta la idea de pensar que podemos construir algo juntos durante mucho tiempo, buscamos personas que quieran apostar por proyectos de largo plazo y nos ayuden a lograr la visión que tenemos.



Qué beneficios tendrás?


WELLNESS:  Impulsaremos tu bienestar integral a través del equilibrio personal, profesional  y económico, Nuestros beneficios de ley y adicionales te ayudarán  a lograrlo.

LET´S RELEASE YOUR POWER:  Tendrás la oportunidad de especializarte de manera integral en diferentes áreas y tecnologías, logrando así un desarrollo interdisciplinario. Te impulsaremos a plantearte nuevos retos  y superarte a ti mismo.

WE CREATE NEW THINGS:  Nos gusta pensar fuera de la caja. Tendrás  el espacio, confianza y libertad para crear y la capacitación que se requiera para lograrlo.

WE GROW TOGETHER:  Participarás en proyectos tecnológicos punteros, multinacionales y con equipos extranjeros.


Dónde lo harás?


Somos un gran equipo trabajando en un esquema remoto, somos flexibles y estructurados; proporcionando el equipo necesario para trabajar y herramientas de comunicación interna que faciliten nuestra operación y la de nuestros clientes.


Si cumples con la mayoría de los requisitos y te interesó el perfil no
dudes en postularte, que nuestro equipo de Talent te contactará!
????


Become derevian & develop your superpower! En

Derevo
empoderamos a las empresas y a las personas liberando el valor de los datos en las organizaciones


¡¡We are looking for your talent!!


Data Engineer Senior


El perfil deseado debe tener al menos 5 años de experiencia práctica en el diseño, establecimiento y mantenimiento de sistemas de gestión y almacenamiento de datos. Hábil en la recopilación, procesamiento, limpieza y despliegue de grandes conjuntos de datos, la comprensión de los modelos de datos ER, y la integración con múltiples fuentes de datos. Eficaz en el análisis, la comunicación y la propuesta de diferentes formas de crear almacenes de datos, lagos de datos, conductos de extremo a extremo y soluciones de Big Data para los clientes, ya sea en estrategias por lotes o en streaming.


Será muy importante que tengas los siguientes conocimientos/experiencia:


Inglés B2+ o más   (llevarás proyectos 100% con el idioma, por lo que será indispensable el dominio hablado y escrito)


Technical Proficiencies:



SQL:

Data Definition Language, Data Manipulation Language, Intermediate/advanced queries for analytical purpose, Subqueries, CTEs, Data types, Joins with business rules applied, Grouping and Aggregates for business metrics, Indexing and optimizing queries for efficient ETL process, Stored Procedures for transforming and preparing data, SSMS, DBeaver



Python:

Experience in object-oriented programming, Management and processing datasets, Use of variables, lists, dictionaries and tuples, Conditional and iterating functions, Optimization of memory consumption, Structures and data types, Data ingestion through various structured and semi-structured data sources, Knowledge of libraries such as pandas, numpy, sqlalchemy, Must have good practices when writing code



Databricks / Pyspark:

Intermediate knowledge in


Understanding of narrow and wide transformations, actions, and lazy evaluations

How DataFrames are transformed, executed, and optimized in Spark

Use DataFrame API to explore, preprocess, join, and ingest data in Spark

Use Delta Lake to improve the quality and performance of data pipelines

Use SQL and Python to write production data pipelines to extract, transform, and load data into

tables and views in the Lakehouse

Understand the most common performance problems associated with data ingestion and how to

mitigate them

Monitor Spark UI: Jobs, Stages, Tasks, Storage, Environment, Executors, and Execution Plans

Configure a Spark cluster for maximum performance given specific job requirements

Configure Databricks to access Blob, ADL, SAS, user tokens, Secret Scopes and Azure Key Vault

Configure governance solutions through Unity Catalog and Delta Sharing

Use Delta Live Tables to manage an end-to-end pipeline with unit and integrations test




Azure:

Intermediate/Advanced knowledge in


Azure Storage Account:

Provision Azure Blob Storage or Azure Data Lake instances

Build efficient file systems for storing data into folders with static or parametrized names, considering possible security rules and risks

Experience identifying use cases for open-source file formats like parquet, AVRO, ORC

Understanding optimized column-oriented file formats vs optimized row-oriented file formats

Implementing security configurations through Access Keys, SAS, AAD, RBAC, ACLs


Azure Data Factory:

Provision Azure Data Factory instances

Use Azure IR, Self-Hosted IR, Azure-SSIS to establish connections to distinct data sources

Use of Copy or Polybase activities for loading data

Build efficient and optimized ADF Pipelines using linked services, datasets, parameters, triggers, data movement activities, data transformation activities, control flow activities and mapping data flows

Build Incremental and Re-Processing Loads

Understanding and applying best practices for Source Control with Azure Repos Git integration




Apache Kafka, Azure Event Hubs or AWS Kinesis

Intermediate/Advanced knowledge in


Architecture and fundamental concepts of event streaming platforms, including producers, consumers, topics, partitions, and consumer groups

Configuration, deployment, and management of event streaming clusters/services for high availability, scalability, and fault tolerance

Developing producer and consumer applications using the respective SDKs for various programming languages such as Java or Python

Performance tuning and optimization of event streaming clusters, including message retention, partition sizing, and data replication

Implementing common usage patterns such as asynchronous messaging, real-time stream processing, and end-to-end data pipelines for real-time data ingestion and processing

Security best practices for event streaming platforms, including encryption, authentication, and access control mechanisms


Además, valoramos mucho es que a nivel personal encajes con la cultura de Derevo:


• Capacidad de adaptación y superación. Buscamos personas que se quieran comer el mundo, proactivas y flexibles, a las que no les importe adaptarse a los cambios tecnológicos y metodologías existentes.

• Capacidad analítica y capaz de transmitir confianza en entornos de incertidumbre: debes tener capacidad para gestionar los problemas y verlos como punto de partida para la mejora. Tener y generar confianza al cliente y a tu equipo.

• Capacidad para trabajar en equipo: no solo capacidad de trabajar con el equipo de tu proyecto, sino colaborar con toda la división y fuera de ella con las que puedan estar involucradas para conseguir los objetivos de Data Creation.

• Creamos cosas nuevas: en este ámbito profesional existe una gran evolución y es importante mantenerse informado/a y formado/a, además de siempre buscar innovar para ofrecer algo diferente a nuestros clientes.

• Relaciones de largo plazo: nos encanta la idea de pensar que podemos construir algo juntos durante mucho tiempo, buscamos personas que quieran apostar por proyectos de largo plazo y nos ayuden a lograr la visión que tenemos.