Big Data Backend en Soorcing.io

Consultora de tecnología internacional busca un Big Data Back End que se integre a su equipo.

Requisitos:
 

• Mínimo 3 años de experiencia en desarrollo de Big Data

• Ingeniería de datos, desarrollo de canales de datos complejos

• Diseñar, desarrollar, implementar y ajustar sistemas distribuidos y tuberías a gran escala que procesan un gran volumen de datos; centrándose en la escalabilidad, baja latencia y tolerancia a fallas en cada sistema construido.

• Java, Python para escribir canalizaciones de datos y capas de procesamiento de datos.

• Big Data Hadoop, Hive, Kafka, Presto, Spark, HBase, Automic y Aorta

• SQL

• Nube: GCP

• Almacenes de datos relacionales, NoSQL / en memoria sería una gran ventaja (Oracle, Cassandra, Druid)

• Procesamiento de datos en streaming

• Experiencia con MITI, herramienta de monitoreo como Ambari

• API REST

Principales funciones:

1. Será responsable del diseño, desarrollo y operaciones de sistemas de datos a gran escala que operan a escala de petabytes. Se centrará en canalizaciones de datos en tiempo real, análisis de transmisión, big data distribuido e infraestructura de aprendizaje automático. Interactuará con ingenieros, gerentes de producto, desarrolladores de BI y arquitectos para brindar soluciones técnicas robustas y escalables.

2. Diseñar, desarrollar, implementar y ajustar sistemas distribuidos y tuberías a gran escala que procesan grandes volúmenes de datos; centrándose en la escalabilidad, baja latencia y tolerancia a fallas en cada sistema construido.

3. Proporciona y apoya la implementación y las operaciones de las canalizaciones de datos y las soluciones analíticas.