Descripción

• Diseñar, desarrollar y mantener plataformas de big data que soporten la ingesta, el almacenamiento, el procesamiento y el análisis de grandes volúmenes de datos;
• Según los requisitos del negocio, seleccionar el stack de tecnologías de big data adecuado, como Hadoop, Spark, Flink, Kafka, etc.;
• Desarrollar herramientas y procesos ETL que permitan la extracción, transformación y carga de datos;
• Responsable del diseño e implementación de la arquitectura de un data warehouse a nivel empresarial, construyendo modelos por capas ODS, DWD, DWS y ADS acorde a las características del negocio;
• Desarrollar flujos ETL eficientes y estables basados en frameworks como Hive, Spark y Flink, para satisfacer requisitos tanto batch como en tiempo real;
• Establecer un sistema integral de gestión de linaje de datos y metadatos;
• Responsable de la implementación de un sistema de monitoreo de la calidad de datos;
• Optimizar la arquitectura del data warehouse existente para mejorar la eficiencia en el procesamiento de datos y el uso de recursos.

Requisitos

• Grado universitario en Ciencias de la Computación, Ingeniería de Software o disciplina relacionada;
• Más de 5 años de experiencia en desarrollo de big data y más de 3 años en la construcción de data warehouses;
• Dominio de tecnologías de big data como Hadoop, Spark, Flink y Kafka;
• Dominio de Java y uso avanzado de Python y scripts en Shell;
• Dominio de optimización de SQL y manejo avanzado de HiveQL y FlinkSQL;
• Experiencia en el desarrollo de tareas de procesamiento en tiempo real con Flink SQL o la API DataStream;
• Dominio de herramientas de orquestación de código abierto como DolphinScheduler;
• Experiencia con Doris o ClickHouse, incluyendo su optimización;
• Preferible haber liderado proyectos completos de data warehouse a nivel empresarial;
• Alto sentido de responsabilidad y capacidad para resolver problemas técnicos complejos de forma autónoma;
• Excelentes habilidades de comunicación y espíritu de trabajo en equipo;
• Fuerte interés por el aprendizaje y la exploración de nuevas tecnologías.

Requisitos deseables

• Experiencia en desarrollo de data lakes, como Iceberg o Paimon;
• Conocimiento de plataformas de machine learning o tecnologías relacionadas con IA;
• Experiencia en contribuciones a proyectos de código abierto.