Serás responsable de diseñar, implementar y mantener canalizaciones de datos robustas y procesos ETL. Con tu experiencia en Spark, Talend, Airflow, Python y SQL, garantizarás el flujo y transformación eficiente de datos en nuestros sistemas.

Responsabilidades Clave:

• Desarrollo de Canalizaciones de Datos: Diseñar y desarrollar canalizaciones de datos escalables utilizando Apache Spark, asegurando un procesamiento y transformación de datos eficientes.
• Procesos ETL: Crear y gestionar flujos de trabajo ETL (Extracción, Transformación, Carga) para integrar datos de múltiples fuentes en nuestros sistemas de datos.
• Integración de Datos: Utilizar Talend para tareas de integración de datos, incluyendo limpieza, transformación y carga de datos.
• Automatización de Flujos de Trabajo: Implementar y gestionar flujos de trabajo de datos utilizando Apache Airflow para automatizar y optimizar tareas de procesamiento de datos.
• Programación: Aprovechar Python para escribir scripts para manipulación, transformación y análisis de datos.
• Gestión de Bases de Datos: Desarrollar y optimizar consultas SQL para la recuperación y análisis eficientes de datos en bases de datos relacionales.
• Colaboración: Trabajar en estrecha colaboración con científicos de datos, analistas y otras partes interesadas para entender las necesidades de datos y ofrecer soluciones efectivas.
• Calidad de Datos: Asegurar la precisión, consistencia y calidad de los datos a través de rigurosos procesos de validación y monitoreo.
• Documentación: Crear y mantener documentación detallada para procesos de datos, canalizaciones y flujos de trabajo de integración.

Habilidades y Calificaciones Requeridas:

• Competencia en Apache Spark para procesamiento y análisis de datos a gran escala.
• Experiencia con procesos y herramientas ETL, incluyendo Talend.
• Familiaridad con Apache Airflow para gestionar flujos de trabajo y automatización de datos.
• Fuertes habilidades de programación en Python para tareas de ingeniería de datos.
• Habilidades avanzadas de SQL para consultar y gestionar bases de datos relacionales.

Por favor, refiérete a la descripción del trabajo.