PeoplePlus Tech Apache Flink Engineer

Ingeniero de Apache Flink

PeoplePlus Tech

₱70-130K[Mensual]

RemotoExp de Yrs 5-10BaceleroTiempo completo

Detalles remotos

Abrir país：Filipinas

Requisitos de idioma：Inglés

Este trabajo remoto está abierto a candidatos en países específicos. Por favor, confirme si desea continuar a pesar de las posibles restricciones de ubicación

Descripción del trabajo

Mostrar texto original

Descripción

Integración con Kafka - Configuración de trabajos de Flink para conectarse sin problemas a temas específicos de Kafka, definiendo grupos de consumidores y gestionando la serialización/deserialización de datos.
Logica de procesamiento de flujos - Escritura de la lógica de procesamiento de datos de Flink utilizando la API DataStream para filtrar, agregar, hacer ventanas y manipular flujos de datos recibidos de Kafka.
Gestión del estado - Implementación de operaciones con estado dentro de los trabajos de Flink para mantener el contexto a través de eventos dentro de un flujo de datos, como el seguimiento de totales acumulados o información de sesión.
Optimización de trabajos de Flink - Ajuste de parámetros de trabajos de Flink para el rendimiento, paralelismo y tolerancia a fallos, para manejar flujos de datos de alto volumen de manera eficiente.
Monitoreo y alertas - Configuración de sistemas de monitoreo para rastrear la salud de los trabajos de Flink, identificar problemas potenciales y activar alertas por preocupaciones operativas.
Desarrollo de aplicaciones Flink - Escritura de código para definir tuberías de datos utilizando la API DataStream de Flink, incluyendo la ingestión de datos, transformación y operaciones de salida.
Diseño de procesamiento de flujos - Arquitectura de soluciones de procesamiento de datos en tiempo real utilizando las capacidades de Flink para la gestión del estado, el uso de ventanas y la tolerancia a fallos.
Optimización del rendimiento - Monitoreo y ajuste de trabajos de Flink para asegurar un procesamiento de datos eficiente y un alto rendimiento.
Integración con otros sistemas - Conexión de aplicaciones Flink a fuentes de datos como Kafka, bases de datos y otros sistemas de procesamiento de datos.
Gestión de clústeres - Despliegue y gestión de trabajos de Flink en clústeres de computación distribuida como Kubernetes.