Base en Shenzhen, trabajo desde casa

Responsabilidades del trabajo:

• Basado en la minería de datos masivos de web3, extraer valor de los datos, establecer un sistema de datos de perfil de usuario y de cadena, optimizando continuamente el modelo de datos.
• Familiaridad con el proceso de integración y análisis de datos en cadena, optimización de almacenamiento centralizado.
• Verificación de datos en tiempo real y fuera de línea, asegurando la calidad de los datos.
• Construcción de plataformas de datos en cadena (principalmente en Java), diseño de arquitectura y soluciones.
• Optimización de almacenamiento y consulta de volúmenes de datos extremadamente grandes. Proporcionar un plan de reconstrucción sistemático para la arquitectura de datos existente.

Requisitos del puesto:

• Conocimiento de motores de almacenamiento de grandes datos y middleware de mensajes, incluyendo pero no limitado a ES, ClickHouse, Hbase, Kafka, Redis, entre otros.
• Familiaridad con sistemas distribuidos generales, incluyendo Hadoop, HDFS, Spark, entre otros; capacidad para escribir tareas de limpieza de datos eficientes utilizando motores distribuidos.
• Conocimiento del motor de procesamiento en tiempo real Flink; para tareas grandes en Flink, ser capaz de optimizar desde múltiples ángulos como planes de ejecución, configuración de recursos, ajustes de parámetros y el código fuente subyacente.
• Experiencia en escenarios de gobernanza de datos, con la capacidad de detectar problemas existentes en los datos mediante múltiples métodos.
• Gestión de calidad de datos, con un enfoque sistemático y participación en el desarrollo de la plataforma de gestión de calidad de datos DQC.
• Dominio del stack tecnológico de Java y frameworks de código abierto como Spring Cloud, MyBatis, entre otros.
• Familiaridad con la teoría de optimización de JVM, con capacidad para realizar diagnósticos de optimización en la plataforma de datos existente.

Puntos adicionales:

• Experiencia en sistemas de perfilado de usuarios.
• Experiencia en minería de datos de alta calidad (basada en algoritmos de estrategia, aprendizaje automático, etc.).