Detalles Principales

Tipo de Tiempo: Tiempo completo

Tipo de Trabajador: Empleado

Responsabilidades Clave:

• Diseñar, desarrollar y optimizar tuberías de datos y flujos de trabajo dentro de Azure Databricks usando Python para el procesamiento de datos y la automatización.
• Colaborar con el equipo de plataforma para asegurar que la infraestructura subyacente soporte la escalabilidad, rendimiento y requisitos de seguridad de las cargas de trabajo de Databricks.
• Mantener y mejorar las tuberías ETL, asegurando que sean eficientes, confiables y cumplan con los requisitos del negocio.
• Solucionar y resolver problemas relacionados con el procesamiento de datos, fallos en las tuberías y cuellos de botella en el rendimiento dentro de Databricks.
• Desarrollar e implementar estrategias para optimizar las tuberías de datos para velocidad, eficiencia de costos y rendimiento, asegurando la alineación con los objetivos del negocio.
• Contribuir a la mejora de la arquitectura de datos, los modelos de datos y la infraestructura general dentro del ecosistema de Azure.
• Liderar esfuerzos para monitorear, mantener y escalar flujos de trabajo de datos y soluciones de almacenamiento de datos dentro de Azure Databricks.
• Colaborar con colegas ingenieros de datos, científicos de datos y analistas para asegurar la integridad de los datos y el flujo suave entre los sistemas.
• Mantenerse al día con las últimas tendencias de la industria, herramientas y mejores prácticas en ingeniería de datos y tecnologías en la nube.

Requisitos:

• Más de 3 años de experiencia como ingeniero de datos con experiencia en la construcción y optimización de tuberías de datos en un entorno basado en la nube, específicamente Azure.
• Dominio de Azure Databricks y Python para desarrollar scripts de procesamiento de datos y optimizar flujos de trabajo.
• Experiencia con procesos ETL, diseño de tuberías de datos, automatización y resolución de problemas.
• Experiencia práctica con Apache Spark dentro de Databricks, incluidos la afinación del rendimiento y la optimización.
• Conocimiento de Azure Data Lake, Azure SQL y otros servicios de almacenamiento y procesamiento de datos basados en Azure.
• Sólido entendimiento de plataformas de datos en la nube, incluyendo consideraciones de red, almacenamiento, seguridad y rendimiento dentro de Azure.
• Capacidad para trabajar de manera efectiva en equipos multifuncionales para coordinar y entregar soluciones de datos de alta calidad.
• Excelentes habilidades de resolución de problemas y analíticas, con la capacidad de identificar y resolver problemas relacionados con flujos de trabajo de datos.
• Fuertes habilidades de comunicación, tanto técnicas como no técnicas, con la capacidad de colaborar eficazmente con diferentes equipos.

Cualificaciones Preferidas:

• Experiencia con Azure Synapse Analytics, Azure Data Factory o herramientas de integración de datos similares.
• Familiaridad con prácticas de CI/CD y sistemas de control de versiones como Git.
• Experiencia en metodologías ágiles y herramientas de gestión de proyectos (p. ej., Jira, Trello).
• Familiaridad con principios de gobernanza de datos y mejores prácticas para asegurar la calidad y seguridad de los datos.

Habilidades:

Adaptabilidad, Desarrollo de Aplicaciones Ágiles, Comunicación, Pensamiento Crítico, Servicio al Cliente, GitLab CI/CD, Colaboración Intencional, Gestión del Rendimiento, Mejoras de Procesos, Gestión de Riesgos, Pruebas de Escalabilidad, Desarrollo de Software, Metodologías del Ciclo de Vida del Desarrollo de Software (SDLC), Gestión de Stakeholders, Gestión de Equipos

Cómo Aplicar:

Para enviar su solicitud, haga clic en "Aplicar" y siga el proceso paso a paso.

Oportunidad de Empleo Igualitaria:

QBE es un empleador que ofrece igualdad de oportunidades y está obligado a cumplir con la legislación de igualdad de oportunidades de empleo en cada jurisdicción en la que opera.

Por favor, consulte la descripción del trabajo.