Data Engineer Especialista en PySpark

Somos una empresa mexicana con mas de 22 años en el mercado, desarrollamos procesos y tecnología que ayudan a nuestros clientes a medir y garantizar la disponibilidad de sus productos en el punto de venta, así como a evaluar el cumplimento de sus objetivos de ejecución.Nuestro mercado principal son empresas de productos de consumo masivo, retailers y aquellas involucradas en el aseguramiento de la disponibilidad.Con personal propio y nuestra tecnología llevamos a cabo estudios en campo para evaluar de forma imparcial la situación de las marcas de nuestro cliente en diferentes canales a nivel nacional.Estamos fortaleciendo nuestro equipo de Datos y Analítica para acelerar la construcción de productos de datos confiables y escalables.Descripción de Empleo:El Data Engineer es encargado de recopilar, limpiar y organizar datos para que estén disponibles de manera precisa, confiable y oportuna, facilitando su uso en análisis y toma de decisiones. Trabaja en estrecha colaboración con equipos de negocio y analítica para diseñar e implementar procesos de integración, transformación y almacenamiento de datos, aplicando buenas prácticas de calidad y eficiencia.Debe contar con habilidades en programación, manejo de bases de datos y herramientas de análisis, así como capacidad para resolver problemas, documentar procesos y comunicar hallazgos de forma clara. Su función abarca desde la preparación de datos hasta el soporte en su explotación, asegurando que los productos de datos sean escalables y cumplan con las necesidades de la organización.Responsabilidades:

• Construir y mantener procesos de integración de datos en la nube utilizando Azure Synapse Analytics, Azure Data Factory, Azure Blob Storage y Azure Data Lake.
• Desarrollar y optimizar pipelines de datos en Databricks empleando Spark (PySpark) y Python para el procesamiento eficiente de grandes volúmenes de información.
• Cargar, transformar y estructurar datos en Azure SQL Server y otros repositorios para su análisis y explotación.
• Implementar controles y validaciones que garanticen la calidad, integridad y consistencia de los datos.Habilidades y Cualidades Necesarias:
• Dominio de herramientas y servicios de Azure: Synapse Analytics, Data Factory, Blob Storage, Data Lake y Databricks.
• Indispensable programación con Spark (PySpark) y Python para el manejo de datos a gran escala.
• Conocimiento en bases de datos relacionales, especialmente Azure SQL Server.
• Capacidad para optimizar procesos de ETL y trabajar con grandes volúmenes de datos.Indicadores de éxito:Mejora en KPIS de satisfacción del cliente, crecimiento de cuentas gestionadas, eficiencia en reporteo y análisis mensual.Educación:Licenciatura o ingeniería en Sistemas, Computación o Informática.Experiencia:1 a 2 años construyendo procesos de datos con PySpark y Azure Synapse (Spark pools + Pipelines), manejo de ADLS Gen2 y Parquet; deseable experiencia en ambientes de retail o consumo masivo.Ofrecemos:- Sueldo competitivo.- Prestaciones superiores.- Modalidad híbrida 80% Home Office.