Esta publicación de blog destaca las tendencias clave que vemos en la ingeniería de datos en 2024 y cómo esas tendencias afectan a los equipos de datos.
Hacer más con menos
La industria tecnológica en 2024 está bajo presión para optimizar los recursos. A los líderes de tecnología y datos se les pide que integren más datos para respaldar nuevas funciones impulsadas por la IA y, al mismo tiempo, se ven obligados a reducir costos y personal. A juzgar por los recientes despidos en Google, Amazon, Meta, Twitch, Spotify y Discord, incluso las empresas tecnológicas más grandes no son inmunes a esta tendencia hacia una mayor eficiencia.
El impacto de la IA en los despidos frente a los factores económicos
Las crecientes capacidades de los LLM están remodelando el mercado laboral y el espacio de datos no es una excepción. Si bien es difícil estimar en qué medida el progreso de la IA ha contribuido a las crecientes oleadas de despidos tecnológicos, muchas empresas están recortando costos en algunas líneas de negocios establecidas y reasignando ese presupuesto hacia el desarrollo de la IA. Dropbox redujo su plantilla en un 16% el año pasado y reasignó esos recursos a la contratación de especialistas en inteligencia artificial para “seguir siendo competitivo”.
Los factores económicos, como la desaceleración de la financiación de capital de riesgo y algunos ajustes (tardíos) pospandemia, también influyen en las decisiones sobre el personal.
Implicaciones para la ingeniería de datos
A medida que las organizaciones buscan hacer más con menos, existe una creciente demanda de generalistas competentes en tecnologías nativas de la nube, datos, inteligencia artificial e ingeniería de plataformas. Este cambio está alejando el campo de roles altamente especializados, como ingenieros de ETL o BI, en favor de una gama más amplia de habilidades de ingeniería. Los equipos de ingeniería de datos en 2024 comenzarán a parecerse a equipos de ingeniería de software. Esto sucede en parte gracias a la creciente madurez de la ingeniería de datos como disciplina y en parte por necesidad: se espera que los equipos de datos entreguen más con menos, y esto requiere crear productos de datos más rápido, a menudo en equipos más pequeños que antes.
Por otro lado, los ingenieros de software que trabajan en características o productos de datos basados en IA comienzan a hacerse cargo de muchas tareas de ingeniería de datos, como la limpieza, validación y gobernanza de datos, porque la calidad de los productos basados en IA depende de la calidad de los datos subyacentes. . Ajustar un LLM a partir de datos incorrectos no generará buenos resultados para el negocio, independientemente de cuántas GPU le arrojemos. Puede notar que los límites entre lo que hacen los equipos de software y de datos se están volviendo borrosos en 2024.
Vale la pena señalar que, aunque existe una tendencia creciente hacia equipos de datos más pequeños y conjuntos de habilidades más versátiles, las organizaciones más grandes seguirán buscando especialistas en modelado de datos, ingeniería, análisis, aprendizaje automático e inteligencia artificial.Tanto los generalistas como los especialistas tienen su lugar, incluso en la era de la IA.
Equipos de datos como centros de beneficio
Ver la sección anterior puede darle la sensación de que las cosas están empeorando para los ingenieros de datos. La ventaja es que los LLM están creando nuevas oportunidades para que los equipos de datos pasen de centros de costos a centros de ganancias. Las empresas están utilizando activamente datos e inteligencia artificial para ampliar su oferta de productos y crear nuevas fuentes de ingresos. Muchos equipos de datos que solían ser vistos como centros de costos ahora se están convirtiendo en centros de ganancias al poner en funcionamiento los canales RAG y crear productos generadores de ingresos.
Los títulos de trabajo se volverán aún más confusos
Los títulos de trabajo en el campo de datos seguirán siendo confusos. Como se mencionó anteriormente, los ingenieros de software están cada vez más involucrados en la creación de productos mejorados con IA, y los ingenieros de datos se están acercando a la ingeniería de software y plataformas .
También hay un número creciente de puestos de ingenieros de producto , que son ingenieros de software responsables de gestionar todo el ciclo de vida del producto , desde la gestión del trabajo pendiente hasta el desarrollo y el mantenimiento. Se puede observar una tendencia similar en los roles de marketing en tecnología, donde muchas empresas requieren que los candidatos estén familiarizados con Python y SQL. Es probable que estos roles híbridos que combinan producto/marketing e ingeniería sigan ganando popularidad a medida que las tareas de codificación se vuelvan más accesibles para usuarios menos técnicos con herramientas como ChatGPt, GitHub Copilot y Kestra . Si le gustan los términos sofisticados, puede llamar a esa tendencia una democratización de los datos, el análisis y las prácticas de ingeniería como un autoservicio.
Otro puesto híbrido que está ganando popularidad es el de ingeniero de inteligencia artificial , que cierra la brecha entre la inteligencia artificial y el software. A medida que las empresas buscan profesionales que puedan crear productos y plataformas impulsados por IA, seguiremos viendo más puestos de trabajo híbridos en 2024.
Para conoce más Click aquí
