Arquitectura y herramientas de software para el manejo de Big Data en entornos computacionales (Innovation & Development in Engineering and Applied Science, 2026)
En la era digital, el procesamiento de grandes volúmenes de datos (Big Data) se ha convertido en un desafío fundamental para organizaciones de distintos sectores. Se proyecta que para 2026 el volumen global de datos alcanzará un tamaño aproximado de entre 200 y 210 zettabytes, impulsado principalmente por el crecimiento de dispositivos IoT, redes sociales y sistemas de información corporativos. En este contexto, la infraestructura de software desempeña un papel clave en la recolección, el análisis y el almacenamiento eficiente de datos masivos.Este artículo presenta una revisión crítica de las principales tecnologías y arquitecturas utilizadas en el ecosistema Big Data, con especial énfasis en herramientas ampliamente adoptadas como Apache Hadoop, Apache Spark y bases de datos NoSQL (por ejemplo, MongoDB, Cassandra y HBase). Se describen las capacidades de estas tecnologías en relación con las características fundamentales del Big Data —volumen, velocidad y variedad—, y se comparan sus enfoques para el procesamiento distribuido y en memoria, así como sus tiempos de respuesta en distintos entornos.Además, se analizan arquitecturas de referencia como Lambda y Kappa, destacando sus aportes al procesamiento en tiempo real y en lotes. Finalmente, se abordan los desafíos actuales del sector, incluyendo la escalabilidad, la integración de fuentes heterogéneas y las preocupaciones relacionadas con la seguridad y la privacidad. El artículo concluye con una discusión sobre tendencias emergentes como la inteligencia artificial, el aprendizaje automático, el edge computing y las infraestructuras en la nube, que están redefiniendo las posibilidades del análisis de datos a gran escala.
Keywords: Big Data; apache hadoop; apache spark; almacenamiento de datos; alta disponibilidad; tolerancia a fallos; computación en la nube; lago de datos; bases de datos NoSQL; infraestructura de software