¿Qué es el Big Data? - La mejor explicación en español

Key Concepts

Big Data, Datos Estructurados, Datos No Estructurados, Base de Datos, Motor de Base de Datos, On-Premise, Cloud Computing, Data Warehouse, Machine Learning, las 5 V's del Big Data (Volumen, Variedad, Velocidad, Veracidad, Valor), ETL (Extracción, Transformación, Carga), Ciclo de Vida de los Datos, Open Data.

Big Data: Una Explicación Detallada

Introducción: El Problema de Carlos el Panadero

El video comienza con la historia de Carlos, un panadero exitoso que busca expandir su negocio. Carlos se da cuenta de la necesidad de guardar datos de sus clientes para mejorar las relaciones y ofrecer promociones personalizadas. Inicialmente, guarda los datos en un documento de texto sin estructura, lo que resulta ineficiente. Luego, migra a una hoja de cálculo, mejorando el orden pero aún lejos de una solución óptima. Alexis Losada le explica que necesita una base de datos real, no una hoja de cálculo, y le ayuda a implementarla.

La Explosión de Datos y el Reto del Big Data

Carlos se enfrenta al problema de la gran cantidad de información proveniente de diversas fuentes: correos electrónicos, redes sociales, ventas, información de empleados, contabilidad, proveedores, analíticas web, inventario, etc. Centralizar y analizar esta información dispersa se vuelve un desafío. El video plantea la magnitud de este problema para grandes empresas como bancos, supermercados, y empresas de telecomunicaciones, que manejan cantidades enormes de datos distribuidos en múltiples ubicaciones.

Terminología Clave del Big Data

• Datos No Estructurados: Información sin un formato predefinido, como documentos de texto, correos electrónicos, conversaciones en Slack, y datos de sistemas de gestión de proyectos.
• Datos Estructurados: Información organizada en un formato definido, como hojas de cálculo y bases de datos.
• Base de Datos: Un conjunto organizado de información estructurada.
• Motor de Base de Datos: Software para almacenar, procesar y extraer información de bases de datos.
• On-Premise: Infraestructura de datos ubicada físicamente en las oficinas de la empresa, con sus propios servidores y equipos.
• Cloud Computing: Servicios de computación ofrecidos a través de internet por empresas como Amazon (AWS), Google (GCP) y Microsoft (Azure). Elimina la necesidad de infraestructura física costosa y ofrece escalabilidad.
• Data Warehouse: Un gran almacén de datos, capaz de manejar petabytes de información (1 petabyte = 1000 terabytes = 1 millón de gigabytes).
• Machine Learning: Aprendizaje automático, donde las computadoras aprenden de patrones en los datos y hacen predicciones. Ejemplo: entrenar una computadora con un millón de fotos de perros para que pueda identificar perros en nuevas fotos.

Definición Técnica de Big Data

Big Data se define como un gran volumen de información proveniente de diferentes fuentes, con diferentes estructuras, y a una velocidad de cambio tan rápida que es difícil de procesar y analizar con sistemas de cómputo tradicionales. Requiere un gran poder de cómputo, generalmente proporcionado por el cloud computing.

Las 5 V's del Big Data

• Volumen: Gran cantidad de información difícil de procesar con medios tradicionales.
• Variedad: Datos provenientes de diversas fuentes y con diferentes estructuras.
• Velocidad: La rapidez con la que los datos cambian y se generan nuevos datos constantemente.
• Veracidad: La confiabilidad y exactitud de los datos. Datos comprados en redes sociales, por ejemplo, pueden no ser veraces.
• Valor: La relevancia de la información para los objetivos que se buscan.

El Proceso ETL (Extracción, Transformación, Carga)

Para analizar datos de múltiples fuentes como si fueran una sola, se utiliza el proceso ETL:

1. Extracción: Capturar los datos de todas las fuentes y centralizarlos.
2. Transformación: Estandarizar y limpiar los datos (data cleaning) para que parezcan provenir de una sola fuente. Se pueden usar algoritmos o machine learning para esta etapa.
3. Carga: Guardar los datos limpios en un data warehouse para su posterior análisis.

El Ciclo de Vida de los Datos y la Transformación en Dinero

El video explica cómo los datos se transforman en valor y dinero:

1. Captura: Recolectar datos de diversas fuentes (extracción).
2. Almacenamiento: Guardar los datos transformados en un data warehouse.
3. Procesamiento y Análisis: Encontrar patrones en los datos, ya sea de manera predeterminada o con machine learning.
4. Exploración y Visualización: Mostrar la información procesada en dashboards y tableros para facilitar la toma de decisiones.

Los datos permiten tomar decisiones informadas, identificar comportamientos de usuarios, detectar tendencias y predecir el futuro (estadísticamente). El escándalo de Cambridge Analytica se menciona como un ejemplo de cómo el análisis de datos de usuarios de Facebook pudo manipular elecciones.

Aplicaciones del Big Data para Empresas y Ciudadanía

El Big Data no solo es útil para las empresas, sino también para la ciudadanía. El análisis de datos abiertos (open data) puede ayudar a encontrar soluciones para problemas como el tráfico o la seguridad. Se propone una aplicación que, analizando datos de delincuencia y cámaras de vigilancia, pueda indicar zonas seguras o peligrosas en diferentes horarios del día.

Conclusión

El Big Data permite encontrar soluciones para negocios y la ciudadanía a través del análisis de grandes volúmenes de información, utilizando gran capacidad de cómputo (cloud computing) y machine learning.

Invitación a un Workshop

El video finaliza con una invitación a un workshop presencial sobre Big Data on Google en Ciudad de México, impartido por Manu Rodríguez, experto en cloud computing de Google. También se invita a los usuarios a actualizar su cuenta en la plataforma para acceder a las grabaciones y materiales del workshop.