Seguimos en la Parte VII con el Capítulo 29: Plataformas de datos en AWS, donde entramos en el mundo de los datos a gran escala: almacenar, procesar y analizar enormes cantidades de información. Empezamos por el concepto central de la analítica moderna: el data lake (lago de datos), y cómo construirlo en AWS con tres servicios que trabajan juntos: S3 (almacén), Glue (catálogo y procesamiento) y Athena (consultas). Es la base para extraer valor de los datos de una empresa.

Una empresa moderna genera muchísimos datos, de fuentes muy variadas: ventas, registros de la web, sensores, redes sociales, aplicaciones... y en formatos diferentes (tablas, texto, registros, archivos). Estos datos, bien aprovechados, son oro: revelan patrones, ayudan a decidir, alimentan la inteligencia artificial. Pero hay un problema:

Necesitas un sitio donde reunir todos esos datos y poder analizarlos juntos. Ese sitio es el data lake.

Un data lake (lago de datos) es un repositorio central donde guardas enormes cantidades de datos de cualquier tipo y formato, en su forma original, para analizarlos cuando quieras. La idea: primero guardas todo (sin tener que estructurarlo de antemano), y decides cómo analizarlo después.

Analogía: un data lake es como un gran almacén/biblioteca donde guardas TODO tal cual llega (documentos, fotos, grabaciones, datos...), sin tener que clasificarlo perfectamente al entrar. La gracia es que lo tienes todo en un sitio y, cuando necesitas responder una pregunta, vas y lo analizas. Se contrapone a un almacén muy ordenado donde solo entra lo que encaja en estanterías predefinidas (eso sería más bien un data warehouse, que veremos en el subcapítulo 29.3). El lago acepta todo; ya le darás forma cuando lo necesites.

💡 Lago vs almacén: un data lake guarda datos en bruto, de cualquier tipo, y decides la estructura al consultarlos («schema-on-read»). Un data warehouse (Redshift, subcap. 29.3) guarda datos ya estructurados y optimizados para consultas rápidas. Son complementarios; cada uno tiene su papel.

En AWS, un data lake se construye típicamente con tres servicios que colaboran:

S3 (Capítulo 5) es el lugar donde se guardan los datos del data lake. Recuerda sus virtudes: almacenamiento prácticamente ilimitado, muy barato, duradero y que admite cualquier tipo de archivo. Es el sitio perfecto para volcar enormes cantidades de datos de cualquier formato. S3 es, literalmente, el lago: el contenedor de todos los datos.

Tener millones de archivos en S3 no sirve de mucho si no sabes qué hay y dónde. AWS Glue resuelve eso. Hace dos cosas clave:

• Cataloga los datos: descubre qué datos hay en tu S3 y crea un catálogo (como un índice o inventario) que dice qué información contiene cada conjunto de datos, su estructura, etc. Así, los datos del lago se vuelven localizables y entendibles.
• Procesa y transforma los datos (ETL): permite limpiar, transformar y preparar los datos (por ejemplo, convertir formatos, juntar fuentes), para que estén listos para analizar.

Analogía: Glue es como el bibliotecario del gran almacén: recorre todo lo que hay guardado, crea un catálogo (sabes qué hay y dónde encontrarlo) y, cuando hace falta, prepara y organiza materiales para que puedas usarlos. Sin el bibliotecario, el almacén sería un caos imposible de aprovechar.

Amazon Athena te permite hacer consultas (con SQL) directamente sobre los datos guardados en S3, sin tener que moverlos a una base de datos. Usando el catálogo de Glue, haces preguntas a tus datos como si fueran una base de datos, y Athena las responde leyendo directamente de S3.

Lo potente: Athena es serverless (sin servidores que gestionar, recuerda la filosofía del Capítulo 14) y pagas solo por las consultas que haces. Es ideal para analizar datos del lago de forma puntual y flexible.

Analogía: Athena es como poder hacerle preguntas directamente a la biblioteca y obtener respuestas, sin tener que sacar primero todos los libros y llevarlos a otra sala. Le preguntas «¿cuántas ventas hubo en marzo en España?» y te responde consultando directamente los datos donde están (en S3).

El trío forma un data lake completo:

S3 guarda, Glue organiza y prepara, Athena consulta. Juntos te permiten reunir todos los datos de tu empresa y sacarles valor sin montar infraestructura compleja.

Ejemplo del mundo real: una empresa de comercio quiere analizar el comportamiento de sus clientes juntando datos de ventas, navegación web y campañas de marketing. Construyen un data lake: vuelcan todos esos datos en S3 (cada fuente en su carpeta). Glue recorre S3, cataloga qué hay y prepara los datos (unifica formatos, limpia). Luego, los analistas usan Athena para preguntar con SQL cosas como «¿qué productos compran más los clientes que vinieron de tal campaña?», consultando directamente sobre S3, sin montar ninguna base de datos. Descubren patrones valiosos que antes, con los datos dispersos, eran invisibles. Y todo serverless: pagan por el almacenamiento barato de S3 y por las consultas que ejecutan, sin servidores que mantener.

• Las empresas generan muchísimos datos dispersos de fuentes y formatos variados; aprovecharlos requiere reunirlos en un sitio: el data lake.
• Un data lake es un repositorio central donde guardas enormes cantidades de datos de cualquier tipo, en su formato original, para analizarlos cuando quieras (guardas todo primero, decides cómo analizarlo después). Como un gran almacén que acepta todo.
• En AWS se construye con tres piezas: S3 (el almacén: ilimitado, barato, cualquier formato — es el lago), Glue (cataloga qué datos hay y los procesa/prepara — el bibliotecario) y Athena (consulta con SQL directamente sobre S3, serverless — preguntar a la biblioteca).
• Juntos: S3 guarda, Glue organiza, Athena consulta, permitiendo sacar valor a todos los datos sin infraestructura compleja.
• 💡 Un data lake (datos en bruto) se complementa con un data warehouse (datos estructurados, Redshift, subcap. 29.3).

En el siguiente subcapítulo veremos cómo capturar y procesar datos que llegan en tiempo real, de forma continua, con Kinesis.