El tercer proyecto te lleva al mundo de los datos a gran escala, que vimos en el Capítulo 29. Mientras los proyectos anteriores construían aplicaciones (un blog, una API), este construye una plataforma de datos: un sistema para almacenar, procesar y analizar grandes cantidades de información. Combinarás Glue, Athena y Redshift para crear una plataforma capaz de extraer valor de los datos. Es un proyecto de nivel más avanzado que consolida una especialidad muy demandada: la ingeniería de datos.

El objetivo es montar un sistema donde reunir datos de distintas fuentes, prepararlos y poder analizarlos para sacar conclusiones útiles. Recuerda el Capítulo 29: una plataforma de datos permite a una empresa convertir sus datos dispersos en información valiosa para tomar decisiones.

El proyecto combina los servicios de datos del Capítulo 29, cada uno con su papel:

S3 (Capítulo 5) es el data lake (subcapítulo 29.1): el almacén central, barato e ilimitado, donde guardas todos los datos en bruto, de cualquier formato. Es el corazón de la plataforma: el sitio donde «aterrizan» todos los datos.

AWS Glue (subcapítulo 29.1) cataloga los datos del data lake (crea un inventario de qué hay y dónde) y los procesa/transforma (los limpia y prepara para analizar). Es el «bibliotecario» que organiza el lago y deja los datos listos.

Amazon Athena (subcapítulo 29.1) te permite consultar los datos directamente en S3 con SQL, sin moverlos, de forma serverless. Es para análisis flexibles y puntuales: haces preguntas a tus datos del lago y obtienes respuestas.

Amazon Redshift (subcapítulo 29.3) es el data warehouse: para los análisis complejos y recurrentes sobre los datos estructurados más importantes, que carga desde el data lake. Es donde se hacen los informes de negocio que se consultan a menudo y deben responderse rapidísimo.

Así encajan las piezas, siguiendo el patrón del Capítulo 29:

Los datos llegan a S3 (el lago); Glue los cataloga y prepara; desde ahí, puedes consultarlos de forma flexible con Athena, o cargar los más importantes en Redshift para análisis intensivos y recurrentes. Recuerda que el data lake y el data warehouse se complementan (subcapítulo 29.3): el lago guarda todo, el almacén potencia el análisis frecuente.

Este proyecto afianza el dominio de los datos en AWS, una especialidad muy valorada:

💡 Amplía si quieres: puedes enriquecer el proyecto añadiendo Kinesis (subcapítulo 29.2) para ingerir datos en tiempo real hacia el data lake, y Lake Formation (subcapítulo 29.4) para gobernar quién accede a qué datos. Así cubres el Capítulo 29 completo.

Ejemplo del mundo real: alguien interesado en la ingeniería de datos (un campo muy demandado) quiere consolidar lo aprendido en el Capítulo 29 con un proyecto real. Construye una plataforma para analizar datos de ventas: vuelca datos de ventas (de varias fuentes, en distintos formatos) en un data lake en S3; usa Glue para catalogarlos y prepararlos; analiza de forma exploratoria con Athena («¿qué productos se venden más por región?»); y carga los datos clave en Redshift para los informes mensuales que la dirección consulta. Todo lo despliega con Terraform. Al construirlo, entiende de verdad cómo fluyen los datos por una plataforma analítica y la diferencia práctica entre un data lake y un data warehouse. Acaba con una plataforma de datos funcional y un perfil sólido en un área muy buscada. La teoría del Capítulo 29 se convierte en habilidad real.

• El proyecto de plataforma de datos te lleva al mundo de los datos a gran escala (Cap. 29): un sistema para almacenar, procesar y analizar información y extraer valor. Construye un data lake + analítica.
• Combina las piezas del Cap. 29: S3 (el data lake: todos los datos en bruto, Cap. 29.1), Glue (cataloga y prepara los datos, Cap. 29.1), Athena (consultas SQL flexibles sobre S3, serverless, Cap. 29.1) y Redshift (el data warehouse para análisis complejos y recurrentes, Cap. 29.3).
• Arquitectura: datos → S3 (lago) → Glue (cataloga/prepara) → Athena (consultas flexibles) y/o Redshift (análisis intensivos). Lago y almacén se complementan (Cap. 29.3).
• Consolida una especialidad muy demandada (ingeniería de datos); 💡 amplíalo con Kinesis (tiempo real, Cap. 29.2) y Lake Formation (gobierno, Cap. 29.4). Todo con Terraform.

En el último subcapítulo del capítulo veremos el proyecto más ambicioso, que ata muchos conceptos avanzados: una landing zone multi-cuenta con Terraform y Control Tower.