El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
HOME Mis cursos Finalizados
◄ Anterior
◄

Trabajando con Conjuntos de Datos

Siguiente ►
►

En este tema, aprenderemos cómo trabajar con conjuntos de datos en TensorFlow. Este es un aspecto crucial para cualquier proyecto de aprendizaje automático, ya que la calidad y la preparación de los datos pueden influir significativamente en el rendimiento del modelo.

Contenido

  1. Introducción a los Conjuntos de Datos
  2. Uso de tf.data.Dataset
  3. Creación de Conjuntos de Datos desde Arrays
  4. Cargando Datos desde Archivos
  5. Transformaciones Comunes
  6. Ejercicio Práctico
  7. Conclusión

Introducción a los Conjuntos de Datos

TensorFlow proporciona la API tf.data para construir pipelines de datos eficientes y escalables. Esta API permite cargar, transformar y preprocesar datos de manera eficiente, lo cual es esencial para entrenar modelos de aprendizaje automático.

Uso de tf.data.Dataset

La clase tf.data.Dataset es el núcleo de la API tf.data. Permite crear y manipular conjuntos de datos de manera eficiente.

Ejemplo Básico

import tensorflow as tf

# Crear un dataset simple de números del 0 al 9
dataset = tf.data.Dataset.from_tensor_slices(tf.range(10))

# Iterar sobre el dataset
for element in dataset:
    print(element.numpy())

Explicación

  1. Importar TensorFlow: Importamos la biblioteca TensorFlow.
  2. Crear un Dataset: Utilizamos tf.data.Dataset.from_tensor_slices para crear un dataset a partir de un tensor.
  3. Iterar sobre el Dataset: Usamos un bucle for para iterar sobre los elementos del dataset y los imprimimos.

Creación de Conjuntos de Datos desde Arrays

Podemos crear conjuntos de datos directamente desde arrays de NumPy o listas de Python.

Ejemplo con Arrays de NumPy

import numpy as np

# Crear arrays de NumPy
data = np.array([1, 2, 3, 4, 5])
labels = np.array([0, 0, 1, 1, 1])

# Crear un dataset a partir de arrays de NumPy
dataset = tf.data.Dataset.from_tensor_slices((data, labels))

# Iterar sobre el dataset
for element in dataset:
    print(element)

Explicación

  1. Crear Arrays de NumPy: Creamos dos arrays de NumPy, uno para los datos y otro para las etiquetas.
  2. Crear un Dataset: Utilizamos tf.data.Dataset.from_tensor_slices para crear un dataset a partir de los arrays.
  3. Iterar sobre el Dataset: Iteramos sobre el dataset y imprimimos los elementos.

Cargando Datos desde Archivos

Podemos cargar datos desde archivos CSV, imágenes, texto, etc. Aquí veremos un ejemplo de cómo cargar datos desde un archivo CSV.

Ejemplo con CSV

import tensorflow as tf

# Definir la función de parseo
def parse_csv(line):
    example_defaults = [tf.float32, tf.float32, tf.float32, tf.float32, tf.int32]  # Definir tipos de datos
    parsed_line = tf.io.decode_csv(line, example_defaults)
    features = tf.stack(parsed_line[:-1])
    label = parsed_line[-1]
    return features, label

# Crear un dataset a partir de un archivo CSV
dataset = tf.data.TextLineDataset("path/to/your/file.csv").skip(1)  # Saltar la cabecera
dataset = dataset.map(parse_csv)

# Iterar sobre el dataset
for features, label in dataset:
    print("Features:", features.numpy(), "Label:", label.numpy())

Explicación

  1. Definir la Función de Parseo: Creamos una función parse_csv que define cómo parsear cada línea del archivo CSV.
  2. Crear un Dataset: Utilizamos tf.data.TextLineDataset para crear un dataset a partir del archivo CSV y saltamos la cabecera con .skip(1).
  3. Mapear la Función de Parseo: Aplicamos la función de parseo a cada línea del dataset con .map(parse_csv).
  4. Iterar sobre el Dataset: Iteramos sobre el dataset y imprimimos las características y etiquetas.

Transformaciones Comunes

La API tf.data proporciona varias transformaciones útiles para manipular datasets.

Ejemplo de Transformaciones

import tensorflow as tf

# Crear un dataset simple
dataset = tf.data.Dataset.from_tensor_slices(tf.range(10))

# Aplicar transformaciones
dataset = dataset.map(lambda x: x * 2)  # Multiplicar cada elemento por 2
dataset = dataset.batch(3)  # Agrupar en lotes de 3 elementos
dataset = dataset.shuffle(buffer_size=10)  # Barajar el dataset

# Iterar sobre el dataset transformado
for batch in dataset:
    print(batch.numpy())

Explicación

  1. Mapear: Utilizamos .map para aplicar una función a cada elemento del dataset.
  2. Agrupar en Lotes: Utilizamos .batch para agrupar los elementos en lotes.
  3. Barajar: Utilizamos .shuffle para barajar los elementos del dataset.

Ejercicio Práctico

Ejercicio

Crea un dataset a partir de un archivo CSV que contenga datos de flores (por ejemplo, el dataset de Iris). Aplica las siguientes transformaciones:

  1. Parsear el archivo CSV.
  2. Normalizar las características.
  3. Agrupar los datos en lotes de 32 elementos.
  4. Barajar el dataset.

Solución

import tensorflow as tf

# Definir la función de parseo
def parse_csv(line):
    example_defaults = [tf.float32, tf.float32, tf.float32, tf.float32, tf.int32]
    parsed_line = tf.io.decode_csv(line, example_defaults)
    features = tf.stack(parsed_line[:-1])
    label = parsed_line[-1]
    return features, label

# Normalizar las características
def normalize(features, label):
    features = (features - tf.reduce_mean(features)) / tf.math.reduce_std(features)
    return features, label

# Crear un dataset a partir de un archivo CSV
dataset = tf.data.TextLineDataset("path/to/iris.csv").skip(1)
dataset = dataset.map(parse_csv)
dataset = dataset.map(normalize)
dataset = dataset.batch(32)
dataset = dataset.shuffle(buffer_size=150)

# Iterar sobre el dataset transformado
for batch in dataset:
    features, labels = batch
    print("Features:", features.numpy(), "Labels:", labels.numpy())

Explicación

  1. Parsear el Archivo CSV: Utilizamos tf.data.TextLineDataset y tf.io.decode_csv para parsear el archivo CSV.
  2. Normalizar las Características: Aplicamos una función de normalización a las características.
  3. Agrupar en Lotes: Utilizamos .batch para agrupar los datos en lotes de 32 elementos.
  4. Barajar el Dataset: Utilizamos .shuffle para barajar los datos.

Conclusión

En esta sección, hemos aprendido cómo trabajar con conjuntos de datos en TensorFlow utilizando la API tf.data. Hemos visto cómo crear datasets desde arrays y archivos, aplicar transformaciones comunes y realizar un ejercicio práctico para consolidar los conocimientos. En el próximo módulo, profundizaremos en la construcción de redes neuronales utilizando TensorFlow.

◄ Anterior
◄
Siguiente ►
►
El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
© Copyright 2024. Todos los derechos reservados