El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
HOME Mis cursos Finalizados
◄ Anterior
◄

Funciones de Activación

Siguiente ►
►

Las funciones de activación son un componente crucial en las redes neuronales, ya que introducen no linealidades en el modelo, permitiendo que la red aprenda y represente relaciones complejas en los datos. En esta sección, exploraremos las funciones de activación más comunes y cómo implementarlas en TensorFlow.

¿Qué es una Función de Activación?

Una función de activación es una función matemática que se aplica a la salida de una neurona en una red neuronal. Su propósito principal es introducir no linealidades en el modelo, lo que permite a la red neuronal aprender y modelar datos complejos.

Propiedades Clave de las Funciones de Activación

  1. No Linealidad: Permite que la red neuronal aprenda relaciones complejas.
  2. Derivabilidad: La función debe ser diferenciable para permitir la retropropagación.
  3. Rango de Salida: El rango de valores que la función puede producir.
  4. Saturación: Algunas funciones pueden saturarse, es decir, sus derivadas se vuelven muy pequeñas para ciertos rangos de entrada.

Funciones de Activación Comunes

  1. Sigmoide

La función sigmoide es una de las funciones de activación más antiguas y se define como:

\[ \sigma(x) = \frac{1}{1 + e^{-x}} \]

  • Rango de Salida: (0, 1)
  • Ventajas: Suaviza la salida y es útil para modelos probabilísticos.
  • Desventajas: Puede sufrir de saturación y el problema del gradiente desvanecido.
import tensorflow as tf

# Ejemplo de uso de la función sigmoide en TensorFlow
x = tf.constant([-1.0, 0.0, 1.0], dtype=tf.float32)
sigmoid = tf.nn.sigmoid(x)
print(sigmoid.numpy())  # Salida: [0.26894143 0.5 0.7310586]

  1. Tanh (Tangente Hiperbólica)

La función tanh es similar a la sigmoide pero escala la salida entre -1 y 1:

\[ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \]

  • Rango de Salida: (-1, 1)
  • Ventajas: Centra los datos alrededor de cero, lo que puede acelerar el aprendizaje.
  • Desventajas: También puede sufrir de saturación y el problema del gradiente desvanecido.
# Ejemplo de uso de la función tanh en TensorFlow
tanh = tf.nn.tanh(x)
print(tanh.numpy())  # Salida: [-0.7615942 0. 0.7615942]

  1. ReLU (Rectified Linear Unit)

La función ReLU es actualmente la más popular debido a su simplicidad y efectividad:

\[ \text{ReLU}(x) = \max(0, x) \]

  • Rango de Salida: [0, ∞)
  • Ventajas: No sufre de saturación en la región positiva y es computacionalmente eficiente.
  • Desventajas: Puede causar el problema de "neurona muerta" donde algunas neuronas nunca se activan.
# Ejemplo de uso de la función ReLU en TensorFlow
relu = tf.nn.relu(x)
print(relu.numpy())  # Salida: [0. 0. 1.]

  1. Leaky ReLU

Leaky ReLU es una variante de ReLU que permite un pequeño gradiente cuando la entrada es negativa:

\[ \text{Leaky ReLU}(x) = \max(0.01x, x) \]

  • Rango de Salida: (-∞, ∞)
  • Ventajas: Mitiga el problema de "neurona muerta".
  • Desventajas: Introduce un hiperparámetro adicional (la pendiente negativa).
# Ejemplo de uso de la función Leaky ReLU en TensorFlow
leaky_relu = tf.nn.leaky_relu(x, alpha=0.01)
print(leaky_relu.numpy())  # Salida: [-0.01 0. 1.]

  1. Softmax

La función softmax se utiliza principalmente en la capa de salida de una red neuronal para clasificación multiclase:

\[ \text{softmax}(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}} \]

  • Rango de Salida: (0, 1) y la suma de todas las salidas es 1.
  • Ventajas: Proporciona una interpretación probabilística de las salidas.
  • Desventajas: No es adecuada para capas ocultas debido a su complejidad computacional.
# Ejemplo de uso de la función softmax en TensorFlow
logits = tf.constant([1.0, 2.0, 3.0], dtype=tf.float32)
softmax = tf.nn.softmax(logits)
print(softmax.numpy())  # Salida: [0.09003057 0.24472848 0.66524094]

Ejercicio Práctico

Ejercicio 1: Implementar y Comparar Funciones de Activación

  1. Objetivo: Implementar las funciones de activación mencionadas y comparar sus salidas para un conjunto de datos de entrada.
  2. Instrucciones:
    • Crear un tensor de entrada con valores entre -10 y 10.
    • Aplicar cada una de las funciones de activación a este tensor.
    • Graficar las salidas para visualizar las diferencias.
import numpy as np
import matplotlib.pyplot as plt

# Crear un tensor de entrada
x = tf.linspace(-10.0, 10.0, 100)

# Aplicar funciones de activación
sigmoid = tf.nn.sigmoid(x)
tanh = tf.nn.tanh(x)
relu = tf.nn.relu(x)
leaky_relu = tf.nn.leaky_relu(x, alpha=0.01)
softmax = tf.nn.softmax(tf.stack([x, x], axis=1), axis=1)[:, 0]

# Graficar las salidas
plt.figure(figsize=(12, 8))
plt.plot(x, sigmoid, label='Sigmoid')
plt.plot(x, tanh, label='Tanh')
plt.plot(x, relu, label='ReLU')
plt.plot(x, leaky_relu, label='Leaky ReLU')
plt.plot(x, softmax, label='Softmax')
plt.legend()
plt.title('Comparación de Funciones de Activación')
plt.xlabel('Entrada')
plt.ylabel('Salida')
plt.grid(True)
plt.show()

Solución del Ejercicio

El código anterior crea un tensor de entrada y aplica las funciones de activación mencionadas. Luego, grafica las salidas para comparar visualmente cómo cada función transforma los datos de entrada.

Conclusión

En esta sección, hemos explorado varias funciones de activación comunes y sus implementaciones en TensorFlow. Cada función tiene sus propias ventajas y desventajas, y la elección de la función de activación adecuada puede tener un impacto significativo en el rendimiento de la red neuronal. En el próximo módulo, aplicaremos estos conocimientos para construir redes neuronales más complejas y eficientes.

◄ Anterior
◄
Siguiente ►
►
El Proyecto | Sobre nosotros | Contribuir | Donaciones | Licencia
© Copyright 2024. Todos los derechos reservados