RN2024 - Clase 04_b

Arquitectura de Redes Neuronales

Resumen de la Sección: En esta sección, se explora una arquitectura de redes neuronales que utiliza sigmoides para aproximar funciones. Se detalla cómo ajustar parámetros como W y B en la función sigmoide para modificar su forma y comportamiento.

Función Sigmoide y Aproximación de Funciones

• Cienco propone una arquitectura simple con tres capas: entrada, salida y oculta, todas fully connected.

• La función sigmoide puede ajustarse con parámetros W y B para variar su forma, convergiendo rápidamente a 0 o 1.

• El parámetro B desplaza la sigmoide horizontalmente, mientras que el parámetro W controla la inclinación.

Aproximación de Funciones con Sigmoides

• Combinando sigmoides mediante desplazamientos y transformaciones, se pueden crear funciones escalón.

• Al encontrar dos sigmoides con diferentes desplazamientos verticales, se logra aproximar funciones complejas.

Selectores y Pesos en la Arquitectura

• Las regiones formadas por pares complementarios de sigmoides se conocen como selectores.

• Los pesos entre las neuronas ocultas y de salida determinan la altura del escalón aproximado.

Implementación Práctica

• La red neuronal implementa las sigmoides como funciones de activación en las capas oculta y de salida.

• Para ampliar el rango de valores representables por las sigmoides, se utilizan factores multiplicativos.

Pesos y Neuronas en Redes Neuronales

Resumen de la Sección: En esta sección, se discute el control de los pesos en las redes neuronales para lograr la cancelación adecuada entre las neuronas.

Control de Pesos

• Se busca que los pesos se cancelen a la misma altura para garantizar un equilibrio entre las neuronas.

• Al sumar las salidas de varias sigmoides, se obtiene una curva que aproxima la función deseada.

• A través del ajuste de pesos, es posible aproximar cualquier función con cierta precisión.

• Durante el entrenamiento, se calculan gradientes y se actualizan los pesos para lograr la forma deseada en las sigmoides.

• La estrategia incluye dejar libre un solo peso para que la red aprenda eficientemente.

Entrenamiento y Selectores en Redes Neuronales

Resumen de la Sección: Aquí se aborda el proceso de entrenamiento y el uso de selectores en redes neuronales para mejorar la aproximación a funciones complejas.

Estrategias de Entrenamiento

• Fijar ciertos pesos facilita el entrenamiento al guiar a la red hacia resultados deseados.

• Ajustar valores como 20 o 2000 permite controlar la forma de salida de las sigmoides durante el entrenamiento.

• Dejar algunos pesos libres brinda flexibilidad en el modelado y ajuste fino durante el proceso.

Uso de Selectores

• Incrementar selectores mejora la aproximación a funciones complejas, pero exagerar puede llevar a sobreajuste (overfitting).

• La cantidad de selectores influye en cómo se forman las curvas resultantes, siendo crucial encontrar un equilibrio óptimo.

Parámetros y Aproximador Universal

Resumen de la Sección: Se profundiza en los parámetros involucrados en el proceso y cómo construir un aproximador universal efectivo.

Parámetros Clave

• El número excesivo de selectores puede conducir a overfitting; es esencial encontrar un equilibrio adecuado.

• Con un millón de selectores, hay millones de parámetros para entrenar, lo que requiere una gestión cuidadosa durante el proceso.

Construcción del Aproximador Universal

• Los desplazamientos son elementos clave que deben aprenderse durante el entrenamiento para mejorar la precisión del modelo.

Aproximador Universal y Múltiples Dimensiones

Resumen de la Sección: Se explora cómo funciona un aproximador universal en múltiples dimensiones y su importancia en predicciones precisas.

Funcionamiento Multidimensional

Resumen Detallado

Parámetros y Neuronas

• Se discute la relación entre los parámetros y las neuronas en un modelo. Se menciona que al cancelarse ciertos lados amarillos y rojos, se forma un escalón con altura opuesta.

• Con el aumento de electores, se multiplican los parámetros. Por ejemplo, con 4 selectores se obtienen 8 neuronas, y con 10 selectores se generan 60 parámetros.

• Cada neurona tiene tres parámetros (W, b, H), lo que lleva a una cantidad total de parámetros igual a 2 por 3 por el número de selectores.

Variables de Entrada y Sigmoides

• Cuando hay más de una variable de entrada, se trabajará con sigmoides en un espacio tridimensional. Cada neurona estará orientada en algún eje específico.

• Para trabajar con múltiples variables de entrada, se necesitan pares adicionales de selectores para generar escalones en diferentes direcciones.

Ajuste de Neuronas y Selectores

• Agregar una neurona requiere dos neuronas más para formar un único selector en tres dimensiones. Esto implica seleccionar señales específicas mediante ajustes en los pesos (W) y sesgos (B).

• Matemáticamente, al tener dos variables de entrada, se necesitan cuatro neuronas para crear un único selector en tres dimensiones.

Cantidad de Parámetros y Selectores

• La cantidad de selectores depende del tamaño muestral para entrenar el modelo. Un exceso o defecto puede afectar la eficacia del aprendizaje.

• La proporción adecuada entre la cantidad de selectores y muestras es crucial para evitar problemas como el sobreajuste o subajuste del modelo.

Redes Neuronales Convolucionales

Convolutional Neural Networks: Limitaciones y Alternativas

Resumen de la Sección: En esta sección, se discute sobre las limitaciones de las redes neuronales convolucionales y posibles alternativas para abordar estos desafíos.

Redes Convolucionales Pequeñas

• Se menciona un ejemplo de una red convolucional pequeña con 16 canales de 5x5, lo que resulta en una estructura compacta pero limitada en capacidad.

Limitación en Dimensiones

• Al reducir el espacio a 400 dimensiones en una capa densa, se evidencia la imposibilidad práctica de manejar redes con altas dimensiones debido a la memoria requerida.

Complejidad y Viabilidad

• Entrenar modelos con gran cantidad de parámetros es inviable en la práctica debido a los enormes requisitos de memoria, lo que hace que ciertas arquitecturas sean inmanejables.

Redes Neuronales: Aproximación y Capas

Resumen de la Sección: Aquí se profundiza en el concepto de aproximación universal por parte de las redes neuronales y cómo el número de capas influye en su capacidad predictiva.

Aproximación Universal

• Se discute la idea errónea común sobre las redes neuronales como aproximadores universales, destacando su capacidad para aproximar cualquier función mediante múltiples capas.

Importancia del Número de Capas

• La adición de capas permite refinar los modelos, mejorando su capacidad predictiva al ajustarse más precisamente a los datos. Sin embargo, se destaca que agregar capas no siempre garantiza mejor rendimiento.

Modelos como Regresión

• Las redes neuronales pueden considerarse modelos de regresión que aprenden a ajustarse óptimamente a los datos disponibles, permitiendo adaptarse eficazmente a diferentes problemas.

Desafíos y Simplificaciones en Redes Neuronales

Resumen de la Sección: Se aborda la complejidad creciente al aumentar las dimensiones en redes neuronales y cómo simplificarlas puede ser crucial para mantener su viabilidad.

Simplificación Inicial