Regresión Lineal y Mínimos Cuadrados Ordinarios | DotCSV

Introducción a la Regresión Lineal

¿Por qué estudiar regresión lineal?

• El modelo de regresión lineal es fundamental para aprender estadística y machine learning, además de ser sencillo de comprender.

• Se utilizará como base para entender conceptos que serán útiles en futuros vídeos sobre redes neuronales.

Contexto práctico

• Se presenta un escenario donde un investigador busca vivienda y se pregunta sobre la relación entre el precio medio de las viviendas y el número de habitaciones.

• A través de datos reales, se observa una tendencia: a mayor número de habitaciones, mayor es el valor de la vivienda.

Construcción del Modelo

Trazado de la línea

• Al graficar los datos, se decide trazar una línea que represente esta tendencia, lo cual resulta en un modelo predictivo.

• Este modelo permite predecir valores incluso para datos no observados, como el precio medio con 6.5 habitaciones.

Algoritmo automático

• Se plantea la necesidad de un algoritmo que dibuje automáticamente esta línea a partir de los datos disponibles.

Matemáticas detrás del Modelo

Estructura matemática

• En un espacio bidimensional, una recta se define por su término independiente (intersección con el eje Y) y su pendiente (inclinación).

Complejidad del mundo real

• La realidad es más compleja; factores adicionales como criminalidad o cercanía a centros comerciales también afectan el valor de las viviendas.

Regresión Lineal Múltiple

Expansión del modelo

• Introducir múltiples variables transforma el modelo simple en uno múltiple, donde se busca ajustar un plano en lugar de una línea.

Representación vectorial

• Las características pueden representarse mediante matrices donde cada columna representa una variable y cada fila corresponde a mediciones específicas.

Eficiencia en Programación

Simplificación mediante vectores

• Al usar notación vectorial, las ecuaciones son más elegantes y permiten entrenar modelos más eficientemente utilizando GPUs especializadas.

Aplicabilidad universal

Método de Cuadrados Ordinarios y su Aplicación

Introducción al Método

• Se presenta el método de cuadrados ordinarios, que se basa en evaluar la calidad de un modelo a través del error entre los valores predichos y los reales.

• El error se define como la distancia entre el valor predicho por el modelo y el valor real, lo que lleva a considerar una función de coste basada en estas distancias.

Función de Coste

• La función de coste utilizada es el error cuadrático medio, donde se elevan al cuadrado las distancias para penalizar más fuertemente los errores mayores.

• Cada área representada en la animación ilustra cómo se asigna el error a cada punto, sumando todos estos errores para encontrar la mejor recta.

Optimización del Modelo

• Se busca manipular parámetros (pendiente e intercepto) para minimizar la suma de cuadrados. Esto implica derivar la función de coste y establecerla igual a cero.

• Aunque no es necesario entender todas las ecuaciones, es crucial saber que hemos minimizado nuestra función de coste para obtener una ecuación clave que permite resolver nuestro problema.

Implementación Práctica

• La ecuación resultante permite calcular automáticamente los valores óptimos de los parámetros utilizando matrices.

• Sin embargo, este método puede ser ineficiente debido a la necesidad de invertir matrices, lo cual puede ser costoso computacionalmente.

Métodos Alternativos

• Se introduce un segundo método iterativo llamado descenso del gradiente, que busca reducir progresivamente el error sin requerir fórmulas directas.