Alfredo Maussa Profile picture

Nov 29, 2022, 9 tweets

Optimización con matrices: Ajuste por mínimos cuadrados.

Ha estado de moda la optimización con redes neuronales y eso, pero cuando se tienen pocos datos es más sencillo y entendible hacer un ajuste lineal de forma tradicional.
#Maths

La mayoría de personas se remite a formulas poco entendibles de estadística, como:

Por si quieren ver el video (Ecuación de correlación lineal y coeficiente de correlación (Ejercicio 1)):

Existe una alternativa con algebra lineal, es usando mínimos cuadrados con matrices.

Todo lo que se tiene que hacer es:

1) Defines el modelo que quieres ajustar.

Para una recta sería y=m*x+b

Pero personalmente encuentro más intuitivo usar a*x+b*y=1, ya que esta es la fórmula de un plano con su normal (a,b).

Además permite definir la matriz de forma más nemotécnica. Poniendo los puntos en fila.

Para resolver el problema de optimización es necesario escribir las ecuaciones de cada punto de forma matricial.

Para 'n' puntos, donde definimos 'A', 'x' y 'b' para simplificar notación.

A continuación: La fórmula para encontrar la solución (a,b).

La recta que mejor se acerca todos los puntos está dada por:

El primer paso solo hace más fácil de recordar, que es solo multiplicar a ambos lados por la matriz traspuesta y despejar.

A esa parte se le conoce como "Pseudoinversa de Moore-Penrose"

Explicación de por qué esto minimiza la diferencia de cuadrados:

Share this Scrolly Tale with your friends.

A Scrolly Tale is a new way to read Twitter threads with a more visually immersive experience.
Discover more beautiful Scrolly Tales like this.

Keep scrolling