Metoda celor mai mici pătrate # 151; Metoda de a găsi parametrii optimi ai regresiei liniare. astfel încât suma erorilor pătratice (a reziduurilor de regresie) este minimă. Metoda este de a minimiza distanța euclidiană - \ mathbf \ | „/> între doi vectori - valori vectoriale reconstruite ale variabilei dependente și vectorul valorilor reale ale variabilei dependente.
Declarația problemei
Sarcina metoda celor mai mici pătrate constă în selectarea unui vector „/> care minimizează eroarea - \ mathbf \ | ^ 2“ />. Această eroare este distanța de la vectorul „/> la un vector“ />. Vector „/> se află în prostanstvo coloane din matrice ca“ /> este o combinație liniară a coloanelor acestei matrice cu coeficienți. Găsirea unor soluții „/> prin metoda celor mai mici pătrate este echivalentă cu problema găsirii unui punct = A \ mathbf“ />, care se află cel mai apropiat de „/> și stocate astfel, în spațiul de coloane ale matricei. Astfel, vectorul“ /> ar trebui să fie de proiecție " /> în spațiul coloanei și vectorul rezidual - \ mathbf „/> trebuie să fie ortogonale acestui spațiu. Ortogonalitatea este ca fiecare vector în spațiul coloanei este o combinație liniară de coloane cu anumiți coeficienți, și anume, un vector „/> Pentru toate în spațiu.“ />, Acești vectori trebuie să fie perpendicular diferența> - \ mathbf „/>:Deoarece această ecuație trebuie să dețină pentru orice vector „/>, se
Decizia privind metoda celor mai mici pătrate sistem inconsistent = \ mathbf „/>, format din ecuații cu necunoscute este o ecuație
care se numește o ecuație normală. În cazul în care coloanele matricei sunt liniar independente, atunci matricea este reversibilă și singura soluție
Proiecția vectorului „/> la spatiul are forma de coloane
Matricea A ^ T „/> numita matrice vector de proiectare“ /> pentru coloanele matricei spațiu. Această matrice are două proprietăți principale: este idempotente și simetrice. Reciproca este de asemenea adevărat: o matrice care are aceste două proprietăți este un design matrice pe coloanele sale spațiale.
EXEMPLU construirea de regresie liniară
set de eșantionare # 151; tabel
Având în vedere modelul de regresie # 151; polinom pătratic
Modelul atribuit este liniar. Pentru a găsi valoarea optimă a vectorului parametrului = \ Langle \ rangle ^ T „/> efectuate următoarele substituții:
Apoi, matricea variabilă liberă a permutări valorile vor fi sub forma
Set model de criterii de calitate: funcția de eroare
Aici, vectorul = \ Langle „/>. Este necesară pentru a găsi astfel de parametri“ />, ceea ce ar oferi un minim al acestei funcționale,
Este necesar de a găsi astfel de parametri „/>, care oferă un minim # 151; normale - reziduuri \ mathbf „/>.
Pentru a găsi funcția reziduală minimă necesită echivalarea derivatelor la zero. Derivatele funcției „/> se completează până
Această expresie coincide cu ecuația normală. Soluția la această problemă trebuie să satisfacă sistemul de ecuații liniare
La primirea soldului puteți complot funcția de găsit.
Când contactați matricea „/> se presupune că matricea este non-singular și prost condiționat. Pentru informații cu privire la modul de a lucra cu matrici bolnavi condiționat, a se vedea. Articolul descompunere Singular.