2. La méthode de régression par les moindres carrés (1/2)

La méthode permettant d'ajuster une fonction à un jeu de données contenant des données pour deux variables ou plus en utilisant le critère de minimisation de la somme des carrés des résidus est appelée " méthode des moindres carrés ". Si nous ajustons une fonction d'équation b1·X + b0 = Y + ε aux données, nous pouvons écrire une équation pour chaque paire d'observations. Ainsi, si nous avons N paires d'observations, nous obtiendrons N équations d'observations :

b 1 · x 1 + b 0 = y 1 +ε b 1 · x 2 + b 0 = y 2 +ε . . . b 1 · x N + b 0 = y N +ε

Pour ces équations, nous voulons trouver b0 et b1, sachant que (X1, Y1), (X2, Y2), …, (XN, YN) sont les paires de valeurs observées des données. Il est habituel qu'aucun point représentant une paire de données ne se situe exactement sur la meilleure droite ajustée aux données, mais que chacun d'entre eux se caractérise par un résidu respectivement positif ou négatif selon que le modèle sous-estime ou surestime la variable y. Nous allons trouver le meilleur ajustement en minimisant une fonction coût qui est la somme des carrés des résidus.

Vu la forme des équations ci-dessus, chaque résidu a pour équation

ε i = y i − b 1 · x i − b 0

Ainsi, le carré des résidus s'exprime selon l'équation

ε i 2 = ( y i − b i · x i − b 0 ) 2 = y i 2 −2 b 1 b 0 y i −2 b 0 y i + b 1 2 x i 2 +2 b 0 b 1 x 1 + b 0 2

Si on exprime les deux dérivées partielles de ε2 par rapport à b1 et b0 (lisez aussi le Supplément 1 du SEOS tutoriel Time Series Analysis), on obtient

δ ε 2 δ b 1 =−2 x i y i +2 b 1 x i 2 +2 b 0 x i

et

δ ε 2 δ b 0 =−2 y i +2 b 1 x i +2 b 0

L'annulation de ces dérivées partielles permet de trouver les valeurs de b1 et b0 qui minimisent (ou maximisent) la fonction coût, soit la somme des carrés des résidus. Chaque dérivée partielle nous donne une équation, il y a ainsi deux équations pour résoudre les deux inconnues. En créant ces équations, enlevez le 2 de chaque équation différentielle et additionnez les N équations pour obtenir

∑ xy − b 1 ∑ x 2 − b 0 ∑ x =0 ∑ y − b 1 ∑ x −N b 0 =0

ou

b 1 ∑ x 2 + b 0 ∑ x = ∑ xy b 1 ∑ x +N b 0 = ∑ y