A.11 Comportement asymptotique de l’estimateur des moindres carrés ordinaires

À retenir

Lorsque le nombre d’observations tend vers l’infini, la loi de l’estimateur des moindres carrés ordinaires s’identifie à une loi normale multidimensionnelle centrée (c’est-à-dire d’espérance nulle) et de matrice de variance-covariance (i) proportionnelle à l’inverse du nombre d’observations et (ii) à un terme qui ne dépend que de la distribution jointe des variables dépendantes et indépendantes.

On peut revenir à l’expression de \(\hat{\beta}\) : \[\begin{align} \hat{\beta} &= \left(\frac{1}{n} \sum_{i=1}^n X_i X_i'\right)^{-1} \left(\frac{1}{n} \sum_{i=1}^n X_i Y_i\right) \nonumber \\ &= \left(\frac{1}{n} \sum_{i=1}^n X_i X_i'\right)^{-1} \left(\frac{1}{n} \sum_{i=1}^n X_i \{X_i' \beta + \epsilon_i\}\right) \nonumber \\ &= \beta + \left(\frac{1}{n} \sum_{i=1}^n X_i X_i'\right)^{-1} \left(\frac{1}{n} \sum_{i=1}^n X_i \epsilon_i\right) \nonumber \end{align}\] où la première égalité exprime la définition de \(\hat{\beta}:=(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}\), la seconde découle de l’expression de la variable dépendante en fonction des variables dépendantes et du résidu. Par conséquent : \[\sqrt{n}(\hat{\beta}-\beta) = \left(\frac{1}{n} \sum_{i=1}^n X_i X_i'\right)^{-1} \sqrt{n} \left(\frac{1}{n} \sum_{i=1}^n X_i \epsilon_i - \mathbb{E}[X\epsilon]\right)\] puisque \(\mathbb{E}[X\epsilon]=0\) par définition. Le premier terme de ce produit s’identifie quand le nombre d’observations devient très grand avec \(\mathbb{E}[XX']^{-1}\). En vertu du théorème central limite, la loi du second terme de ce produit s’identifie quand le nombre d’observations devient très grand à la loi normale multidimensionnelle de dimension \(d\) centrée de matrice de variance-covariance \(\mathcal{V}(X\epsilon)=\mathbb{E}[XX'\epsilon^2]\). En définitive, la loi de \(\sqrt{n}(\hat{\beta}-\beta)\) s’identifie quand le nombre d’observations tend vers l’infini à la loi normale multidimensionnelle de dimension \(d\) centrée de matrice de variance-covariance \(\mathbb{E}[XX']^{-1}\mathbb{E}[XX'\epsilon^2]\mathbb{E}[XX']^{-1}\).