A.1 Inversibilité de la matrice de variance-covariance et indépendance linéaire des composantes

À retenir

Si \(X\) est une variable aléatoire à valeurs dans \(\mathbb{R}^d\), où \(d\) est un entier naturel strictement positif, alors la matrice de variance covariance de \(X\) est inversible si et seulement si les \(d\) composantes de \(X\) et la variable aléatoire constante égale à 1 sont linéairement indépendantes.

On peut considérer dans un premier temps l’implication directe : on suppose pour cela que la matrice \(\mathcal{V}(X)\) est inversible, c’est-à-dire que la seule combinaison linéaire nulle de ses lignes est la combinaison triviale dont tous les coefficients sont égaux à 0. On considère alors une combinaison linéaire constante des composantes, c’est-à-dire \(d\) nombres réels \(\lambda_1\) à \(\lambda_d\), et un nombre réel \(\alpha\) tels que \(\sum_{i=1}^d \lambda_i X_i=\alpha\). Pour tout \(j\) pris dans \(\{1, \dots, d\}\), la bilinéarité de la covariance entraîne \(\sum_{i=1}^d \lambda_i \mathcal{C}(X_i, X_j)=0\). Mais ce terme est également la \(j\)-ème composante de la combinaison linéaire des \(d\) lignes de \(\mathcal{V}(X)\) avec les coefficients \(\lambda_1\) à \(\lambda_d\). En d’autres termes, cette combinaison linéaire est nulle, donc l’inversibilité de \(\mathcal{V}(X)\) implique qu’elle est triviale, c’est-à-dire que tous les \(\lambda_i\) pour \(i\) pris dans \(\{1,\dots,d\}\) sont nuls. Par conséquent la seule combinaison linéaire nulle des \(X_i\) est la combinaison triviale, c’est-à-dire que les variables aléatoires \(X_i\) et la variable aléatoire constante égale à 1 sont linéairement indépendantes.

Réciproquement, on peut considérer l’implication indirecte : on suppose à cet effet que la seule combinaison linéaire constante des variables aléatoires \(X_i\) est la combinaison linéaire triviale. On considère une combinaison linéaire nulle des lignes de \(\mathcal{V}(X)\) : on dispose donc de \(d\) nombres réels \(\lambda_1\) à \(\lambda_d\) tels que pour tout \(j\) pris dans \(\{1, \dots, d\}\), \(\sum_{i=1}^d \lambda_i \mathcal{C}(X_i, X_j)=0\). On peut alors considérer la variable aléatoire réelle unidimensionnelle \(Y=\sum_{i=1}^d \lambda_i X_i\). Par bilinéarité de la covariance, on a : \[\mathcal{V}(Y)=\sum_{(i,j)\in\{1,\dots,d\}^2} \lambda_i \lambda_j \mathcal{C}(X_i, X_j)\] En réarrangeant les termes de cette somme, il vient : \[\mathcal{V}(Y)=\sum_{j=1}^d \lambda_j \left(\sum_{i=1}^d \lambda_i \mathcal{C}(X_i, X_j)\right)\] Le terme entre parenthèse est une combinaison linéaire des covariances avec les coefficients \(\lambda_i\), supposée nulle par définition des nombres réels \(\lambda_i\). Ainsi, \(Y\) est une variable aléatoire réelle de variance nulle : elle est donc constante. Par conséquent, tous les nombres réels \(\lambda_i\) sont nuls, ce qui achève la preuve.