Inégalités de Concentration et Loi des Grands Nombres
Probabilités, Conditionnement et Indépendance
Inégalités et Loi des Grands Nombres
Inégalité de Bienaymé-Tchebychev
Pour toute variable aléatoire $X$ admettant une espérance et une variance, et pour tout réel $\delta > 0$ :
$$P(|X - E(X)| \geq \delta) \leq \frac{V(X)}{\delta^2}$$
Inégalité de concentration
En appliquant Bienaymé-Tchebychev à la moyenne $M_n$ d'un échantillon :
$$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$
Le membre de droite tend vers 0 quand $n \to +\infty$.
Loi des Grands Nombres
Théorème : soit $M_n$ la moyenne d'un échantillon de taille $n$ d'une variable $X$ d'espérance $E(X)$. Pour tout $\delta > 0$ :
$$\lim_{n \to +\infty} P(|M_n - E(X)| \geq \delta) = 0$$
Démonstration : par le théorème des gendarmes, car :
$$0 \leq P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2} \xrightarrow[n \to +\infty]{} 0$$
Interprétation
Ce résultat justifie l'approche fréquentiste des probabilités : pour un échantillon suffisamment grand, la moyenne observée $M_n$ converge vers l'espérance théorique $E(X)$.
Application pratique
Pour estimer $E(X)$ avec une précision $\delta$ et un seuil de confiance $1 - \alpha$, il faut :
$$n \geq \frac{V(X)}{\alpha \, \delta^2}$$