Inégalités de Concentration et Loi des Grands Nombres
Probabilités, Conditionnement et Indépendance
Inégalités et Loi des Grands Nombres
Inégalité de Bienaymé-Tchebychev
Pour toute variable aléatoire $X$ admettant une espérance et une variance, et pour tout réel $\delta > 0$ :
$$P(|X - E(X)| \geq \delta) \leq \frac{V(X)}{\delta^2}$$
Inégalité de concentration
En appliquant Bienaymé-Tchebychev à la moyenne $M_n$ d'un échantillon :
$$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$
Le membre de droite tend vers 0 quand $n \to +\infty$.
Loi des Grands Nombres
Théorème : soit $M_n$ la moyenne d'un échantillon de taille $$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$0 d'une variable $$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$1 d'espérance $$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$2. Pour tout $$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$3 :
$$\lim_{n \to +\infty} P(|M_n - E(X)| \geq \delta) = 0$$
Démonstration : par le théorème des gendarmes, car :
$$0 \leq P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2} \xrightarrow[n \to +\infty]{} 0$$
Interprétation
Ce résultat justifie l'approche fréquentiste des probabilités : pour un échantillon suffisamment grand, la moyenne observée $$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$4 converge vers l'espérance théorique $$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$5.
Application pratique
Pour estimer $$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$6 avec une précision $$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$7 et un seuil de confiance $$P(|M_n - E(X)| \geq \delta) \leq \frac{V(X)}{n\delta^2}$$8, il faut :
$$n \geq \frac{V(X)}{\alpha \, \delta^2}$$