Эмпирическое распределение

Выборочная (эмпири́ческая) фу́нкция распределе́ния в математической статистике - это приближение теоретической функции распределения, построенное с помощью выборки из него.

Определение

Пусть $X_1,\ldots, X_n,\ldots$ - выборка из распределения, задаваемого функцией распределения F(x). Будем считать, что $X_i,\; i\in \mathbb{N}$ - независимые случайные величины, определённые на некотором пространстве элементарных исходов Ω. Пусть $x \in \mathbb{R}$. Определим случайную величину $\hat{F}(x):\Omega \to \mathbb{R}$ следующим образом:

$\hat{F}(x) = \frac{1}{n}\sum\limits_{i=1}^n \mathbf{1}_{\{X_i \le x\}}$,

где $\mathbf{1}_A$ - индикатор события A. Таким образом выборочная функция распределения в точке x равна относительной частоте элементов выборки, не превосходящих значение x. Случайная величина $\hat{F}(x)$ называется выборочной функцией распределения выборки $X_1,\ldots,X_n$.

Основные свойства

• Пусть зафиксирован элементарный исход $\omega \in \Omega$. Тогда $\hat{F}(x,\omega)$ является функцией распределения дискретного распределения, задаваемого следующей функцией вероятности:

$p(x_i) = N_{x_i}, \; i = 1,\ldots, n$,

где x_i = X_i(ω), а $N_{x} = \sum\limits_{j=1}^n \mathbf{1}_{\{x = x_j\}}$ - количество элементов выборки, равных x. В частности, если все элементы выборки различны, то $N_{x_i} = 1,\; \forall i$.

• Математическое ожидание этого распределения имеет вид:

$\sum\limits_{i=1}^n x_i N_{x_i} = \bar{X}(\omega)$.

Таким образом выборочное среднее - это теоретическое среднее выборочного распределения.

• Аналогично, выборочная дисперсия - это теоретическая дисперсия выборочного распределения.

• Случайная величина $n \hat{F}(x)$ имеет биномиальное распределение:

$n \hat{F}(x) \sim \mathrm{Bin}(n,F(x))$.

• Выборочная функция распределения $\hat{F}(x)$ является несмещённой оценкой функции распределения F(x):

$\mathbb{E}\left[\hat{F}(x)\right] = F(x)$.

• Дисперсия выборочной функции распределения имеет вид:

$\mathrm{D}\left[\hat{F}(x)\right] = \frac{F(x)(1-F(x))}{n}$.

• Согласно усиленному закону больших чисел, выборочная функция распределения сходится почти наверное к теоретической функции распределения:

$\hat{F}(x) \to F(x)$ почти наверное при $n \to \infty$.

• Выборочная функция распределения является асимптотически нормальной оценкой теоретической функции распределения. Если $0<F(x)<1,\; \forall x \in \mathbb{R}$, то

$\sqrt{n}\left(\hat{F}(x) - F(x)\right) \to \mathrm{N}\left(0,F(x)(1-F(x))\right)$ по распределению при $n \to \infty$.

См.также

• Гистограмма (статистика);
• Теорема Гливенко — Кантелли;
• Теорема Колмогорова.