Определение 12.1:
Пусть $x_1,\ldots,x_n$ - выборка над случайной величиной $\xi$,
тогда любая случайная величина $\tilde\theta(x_1,\ldots,x_n)$ не зависящая от параметров $\theta_1,\ldots,\theta_n$ называется статистикой.
Статистика используемая для оценки параметра некорого распределения называется оценкой этого параметра.
Определение 12.2:
Пусть $\Theta$ - множество значений параметра $\theta$,
$E_{\theta}\tilde\theta$ - математическое ожидание оценки $\tilde\theta(x_1,\ldots,x_n)$ при фиксированном значении параметра распределения $F(x,\theta)$.
Тогда оценка $\tilde\theta$ называется несмещённой если для любого $\theta\in\Theta$ $E_{\theta}\tilde\theta=\theta$.
Функция $b(\theta):\Theta\mathbb\to{R}$ такая, что для любого $\theta\in\Theta$ $b(\theta)=E_{\theta}\tilde\theta-\theta$ называется смещением оценки $\tilde\theta$.
Пример 12.1:
Пусть случайная величина $\xi$ распределена нормально, т. е. $\xi\sim{N}(a,\sigma^2)$.
В задаче 11.1 было показано, что
$$E\overline{x}=E\xi=a$$
$$E(S^2)=\frac{(n-1)}{n}D\xi=\frac{(n-1)}{n}\sigma^2.$$
То есть выборочное среднее $\overline{x}$ является несмещённой оценкой для $a$, а выборочная дисперсия $S^2$ - смещённая оценка для $\sigma^2$.
Определение 12.3:
Оценка $\tilde\theta$ параметра $\theta$ называется состоятельной, если для любого $\theta\in\Theta$
$$\tilde\theta(x_1,\ldots,x_n)\xrightarrow[n\to\infty]{P}\theta,$$
или что тоже самое
$$\forall\varepsilon>0\left(P\{|\tilde\theta(x_1,\ldots,x_n)-\theta|>\varepsilon\}\xrightarrow[n\to\infty]{}0\right).$$
Пример 12.2:
В теореме 11.3 было показано, что для любого $k\in\mathbb{N}$
$$A_k\xrightarrow[n\to\infty]{P}\mu_k,\,M_k\xrightarrow[n\to\infty]{P}\nu_k.$$
В частности так как $A_1:=\overline{x}$, $M_2:=S^2$, $\mu_1:=E\xi$, $\nu_2:=D\xi$, то $\overline{x}$ и $S^2$ - состоятельные оценки для $E\xi$ и $D\xi$ соответственно.
Покажем, что выборочное среднее $\overline{x}$ не является состоятельной оценкой для параметра $\theta$ распределения Коши $K(\theta,0)$. Действительно,
\begin{multline*}
\frac1{2\pi}\int\limits_{-\infty}^{\infty}e^{-\theta|t|}e^{itx}dt=\frac1{2\pi}\int\limits_{-\infty}^0e^{\theta{t}}e^{-itx}dt+\frac1{2\pi}\int\limits_0^{\infty}e^{-\theta{t}}e^{-itx}dt=
\frac1{2\pi}\lim_{u\to-\infty}\left.\frac{e^{(\theta-ix)t}}{\theta-ix}\right|_{t=u}^0-\frac1{2\pi}\lim_{v\to\infty}\left.\frac{e^{-(\theta+ix)t}}{\theta+ix}\right|_0^{t=v}=\\=
\frac1{2\pi}\frac1{\theta-ix}+\frac1{2\pi}\frac1{\theta+ix}=\frac1{\pi}\frac{\theta}{x^2+\theta^2}\sim{K}(\theta,0)
\end{multline*}
Следовательно, по теореме 6.8 функция $e^{-\theta|t|}$
является характеристической функцией для распределения $K(\theta,0)$.
Тогда по п. п. 4, 5 теоремы 6.1 функция
$$\varphi_{\overline{x}}(t)=\prod_{i=1}^ne^{-\theta|t/n|}=e^{-\theta|t|}$$
является характеристической функцией выборочного среднего $\overline{x}$ над распределением $K(\theta,0)$.
Тогда в силу единственности характеристической функции (теорема 6.7)
выборочное среднее распределено по закону Коши $K(\theta,0)$ при любом колличестве элементов выборки $n$,
то есть $\overline{x}$ не может стремиться по вероятности к $\theta$ при $n\to\infty$.
Определение 12.4:
Величина математического ожидания $E(\tilde\theta-\theta)^2$ называется среднеквадратичной ошибкой оценки $\tilde\theta$ для параметра $\theta$.
Замечание 12.1:
\begin{multline*}
E(\tilde\theta-\theta)^2=E(\tilde\theta-E\tilde\theta+E\tilde\theta-\theta)^2=
E(\tilde\theta-E\tilde\theta)^2+2E((\tilde\theta-E\tilde\theta)(E\tilde\theta-\theta))+E(E\tilde\theta-\theta)^2=
D\tilde\theta+2(E\tilde\theta-\theta)E(\tilde\theta-E\tilde\theta)+(E\tilde\theta-\theta)^2=D\tilde\theta+b^2(\theta)
\end{multline*}
В частности для несмещённой оценки $b(\theta)\equiv0$ и $E(\tilde\theta-\theta)^2=D\tilde\theta$.
Теорема 12.1: Пусть $\xi$ случайная величина с плотностью распределения $p(x,\theta)$, $(x_1,\ldots,x_n)$ - выборка над $\xi$ тогда, если
Доказательство:
Обозначим набор переменных $x_1,\ldots,x_n$ как $\overline{x}$, тогда в силу независимости случайных величин в выборке
\begin{multline*}
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}\frac{\partial{p}(\overline{x};\theta)}{\partial\theta}dx_1\cdots{d}x_n=
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}\frac{\partial\prod_{i=1}^np(x_i,\theta)}{\partial\theta}dx_1\cdots{d}x_n=\\=
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}\sum_{i=1}^np(x_1,\theta)\cdots\frac{\partial{p}(x_i,\theta)}{\partial\theta}\cdots{p}(x_n,\theta)dx_1\cdots{d}x_n=\\=
\sum_{i=1}^n\int\limits_{-\infty}^{\infty}p(x_1,\theta)dx_1\cdots\int\limits_{-\infty}^{\infty}\frac{\partial{p}(x_i,\theta)}{\partial\theta}dx_i\cdots\int\limits_{-\infty}^{\infty}p(x_n,\theta)dx_n=0
\end{multline*}
Последнее равенство в силу того что для любого $i\in\overline{1,n}$ $i$-тый множитель в $i$-том слагаемом равен нулю.
При этом продифференцировав по $\theta$ равенство $E\tilde\theta=\theta+b(\theta)$ получим
$$\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}\tilde\theta(\overline{x})\frac{\partial{p}(\overline{x};\theta)}{\partial\theta}dx_1\cdots{d}x_n=1+b'(\theta).$$
Вычитая из этого равенства равенство полученное выше умноженное на $\theta$ получим
$$\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}(\tilde\theta-\theta)\frac{\partial{p}(\overline{x};\theta)}{\partial\theta}dx_1\cdots{d}x_n=1+b'(\theta).$$
Умножми и разделим левую часть на $p(\overline{x};\theta)$
$$
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}(\tilde\theta-\theta)\sqrt{p(\overline{x};\theta)}\frac{\partial{p}(\overline{x};\theta)}{\partial(\theta)}\frac1{p(\overline{x};\theta)}\sqrt{p(\overline{x};\theta)}dx_1\cdots{d}x_n=
1+b'(\theta)
$$
Из неравенства Коши-Буняковского на пространстве непрерывных функций
($\int{f}^2\int{g}^2\geq\left(\int{f}g\right)^2$ - пример 15.1.1 MA) следует
$$
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}(\tilde\theta-\theta)^2p(\overline{x};\theta)dx_1\cdots{d}x_n\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}\left(\frac{\partial\ln{p}(\overline{x};\theta)}{\partial\theta}\right)^2p(\overline{x};\theta)dx_1\cdots{d}x_n\geq(1+b'(\theta))^2.
$$
Обозначим второй множитель левой части неравенства как $I_n(\theta)$, тогда
$$E(\tilde\theta-\theta)^2I_n(\theta)\geq(1+b'(\theta))^2.$$
Осталость доказать, что $I_n(\theta)=nI(\theta)$.
$$
E\frac{\partial\ln{p}(\overline{x};\theta)}{\partial\theta}=E\frac{\partial\ln\prod_{i=1}^n{p}(x_i,\theta)}{\partial\theta}=E\frac{\partial}{\partial\theta}\sum_{i=1}^n\ln{p}(x_i,\theta)=\sum_{i=1}^nE\frac{\partial\ln{p}(x_i,\theta)}{\partial\theta}
$$
Для любого $i\in\overline{1,n}$
$$
E\frac{\partial\ln{p}(x_i,\theta)}{\partial\theta}=\int\limits_{-\infty}^{\infty}\frac{\partial\ln{p}(x_i,\theta)}{\partial\theta}p(x_i,\theta)dx_i=\int\limits_{-\infty}^{\infty}\frac{\partial{p}(x_i,\theta)}{\partial\theta}dx_i=0,\quad(*)
$$
следовательно,
$$E\frac{\partial\ln{p}(\overline{x};\theta)}{\partial\theta}=0.\quad(**)$$
Тогда
\begin{multline*}
I_n(\theta)=\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}\left(\frac{\partial\ln{p}(\overline{x};\theta)}{\partial\theta}\right)^2p(\overline{x},\theta)dx_1\cdots{d}x_n=
E\left(\frac{\partial\ln{p}(\overline{x};\theta)}{\partial\theta}\right)^2=
D\frac{\partial\ln{p}(\overline{x};\theta)}{\partial\theta}=D\sum_{i=1}^n\frac{\partial\ln{p}(x_i,\theta)}{\partial\theta}=\\=
\sum_{i=1}^nD\frac{\partial\ln{p}(x_i,\theta)}{\partial\theta}=\sum_{i=1}^nE\left(\frac{\partial\ln{p}(x_i,\theta)}{\partial\theta}\right)^2=
\sum_{i=1}^n\int\limits_{-\infty}^{\infty}\left(\frac{\partial\ln{p}(\overline{x};\theta)}{\partial\theta}\right)^2p(x_i,\theta)dx_i=nI(\theta)
\end{multline*}
Здесь третье равенство в силу (**),
пятое в силу независимости элементов выборки и п. 6 теоремы 4.20, а шестое в силу (*).
Замечание 12.2:
Условия теоремы 12.1 называются условиями регулярности.
Определение 12.5:
Функция $I(\theta)$ из условий регулярности называется информацией по Фишеру полученной из одного наблюдения над случайной величиной $\theta$.
Функция $I_n(\theta)=nI(\theta)$ назывется информацией по Фишеру полученной из $n$ наблюдений (или из выборки объёма $n$) над случайной величиной $\theta$.
Следствие 12.1: Если оценка $\tilde\theta$ несмещённая и выполняются условия теоремы 12.1, то $$D\tilde\theta\geq\frac1{nI(\theta)}.$$
Доказательство:
Утверждение следует из теоремы 12.1 и замечания 12.1
Следствие 12.2: Условия регулярности для дискретного случая.
Пусть $\xi$ дискретная случайная величина с множеством значений $X$, распределение которой зависит от параметра $\theta$; $\tilde\theta$ - оценка параметра $\theta$,
множество значений котрого равно $\Theta$; $(y_1,\ldots,y_n)$ выборка над $\xi$. Для люого $x\in{X}$, $\theta\in\Theta$ обозначим $p(x,\theta):=P\{\xi=x,\theta\}$,
тогда если
Доказательство:
Следует из теоремы 12.1 и равенства
$$\int\limits_{-\infty}^{\infty}xdF_{\xi}(x)=\sum_{x\in{X}}xP\{\xi=x\}.$$
Пример 12.3: Пусть $$\xi\sim{p}(x,\theta):=\frac1{\sqrt{2\pi}\sigma}e^{-(x-\theta)^2/2\sigma^2},$$ значение $\theta:=E\xi$ неизвестно, значение $\sigma$ известно. Задача оценить $\theta$ по выборке объёма $n$ $(x_1,\ldots,x_n)$. Рассмотрим в качестве оценки выборочное среднее $\tilde\theta:=\overline{x}=\frac1{n}\sum_{i=1}^nx_i$. Проверим условия регулярности.
Определение 12.6:
Несмещённая оценка удовлетворяющая условиям регулярности называется эффективной, если для неё неравенство Рао-Крамера обращается в равенство.
Эффективная оценка для которой при $n\to\infty$ выполняется $D\tilde\theta=o(1/n)$ называется сверхэффективной.
Пример 12.4: Пусть $$\xi\sim{p}(x,\theta)=\frac1{\sqrt{2\pi\theta}}e^{-(x-\mu)^2/2\theta},$$ $E\xi=\mu$ известно, $\sigma^2=\theta$ - неизвестно. Задача: оценить $\theta$ по выборке объёма $n$ $(x_1,\ldots,x_n)$. В примере 12.1 показано, что $E(S^2)=((n-1)\sigma^2)/n\neq\sigma^2$, то есть оценка $S^2$ смещённая. Тогда оценка $$\overline{S}^2:=\frac{n}{n-1}S^2=\frac1{n-1}\sum_{i=1}^n(x_i-\overline{x})^2$$ несмещённая. Проверим условия регулярности для оценки $\overline{S}^2$ параметра $\theta:=\sigma^2$.
Задача 12.1:
Доказать, что для случайной величины $\xi\sim{N}(\theta,\mu)$
$$D\overline{S}^2=\frac{2\theta^2}{n-1}$$.
Пусть $\xi\sim{N}(0,1)$, тогда из примера 4.4 следует
$$D\xi^2=E\xi^4-(E\xi^2)^2=3\sigma^4-\sigma^4=2\sigma^4=2.$$
Так как $\xi_1^2+\cdots+\xi_n^2\sim\chi_n^2$, где для любого $i\in\overline{1,n}$ $\xi_i\sim{N}(0,1)$
(см. например Г. Крамер "Математические методы статистики" 1975 г. стр. 258) и случайные величины $\xi_1,\ldots,\xi_n$ независимы,
то дисперсия распределения $\chi_n^2$ равна $2n$.
$$\frac{n-1}{\theta}\overline{S}^2\sim\chi_{n-1}^2\Rightarrow\frac{(n-1)^2}{\theta^2}D\overline{S}^2=2(n-1)\Rightarrow{D}\overline{S}^2=\frac{2\theta^2}{n-1}$$
Доказательство первого соотношения это теорема Фишера
доказательство будет приведено в разделе "Доверительные интервалы".
Задача 12.2: Пусть $$\xi\sim{p}(x;\theta):=\begin{cases}e^{\theta-x},x\geq\theta \\ 0, x<\theta\end{cases},$$ $\tilde\theta=\tilde\theta(x_1,\ldots,x_n)=\min(x_1,\ldots,x_n)$ - оценка для $\theta$, $\varphi(x)$ - плотность распределения $\tilde\theta$.
Лемма 12.1: Неравенство Коши-Буняковского.
Пусть $\xi_1$ и $\xi_2$ не равные тождественно нулю случайные величины.
Неравенство $(E|\xi_1\xi_2|)^2\leq{E}\xi_1^2E\xi_2^2$ обращается в равенство тогда и только тогда,
когда случайные величины $|\xi_1|$ и $|\xi_2|$ линейно зависимы, то есть существуют $c_1,c_2\in\mathbb{R}/0$ такие, что
$c_1|\xi_1|+c_2|\xi_2|=0(P_{\text{пн.}})$.
Доказательство:
$\Rightarrow)$
Пусть $(E|\xi_1\xi_2|)^2=E\xi_1^2E\xi_2^2$, тогда для любых $u,v\in\mathbb{R}$
$$
E(u|\xi_1|+v|\xi_2|)^2=u^2E\xi_1^2+2uvE|\xi_1\xi_2|+v^2E\xi_2^2=
u^2E\xi_1^2+2uv\sqrt{E\xi_1^2E\xi_2^2}+v^2E\xi_2^2=\left(u\sqrt{E\xi_1^2}+v\sqrt{E\xi_2^2}\right)^2
$$
Положив $u:=1$, $v:=-\sqrt{E\xi_1^2}/\sqrt{E\xi_2^2}$, получим $E(u|\xi_1|+v|\xi_2|)^2=0$,
тогда по п. 3 теоремы 4.5 $u|\xi_1|+v|\xi_2|=0(P_{\text{пн.}})$.
$\Leftarrow)$
Обозначим $q:=-c_2/c_1$, тогда
$$\xi_1=-q\xi_2\Rightarrow\begin{cases}(E|\xi_1\xi_2|)^2=(E|-q\xi_2^2|)^2=q^2(E\xi_2^2)^2 \\ E\xi_1^2E\xi_2^2=E(q\xi_2)^2E\xi_2^2=q^2(E\xi_2^2)^2\end{cases}$$
Теорема 12.2: Несмещённая оценка $\tilde\theta$ параметра $\theta$ удовлетворяющая условиям регулярности является эффективной тогда и только тогда, когда функция правдоподобия $p(\overline{x};\theta)$ представима в виде $$e^{A(\theta)\tilde\theta+B(\theta)}H(\overline{x}),$$ где функции $A(\theta)$, $B(\theta)$ не зависят от наблюдений, а функция $H(\overline{x})$ не зависит от выбора $\theta$.
Доказательство:
$\Rightarrow)$ Обозначим
$$f(\overline{x};\theta):=(\tilde\theta-\theta)\sqrt{p(\overline{x};\theta)},$$
$$g(\overline{x};\theta):=\frac{\partial{p}(\overline{x};\theta)}{\partial\theta}\frac1{p(\overline{x};\theta)}\sqrt{p(\overline{x};\theta)}.$$
Тогда из доказательства теоремы 12.1 следует, что при обращении неравенства Рао-Крамера в равенство справедливо
$$
\left(\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}f(\overline{x};\theta)g(\overline{x};\theta)dx_1\cdots{d}x_n\right)^2=
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}f^2(\overline{x};\theta)dx_1,\cdots{d}x_n\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}g^2(\overline{x};\theta)dx_1\cdots{d}x_n
$$
или
$$\left(Ef(\overline{x};\theta)g(\overline{x};\theta)\right)^2=Ef^2(\overline{x};\theta)Eg^2(\overline{x};\theta),$$
тогда по лемме 12.1 (?) функции $f(\overline{x};\theta)$ и $g(\overline{x};\theta)$ (или их модули?) линейно связаны,
то есть существует функция $K(\theta)$ такая, что
$$(\tilde\theta-\theta)\sqrt{p(\overline{x};\theta)}=K(\theta)\frac{\partial{p}(\overline{x};\theta)}{\partial\theta}\frac1{p(\overline{x};\theta)}\sqrt{p(\overline{x};\theta)}$$
$$\frac{\partial\ln{p}(\overline{x};\theta)}{\partial\theta}=\frac1{K(\theta)}(\tilde\theta-\theta).$$
Проинтегрировав по $\theta$ получим
$$\ln{p}(\overline{x};\theta)=\tilde\theta\int\frac1{K(\theta)}d\theta-\int\frac{\theta}{K(\theta)}d\theta,$$
следовательно, положив
$$A(\theta):=\int\frac1{K(\theta)}d\theta;\,B(\theta):=\int\frac{\theta}{K(\theta)}d\theta$$
получим
$$p(\overline{x};\theta)=e^{A(\theta)\tilde\theta+B(\theta)}.$$
$\Leftarrow)$ См. задачу 12.3.
Задача 12.3:
Доказать достаточность для теоремы 12.2.
Пусть существуют $A(\theta)$, $B(\theta)$, $H(\overline{x})$ такие, что
$$p(\overline{x};\theta)=e^{A(\theta)\tilde\theta+B(\theta)}H(\overline{x}).$$
Из доказательства теоремы 12.1 следует, что неравество Рао-Крамера обращается в равенство при обращении в равенство неравенства
$$
\left(\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}(\tilde\theta-\theta)\frac{\partial{p}(\overline{x};\theta)}{\partial\theta}dx_1\cdots{d}x_n\right)^2\leq
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}(\tilde\theta-\theta)^2p(\overline{x};\theta)dx_1\cdots{d}x_n\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}\left(\frac{\partial\ln{p}(\overline{x};\theta)}{\partial\theta}\right)^2p(\overline{x};\theta)dx_1\cdots{d}x_n.
$$
Подставляя сюда выражение для $p(\overline{x};\theta)$ получим
\begin{multline*}
\left(\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}(\tilde\theta-\theta)(\tilde\theta{A}'(\theta)+B'(\theta))p(\overline{x};\theta)dx_1\cdots{d}x_n\right)^2\leq
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}(\tilde\theta-\theta)^2p(\overline{x};\theta)dx_1\cdots{d}x_n
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}(\tilde\theta{A}'(\theta)+B'(\theta))^2p(\overline{x};\theta)dx_1\cdots{d}x_n
\end{multline*}
или
$$\left(E(\tilde\theta-\theta)(\tilde\theta{A}'(\theta)+B'(\theta))\right)^2\leq{E}(\tilde\theta-\theta)^2E(\tilde\theta{A}'(\theta)+B'(\theta))^2.\quad(*)$$
Так как
\begin{multline*}
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}p(\overline{x};\theta)dx_1\cdots{d}x_n=1\Rightarrow
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}\frac{\partial{p}(\overline{x};\theta)}{\partial\theta}dx_1\cdots{d}x_n=0\Rightarrow\\\Rightarrow
\int\limits_{-\infty}^{\infty}\cdots\int\limits_{-\infty}^{\infty}(\tilde\theta{A}'(\theta)+B'(\theta))p(\overline{x};\theta)dx_1\cdots{d}x_n={A}'(\theta)E\tilde\theta+B'(\theta)=0\Rightarrow{B}'(\theta)=-\theta{A}'(\theta),
\end{multline*}
следовательно, случайные величины $\tilde\theta-\theta$ и $\tilde\theta{A}'(\theta)+B'(\theta)$ линейно связаны.
Тогда по лемме 12.1 неравенство $(*)$ обращается в равенство, то есть оценка $\tilde\theta$ эффективна.
previous contents next