Определение 13.1:
Всякое предположение о функции распределения случайной величины или её свойствах называется статистической гипотезой.
Если статистическая гипотеза однозначно определяет функцию распределения, то она называется простой,
в противном случае статистическая гипотеза называется сложной.
Пример 13.1:
Пусть
$$\xi\sim\begin{pmatrix}1, & 0 \\ p, & 1-p\end{pmatrix},$$
тогда предположение $p=1/2$ есть простая статистическая гипотеза о распределении случайной величины $\xi$,
а предположение $p>1/2$ - сложная статистическая гипотеза о распределении случайной величины $\xi$.
Пример 13.2:
Пусть $\xi\sim{N}(\mu,\sigma^2)$, тогда предположение $\mu=0$, $\sigma^2=1$ есть простая статистическая гипотеза о распределении случайной величины $\xi$,
а предположение $\mu=0$ - сложная статистическая гипотеза о распределении случайной величины $\xi$.
Определение 13.2:
Правило по которому на основании выборки $(X_1,\ldots,X_n)$ принимается или
отвергается статистическая гипотеза называется статистическим критерием значимости или просто критерием.
Пусть $R$ - выборочное пространство (т. е. множество всех возможных значений выборки); $R_0$, $R_1$ такие,
что $R=R_0\sqcup{R}_1$ и статистическая гипотеза $H_1$ принимается тогда и только тогда,
когда $(X_1,\ldots,X_n)\in{R}_1$, тогда множество $R_1$ назыается критической областью статистической гипотезы $H_1$.
Определение 13.3:
Пусть $(X_1,\ldots,X_n)$ выборка над $\xi\sim{F}(x;\theta)$, $\Theta$ множество всех значений параметра $\theta$, $\Theta_0\subset\Theta$.
Гипотеза $H_0$ гласит, что $\theta\in\Theta_0$, гипотеза $H_1$, что $\theta\notin\Theta_0$. Если
$(X_1,\ldots,X_n)\in{R}_0$, то принимается гипотеза $H_0$, если $(X_1,\ldots,X_n)\in{R}_1$, то принимается гипотеза $H_1$, тогда вероятност
$$\alpha(\theta):=p(H_1/H_0)=p((X_1,\ldots,X_n)\in{R}_1/H_0)$$
того что значение выборки содержится в $R_1$, но $\theta\in\Theta_0$, называется ошибкой первого рода.
Вероятность
$$\beta(\theta):=p(H_0/H_1)=p((X_1,\ldots,X_n)\in{R}_0/H_1)$$
называется ошибкой второго рода.
Функция
$$W_{R_1}(\theta):=\begin{cases}\alpha(\theta), & \theta\in\Theta_0 \\ 1-\beta(\theta), & \theta\notin\Theta_0\end{cases}$$
называется функцией мощности критерия $R_1$.
Если $W_{R_1}=0$, при $\theta\in\Theta_0$ и $W_{R_1}=1$ при $\theta\notin\Theta_0$,
то $\alpha(\theta)\equiv\beta(\theta)\equiv0$ и критерий $R_1$ называется совершенным.
Определение 13.4:
Пусть существует $\alpha\in[0,1]$ такое, что $\alpha(\theta)\leq\alpha$ для любого $\theta\in\Theta_0$, тогда $\alpha$ называется уровнем значимости критерия.
Критрий с критической областью $R_1$ и уровнем значимости $\alpha$ будем обозначать $R_{1,\alpha}$.
Замечание 13.1:
Если уровень значимости критерия (т. е. максимально допустимая ошибка первого рода) задан,
то среди всех возможных областей $R_1$ при которых достигается заданный уровень значимости,
надо выбирать такую, при которой минимизируется ошибка второго рода. То есть максимизируется функция $W_{R_1}(\theta)$ при $\theta\in\Theta/\Theta_0$.
Определение 13.5: Критерий $R_{1,\alpha}^*$ называется равномерно наиболее мощным чем критерий $R_{1,\alpha}$ если
Определение 13.6:
Критерий $R_{1,\alpha}^*$ называется равномерно наиболее мощным для гипотезы $H_0$ против альтернативы $H_1$,
если он равномерно наиболее мощен чем любой другой критерий для данной гипотезы.
Если $|\Theta/\Theta_0|=1$, то равномерно наиболее мощный критерий называется наиболее мощным.
Лемма 13.1: Лемма Неймона-Пирсона.
Пусть $p(x;\theta)$ плотность распределения случайной величины $\xi$. Множество значений $\theta$: $\{\theta_0,\theta_1\}$,
гипотеза $H_0$: $\theta=\theta_0$, гипотеза $H_1$: $\theta=\theta_1$. Обозначим
$p_0(x):=p(x;\theta_0)$, $p_1(x):=p(x;\theta_1)$, $(X_1,\ldots,X_n)$ - выборка над $\xi$,
$$L_0(x_1,\ldots,x_n):=\prod_{i=1}^np_0(x_i)$$
- функция правдободобия, если верна гипотеза $H_0$,
$$L_1(x_1,\ldots,x_n):=\prod_{i=1}^np_1(x_i)$$
- функция правдоподобия, если верна гипотеза $H_1$, положим
$$L(\overline{x}):=
\begin{cases}
L_1(\overline{x})/L_0(\overline{x}), & L_0(\overline{x})\neq0 \\
0, & L_0(\overline{x})=L_1(\overline{x})=0 \\
\infty, & L_0(\overline{x})=0,L_1(\overline{x})\neq0.
\end{cases}
$$
Вероятность ошибки первого рода равна $\alpha$, а $c_{\alpha}$ - это решение уравнения $p(L(x_1,\ldots,x_n)>c/H_0)=\alpha$ относительно $c$. Положим
$$R_{1,\alpha}:=\{(x_1,\ldots,x_n)\mid{L}(x_1,\ldots,x_n)>c_{\alpha}\},$$
тогда критерий $R_{1,\alpha}$ является наиболее мощным критерием.
Доказательство:
Пусть критическая область $S\neq{R}_{1,\alpha}$ такая, что вероятность ошибки первого рода $\alpha_S$ для неё не больше $\alpha$, то есть
$$\alpha_S:=p\{\overline{x}\in{S}/H_0\}=\int\limits_SL_0(\overline{x})d\overline{x}\leq\alpha=\int\limits_{R_{1,\alpha}}L_0(\overline{x})d\overline{x}.$$
Докажем, что вероятность ошибки второго рода $\beta_S$ для критической области $S$
не меньше чем вероятность ошибки второго рода $\beta$ для критической области $R_{1,\alpha}$.
Действительно
$$
1-\beta_S=p(\overline{x}\in{S}/H_1)=\int\limits_SL_1(\overline{x})d\overline{x}=\int\limits_{S/R_{1,\alpha}}L_1(\overline{x})d\overline{x}+\int\limits_{SR_{1,\alpha}}L_1(\overline{x})d\overline{x},
$$
аналогично
$$1-\beta=\int\limits_{R_{1,\alpha}/S}L_1(\overline{x})d\overline{x}+\int\limits_{SR_{1,\alpha}}L_1(\overline{x})d\overline{x}.$$
Из определения выбранного критерия следует, что
$$
\overline{x}\in{R}_{1,\alpha}/S\Rightarrow\overline{x}\in{R}_{1,\alpha}\Rightarrow\frac{L_1(\overline{x})}{L_0(\overline{x})}=
L(\overline{x})>c_{\alpha}\Rightarrow{L}_1(\overline{x})>c_{\alpha}L_0(\overline{x}),
$$
аналогично
$$\overline{x}\in{S}/R_{1,\alpha}\Rightarrow\overline{x}\notin{R}_{1,\alpha}\Rightarrow{L}_1(\overline{x})\leq{c}_{\alpha}L_0(\overline{x}).$$
Тогда
\begin{multline*}
\beta_S-\beta=\int\limits_{R_{1,\alpha}/S}L_1(\overline{x})d\overline{x}-\int\limits_{S/R_{1,\alpha}}L_1(\overline{x})d\overline{x}>
\int\limits_{R_{1,\alpha}/S}c_{\alpha}L_0(\overline{x})d\overline{x}-\int\limits_{S/R_{1,\alpha}}c_{\alpha}L_0(\overline{x})d\overline{x}=\\=
c_{\alpha}\left(\int\limits_{R_{1,\alpha}/S}L_0(\overline{x})d\overline{x}+\int\limits_{SR_{1,\alpha}}L_0(\overline{x})d\overline{x}-\int\limits_{SR_{1,\alpha}}L_0(\overline{x})d\overline{x}-\int\limits_{S/R_{1,\alpha}}L_0(\overline{x})d\overline{x}\right)=
c_{\alpha}\left(\int\limits_{R_{1,\alpha}}L_0(\overline{x})d\overline{x}-\int\limits_SL_0(\overline{x})d\overline{x}\right)=c_{\alpha}(\alpha-\alpha_S)>0
\end{multline*}
Пример 13.3:
Пусть $\xi\sim{N}(\mu,\sigma^2)$, где $\sigma^2$ известно, а $\mu$ нет.
Построим наиболее мощный критерий для проверки гипотезы $H_0$: $\mu=\mu_0$ против альтернативы $H_1$: $\mu=\mu_1$.
Вероятность ошибки первого рода равна $\alpha$.
$$p_0(x):=p(x;\mu_0)=\frac1{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu_0)^2}{2\sigma^2}\right),$$
$$p_1(x):=p(x;\mu_1)=\frac1{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu_1)^2}{2\sigma^2}\right),$$
\begin{multline*}
L(\overline{x})=\frac{L_1(\overline{x})}{L_2(\overline{x})}=\frac{\exp\left(-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\mu_1)^2\right)}{\exp\left(-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\mu_0)^2\right)}=
\exp\left(\frac1{2\sigma^2}\sum_{i=1}^n\left((x_i-\mu_1)^2-(x_i-\mu_0)^2\right)\right)=\exp\left(\frac{\mu_0-\mu_1}{2\sigma^2}\sum_{i=1}^n(2x_i-\mu_0-\mu_1)\right).
\end{multline*}
Тогда, если б. о. о. $\mu_1>\mu_0$, то неравенство $L(\overline{x}>c)$ равносильно неравенству
\begin{multline*}
-\frac{\mu_0-\mu_1}{2\sigma^2}\sum_{i=1}^n(2x_i-\mu_0-\mu_1)>\ln{c}\Rightarrow-\frac{\mu_0-\mu_1}{\sigma^2}\sum_{i=1}^nx_i+\frac1{2\sigma^2}(\mu_0-\mu_1)n(\mu_0+\mu_1)>\ln{c}\Rightarrow\\\Rightarrow
-\frac{\mu_0-\mu_1}{\sigma^2}\sum_{i=1}^nx_i>\ln{c}-\frac{n}{2\sigma^2}(\mu_0^2-\mu_1^2)\Rightarrow\overline{x}=\frac1{n}\sum_{i=1}^nx_i>\frac{\sigma^2\ln{c}}{n(\mu_0-\mu_1)}-\frac{\mu_0+\mu_1}{2}
\end{multline*}
Таким образом, для построения критерия небоходимо решить уравнение
$$\alpha=P(H_1/H_0)=P\{\overline{x}>\tilde{c}/H_0\}$$
относительно $\tilde{c}$. Из теоремы 4.11 следует,
что при верной $H_0$ $\overline{X}\sim{N}(\mu_0,\sigma^2/n)$. Тогда
$$
\alpha=P\left\{\frac{\overline{x}-\mu_0}{\sigma}\sqrt{n}>\frac{\tilde{c}-\mu_0}{\sigma}\sqrt{n}/H_0\right\}=
1-P\left\{\frac{\overline{x}-\mu_0}{\sigma}\sqrt{n}\leq\frac{\tilde{c}-\mu_0}{\sigma}\sqrt{n}/H_0\right\}=
1-\Phi\left(\frac{\tilde{c}-\mu_0}{\sigma}\sqrt{n}\right)
$$
Пусть $t_{1-\alpha}$ - квантиль уровня $1-\alpha$ для стандартного номального распределения, тогда
$$\frac{\tilde{c}-\mu_0}{\sigma}\sqrt{n}=t_{1-\alpha}\Rightarrow\tilde{c}=\frac{\sigma{t}_{1-\alpha}}{\sqrt{n}}+\mu_0.$$
Таким образом, искомый критерий
$$R_{1,\alpha}=\left\{(x_1,\ldots,x_n)\left|\frac1{n}\sum_{i=1}^nx_i>\frac{\sigma{t}_{1-\alpha}}{\sqrt{n}}+\mu_0\right.\right\}$$
Так как $\overline{X}\sim{N}(\mu_1,\sigma^2/n)$ при верной $H_1$, то ошибка второго рода равна
$$
\beta=P(H_0/H_1)=P\{\overline{x}>\tilde{c}/H_1\}=P\left\{\frac{\overline{x}-\mu_1}{\sigma}\sqrt{n}\leq\frac{\tilde{c}-\mu_1}{\sigma}\sqrt{n}/H_1\right\}=
\Phi\left(\frac{\tilde{c}-\mu_1}{\sigma}\sqrt{n}\right)
$$
Если вероятности ошибки первого и второго рода $\alpha$ и $\beta$ заданы то объем выборки необходимый для построения наиболее мощного критерия можно найти из системы
$$
\begin{cases}
t_{1-\alpha}=(\tilde{c}-\mu_0)\sqrt{n}/\sigma \\
t_{\beta}=(\tilde{c}-\mu_1)\sqrt{n}/\sigma.
\end{cases}
$$
Вычитая из первого уравнения второе получим
$$t_{1-\alpha}-t_{\beta}=\frac{\mu_1-\mu_0}{\sigma}\sqrt{n}\Rightarrow{n}=\left(\frac{(t_{1-\alpha}-t_{\beta})\sigma}{\mu_1-\mu_0}\right)^2.$$
Пример 13.4: Выбор критической области в случае распределения отличного от нормального.
Пусть $\xi$ абсолютно непрерывная случайная величина с плотостью распределения $p(x)$.
Построим наиболее мощный критерий уровня $\alpha$ для проврки гипотезы $H_0$: $p(x)=p_0(x)$ против альтернативы $p(x)=p_1(x)$.
По лемме Неймона-Пирсона (лемма 13.1) критическая область имеет вид $\{(x_1,\ldots,x_n)\mid{L}(x_1,\ldots,x_n)>c\}$,
где $c$ - решение уравнения
$$\alpha=P(L(x_1,\ldots,x_n)>c/H_0),$$
a
$$L(\overline{x})=\frac{L_1(\overline{x})}{L_0(\overline{x})}=\frac{\prod_{i=1}^np_1(x_i)}{\prod_{i=1}^np_0(x_i)}.$$
Тогда прологорифмировав получим для критической области условие
$$\sum_{i=1}^n\ln{\frac{p_1(x_i)}{p_0(x_i)}}>\ln{c}.$$
Для любого $i\in\overline{1,n}$ обозначим $\eta_i:=\ln(p_1(x_i)/p_0(x_i))$, $\mu_0=E\eta_i$, $\sigma_0^2:=D\eta_i$ при верной гипотезе $H_0$;
$\mu_1:=E\eta_i$, $\sigma_1^2:=D\eta_i$ при верной гипотезе $H_1$.
Тогда при больших $n$ из ЦПТ (теорема 7.12) следует, что
$$
\sum_{i=1}^n\eta_i\sim\begin{cases}N(n\mu_0,n\sigma_0^2)\,\text{при верной}\,H_0 \\ N(n\mu_1,n\sigma_1^2)\,\text{при верной}\,H_1\end{cases}
$$
Тогда
$$
\alpha=P(H_1/H_0)=P\left\{\sum_{i=1}^n\eta_i>c/H_0\right\}=P\left\{\frac{\sum_{i=1}^n\eta_i-n\mu_0}{\sigma_0\sqrt{n}}>\frac{c-n\mu_0}{\sigma_0\sqrt{n}}\right\}=
1-\Phi\left(\frac{c-n\mu_0}{\sigma_0\sqrt{n}}\right)\Rightarrow\frac{c-n\mu_0}{\sigma_0\sqrt{n}}=t_{1-\alpha}\Rightarrow{c}=\sigma_0t_{1-\alpha}\sqrt{n}+n\mu_0.
$$
Вероятность ошибки второго рода равна
$$
P=P(H_0/H_1)=P\left\{\sum_{i=1}^n\eta_i\leq{c}/H_1\right\}=P\left\{\frac{\sum_{i=1}^n\eta_i-n\mu_1}{\sigma_1\sqrt{n}}\leq
\frac{c-n\mu_1}{\sigma_1\sqrt{n}}\right\}=\Phi\left(\frac{c-n\mu_1}{\sigma_1\sqrt{n}}\right)
$$
Пример 13.5: Пример равномерно наиболее мощного критерия.
Пусть $\xi\sim{N}(\mu,\sigma^2)$, где $\sigma^2$ известно, а $\mu$ нет, гипотезы $H_0$: $\mu=\mu_0$, $H_1$: $\mu=\mu_1$,
$\alpha$ - вероятность ошибки первого рода, $\tilde{c}:=\sigma{t}_{1-\alpha}/\sqrt{n}+\mu_0$.
В примере 12.3 было показано, что для любого $\mu_1>\mu_0$ критерий
$$\begin{cases}\overline{x}\leq\tilde{c}\Rightarrow{H}_0 \\ \overline{x}<\tilde{c}\Rightarrow{H}_1\end{cases}$$
является наиболее мощным критерием уровня значимости $\alpha$.
Тогда для гипотез $H_0$: $\mu=\mu_0$ и $H_1$: $\mu>\mu_0$ этот критерий является равномерно наиболее мощным.
Определение 13.7:
Пусть $R_1$ - критическая область, тогда если функция $\varphi(\overline{x}):=P(H_1/X=\overline{x}):\mathbb{R}^n\to[0,1]$ не является индикатором множества $R_1$,
то критерий называется рандомизированным. В этом случае
$$P(H_1)=\int\limits_{R_1}\varphi(\overline{x})L_1(\overline{x})d\overline{x},$$
а функцию $\varphi(\overline{x})$ называют критической функцией.
Замечание 13.2:
При рассмотрении леммы Неймона-Пирсона (лемма 13.1) предполагалось, что уравнение $\alpha=P(L(\overline{x})>c/H_0)$ имеет решение относительно $c$.
Однако, если распределение дискретно, то решения может не быть. В этом случае для обеспечения заданной ошибки первого рода применяют рандомизацию.
Пример 13.6:
Пусть
$$\xi\sim\begin{pmatrix}1 & 0 \\ p & 1-p\end{pmatrix},$$
$\alpha$ - вероятность ошибки первого рода, $H_0$: $p=p_0$, $H_1$: $p=p_1$, где б. о. о. $p_1>p_0$ и $p_0^n<\alpha$, $(x_1,\ldots,x_n)$ значение выборки,
где, очевидно, для любого $i\in\overline{1,n}$ $x_i\in\{0,1\}$. Обозначим $\nu=\sum_{i=1}^nx_i$ (число единиц в выборке), тогда
$$L_1(\overline{x})=\prod_{i=1}^nP(x_i/H_1)=p_1^{\nu}(1-p_1)^{n-\nu},$$
$$L_0(\overline{x})=\prod_{i=1}^nP(x_i/H_0)=p_0^{\nu}(1-p_0)^{n-\nu}.$$
Тогда условие $L(\overline{x})\geq{c}$ имеет вид
$$
\frac{p_1^{\nu}(1-p_1)^{n-\nu}}{p_0^{\nu}(1-p_0)^{n-\nu}}\geq{c}\Rightarrow\left(\frac{p_1(1-p_0)}{p_0(1-p_1)}\right)^{\nu}\geq
{c}\left(\frac{1-p_0}{1-p_1}\right)^n.
$$
Так как $p_1>p_0$, то $p_1/p_0>1$, $(1-p_0)/(1-p_1)>1$, следовательно, неравество можно логорифмировать
$$\nu\ln\frac{p_1(1-p_0)}{p_0(1-p_1)}\geq\ln{c}+n\ln\frac{1-p_0}{1-p_1}\Rightarrow\nu\geq\frac{\ln{c}+n\ln\frac{1-p_0}{1-p_1}}{\ln\frac{p_1(1-p_0)}{p_0(1-p_1)}}.$$
Таким образом, для построения не рандомизированного критерия необходимо решить относительно $\tilde{c}$ уравнение
$$\alpha=P(H_1/H_0)=P(\nu\geq\tilde{c}/H_0)=\sum_{i=\tilde{c}}^n\binom{n}{i}p_0^i(1-p_0)^{n-i}.$$
Однако, правая часть равенства может принимать не более $n$ различных значений, в то время как $\alpha\in[0,1]$.
С другой стороны, так как по условию $\alpha>p_0^n$, то существует $\tilde{c}\in\overline{1,n}$ такое, что
$$\sum_{i=\tilde{c}+1}^n\binom{n}{i}p_0^i(1-p_0)^{n-i}<\alpha\leq\sum_{i=\tilde{c}}\binom{n}{i}p_0^i(1-p_0)^{n-i}.$$
Обозначим
$$\alpha':=\sum_{i=\tilde{c}}^n\binom{n}{i}p_0^i(1-p_0)^{n-i},$$
$$\gamma_0:=P(\nu=\tilde{c})=\binom{n}{\tilde{c}}p_0^{\tilde{c}}(1-p_0)^{n-\tilde{c}},$$
тогда рандомизированный критерий с критической функцией
$$\varphi(\overline{x}):=\begin{cases}1, & \nu>\tilde{c} \\ (\gamma_0+\alpha-\alpha')/\gamma_0, & \nu=\tilde{c} \\ 0, & \nu<\tilde{c}\end{cases},$$
имеет вероятность ошибки первого рода равной
$$P(H_1/H_0)=P\left\{\nu>\tilde{c}/H_0\right\}+P\{\nu=\tilde{c}\}\frac{\gamma_0+\alpha-\alpha'}{\gamma_0}=\alpha'-\gamma_0+\gamma_0+\alpha-\alpha'=\alpha.$$
previous contents next