13. Статистические гипотезы и критерии.

13.1 Выбор критерия значимости.

Определение 13.1: Всякое предположение о функции распределения случайной величины или её свойствах называется статистической гипотезой.
Если статистическая гипотеза однозначно определяет функцию распределения, то она называется простой, в противном случае статистическая гипотеза называется сложной.

Пример 13.1: Пусть $$\xi\sim\begin{pmatrix}1, & 0 \\ p, & 1-p\end{pmatrix},$$ тогда предположение $p=1/2$ есть простая статистическая гипотеза о распределении случайной величины $\xi$, а предположение $p>1/2$ - сложная статистическая гипотеза о распределении случайной величины $\xi$.

Пример 13.2: Пусть $\xi\sim{N}(\mu,\sigma^2)$, тогда предположение $\mu=0$, $\sigma^2=1$ есть простая статистическая гипотеза о распределении случайной величины $\xi$, а предположение $\mu=0$ - сложная статистическая гипотеза о распределении случайной величины $\xi$.

Определение 13.2: Правило по которому на основании выборки $(X_1,\ldots,X_n)$ принимается или отвергается статистическая гипотеза называется статистическим критерием значимости или просто критерием.
Пусть $R$ - выборочное пространство (т. е. множество всех возможных значений выборки); $R_0$, $R_1$ такие, что $R=R_0\sqcup{R}_1$ и статистическая гипотеза $H_1$ принимается тогда и только тогда, когда $(X_1,\ldots,X_n)\in{R}_1$, тогда множество $R_1$ назыается критической областью статистической гипотезы $H_1$.

Определение 13.3: Пусть $(X_1,\ldots,X_n)$ выборка над $\xi\sim{F}(x;\theta)$, $\Theta$ множество всех значений параметра $\theta$, $\Theta_0\subset\Theta$. Гипотеза $H_0$ гласит, что $\theta\in\Theta_0$, гипотеза $H_1$, что $\theta\notin\Theta_0$. Если $(X_1,\ldots,X_n)\in{R}_0$, то принимается гипотеза $H_0$, если $(X_1,\ldots,X_n)\in{R}_1$, то принимается гипотеза $H_1$, тогда вероятност $$\alpha(\theta):=p(H_1/H_0)=p((X_1,\ldots,X_n)\in{R}_1/H_0)$$ того что значение выборки содержится в $R_1$, но $\theta\in\Theta_0$, называется ошибкой первого рода.
Вероятность $$\beta(\theta):=p(H_0/H_1)=p((X_1,\ldots,X_n)\in{R}_0/H_1)$$ называется ошибкой второго рода.
Функция $$W_{R_1}(\theta):=\begin{cases}\alpha(\theta), & \theta\in\Theta_0 \\ 1-\beta(\theta), & \theta\notin\Theta_0\end{cases}$$ называется функцией мощности критерия $R_1$.
Если $W_{R_1}=0$, при $\theta\in\Theta_0$ и $W_{R_1}=1$ при $\theta\notin\Theta_0$, то $\alpha(\theta)\equiv\beta(\theta)\equiv0$ и критерий $R_1$ называется совершенным.

Определение 13.4: Пусть существует $\alpha\in[0,1]$ такое, что $\alpha(\theta)\leq\alpha$ для любого $\theta\in\Theta_0$, тогда $\alpha$ называется уровнем значимости критерия.
Критрий с критической областью $R_1$ и уровнем значимости $\alpha$ будем обозначать $R_{1,\alpha}$.

Замечание 13.1:
Если уровень значимости критерия (т. е. максимально допустимая ошибка первого рода) задан, то среди всех возможных областей $R_1$ при которых достигается заданный уровень значимости, надо выбирать такую, при которой минимизируется ошибка второго рода. То есть максимизируется функция $W_{R_1}(\theta)$ при $\theta\in\Theta/\Theta_0$.

Определение 13.5: Критерий $R_{1,\alpha}^*$ называется равномерно наиболее мощным чем критерий $R_{1,\alpha}$ если

1. $W_{R_{1,\alpha}^*}(\theta)\leq{W}_{R_{1,\alpha}}(\theta)$, $\forall\theta\in\Theta_0$;
2. $W_{R_{1,\alpha}^*}(\theta)\geq{W}_{R_{1,\alpha}}(\theta)$, $\forall\theta\in\Theta/\Theta_0$.

Определение 13.6: Критерий $R_{1,\alpha}^*$ называется равномерно наиболее мощным для гипотезы $H_0$ против альтернативы $H_1$, если он равномерно наиболее мощен чем любой другой критерий для данной гипотезы.

Если $|\Theta/\Theta_0|=1$, то равномерно наиболее мощный критерий называется наиболее мощным.

Лемма 13.1: Лемма Неймона-Пирсона.
Пусть $p(x;\theta)$ плотность распределения случайной величины $\xi$. Множество значений $\theta$: $\{\theta_0,\theta_1\}$, гипотеза $H_0$: $\theta=\theta_0$, гипотеза $H_1$: $\theta=\theta_1$. Обозначим $p_0(x):=p(x;\theta_0)$, $p_1(x):=p(x;\theta_1)$, $(X_1,\ldots,X_n)$ - выборка над $\xi$, $$L_0(x_1,\ldots,x_n):=\prod_{i=1}^np_0(x_i)$$ - функция правдободобия, если верна гипотеза $H_0$, $$L_1(x_1,\ldots,x_n):=\prod_{i=1}^np_1(x_i)$$ - функция правдоподобия, если верна гипотеза $H_1$, положим $$L(\overline{x}):= \begin{cases} L_1(\overline{x})/L_0(\overline{x}), & L_0(\overline{x})\neq0 \\ 0, & L_0(\overline{x})=L_1(\overline{x})=0 \\ \infty, & L_0(\overline{x})=0,L_1(\overline{x})\neq0. \end{cases}$$ Вероятность ошибки первого рода равна $\alpha$, а $c_{\alpha}$ - это решение уравнения $p(L(x_1,\ldots,x_n)>c/H_0)=\alpha$ относительно $c$. Положим $$R_{1,\alpha}:=\{(x_1,\ldots,x_n)\mid{L}(x_1,\ldots,x_n)>c_{\alpha}\},$$ тогда критерий $R_{1,\alpha}$ является наиболее мощным критерием.

Доказательство:
Пусть критическая область $S\neq{R}_{1,\alpha}$ такая, что вероятность ошибки первого рода $\alpha_S$ для неё не больше $\alpha$, то есть $$\alpha_S:=p\{\overline{x}\in{S}/H_0\}=\int\limits_SL_0(\overline{x})d\overline{x}\leq\alpha=\int\limits_{R_{1,\alpha}}L_0(\overline{x})d\overline{x}.$$ Докажем, что вероятность ошибки второго рода $\beta_S$ для критической области $S$ не меньше чем вероятность ошибки второго рода $\beta$ для критической области $R_{1,\alpha}$. Действительно $$1-\beta_S=p(\overline{x}\in{S}/H_1)=\int\limits_SL_1(\overline{x})d\overline{x}=\int\limits_{S/R_{1,\alpha}}L_1(\overline{x})d\overline{x}+\int\limits_{SR_{1,\alpha}}L_1(\overline{x})d\overline{x},$$ аналогично $$1-\beta=\int\limits_{R_{1,\alpha}/S}L_1(\overline{x})d\overline{x}+\int\limits_{SR_{1,\alpha}}L_1(\overline{x})d\overline{x}.$$ Из определения выбранного критерия следует, что $$\overline{x}\in{R}_{1,\alpha}/S\Rightarrow\overline{x}\in{R}_{1,\alpha}\Rightarrow\frac{L_1(\overline{x})}{L_0(\overline{x})}= L(\overline{x})>c_{\alpha}\Rightarrow{L}_1(\overline{x})>c_{\alpha}L_0(\overline{x}),$$ аналогично $$\overline{x}\in{S}/R_{1,\alpha}\Rightarrow\overline{x}\notin{R}_{1,\alpha}\Rightarrow{L}_1(\overline{x})\leq{c}_{\alpha}L_0(\overline{x}).$$ Тогда $$\begin{multline*} \beta_S-\beta=\int\limits_{R_{1,\alpha}/S}L_1(\overline{x})d\overline{x}-\int\limits_{S/R_{1,\alpha}}L_1(\overline{x})d\overline{x}> \int\limits_{R_{1,\alpha}/S}c_{\alpha}L_0(\overline{x})d\overline{x}-\int\limits_{S/R_{1,\alpha}}c_{\alpha}L_0(\overline{x})d\overline{x}=\\= c_{\alpha}\left(\int\limits_{R_{1,\alpha}/S}L_0(\overline{x})d\overline{x}+\int\limits_{SR_{1,\alpha}}L_0(\overline{x})d\overline{x}-\int\limits_{SR_{1,\alpha}}L_0(\overline{x})d\overline{x}-\int\limits_{S/R_{1,\alpha}}L_0(\overline{x})d\overline{x}\right)= c_{\alpha}\left(\int\limits_{R_{1,\alpha}}L_0(\overline{x})d\overline{x}-\int\limits_SL_0(\overline{x})d\overline{x}\right)=c_{\alpha}(\alpha-\alpha_S)>0 \end{multline*}$$

Пример 13.3: Пусть $\xi\sim{N}(\mu,\sigma^2)$, где $\sigma^2$ известно, а $\mu$ нет. Построим наиболее мощный критерий для проверки гипотезы $H_0$: $\mu=\mu_0$ против альтернативы $H_1$: $\mu=\mu_1$. Вероятность ошибки первого рода равна $\alpha$. $$p_0(x):=p(x;\mu_0)=\frac1{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu_0)^2}{2\sigma^2}\right),$$ $$p_1(x):=p(x;\mu_1)=\frac1{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu_1)^2}{2\sigma^2}\right),$$ $$\begin{multline*} L(\overline{x})=\frac{L_1(\overline{x})}{L_2(\overline{x})}=\frac{\exp\left(-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\mu_1)^2\right)}{\exp\left(-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\mu_0)^2\right)}= \exp\left(\frac1{2\sigma^2}\sum_{i=1}^n\left((x_i-\mu_1)^2-(x_i-\mu_0)^2\right)\right)=\exp\left(\frac{\mu_0-\mu_1}{2\sigma^2}\sum_{i=1}^n(2x_i-\mu_0-\mu_1)\right). \end{multline*}$$ Тогда, если б. о. о. $\mu_1>\mu_0$, то неравенство $L(\overline{x}>c)$ равносильно неравенству $$\begin{multline*} -\frac{\mu_0-\mu_1}{2\sigma^2}\sum_{i=1}^n(2x_i-\mu_0-\mu_1)>\ln{c}\Rightarrow-\frac{\mu_0-\mu_1}{\sigma^2}\sum_{i=1}^nx_i+\frac1{2\sigma^2}(\mu_0-\mu_1)n(\mu_0+\mu_1)>\ln{c}\Rightarrow\\\Rightarrow -\frac{\mu_0-\mu_1}{\sigma^2}\sum_{i=1}^nx_i>\ln{c}-\frac{n}{2\sigma^2}(\mu_0^2-\mu_1^2)\Rightarrow\overline{x}=\frac1{n}\sum_{i=1}^nx_i>\frac{\sigma^2\ln{c}}{n(\mu_0-\mu_1)}-\frac{\mu_0+\mu_1}{2} \end{multline*}$$ Таким образом, для построения критерия небоходимо решить уравнение $$\alpha=P(H_1/H_0)=P\{\overline{x}>\tilde{c}/H_0\}$$ относительно $\tilde{c}$. Из теоремы 4.11 следует, что при верной $H_0$ $\overline{X}\sim{N}(\mu_0,\sigma^2/n)$. Тогда $$\alpha=P\left\{\frac{\overline{x}-\mu_0}{\sigma}\sqrt{n}>\frac{\tilde{c}-\mu_0}{\sigma}\sqrt{n}/H_0\right\}= 1-P\left\{\frac{\overline{x}-\mu_0}{\sigma}\sqrt{n}\leq\frac{\tilde{c}-\mu_0}{\sigma}\sqrt{n}/H_0\right\}= 1-\Phi\left(\frac{\tilde{c}-\mu_0}{\sigma}\sqrt{n}\right)$$ Пусть $t_{1-\alpha}$ - квантиль уровня $1-\alpha$ для стандартного номального распределения, тогда $$\frac{\tilde{c}-\mu_0}{\sigma}\sqrt{n}=t_{1-\alpha}\Rightarrow\tilde{c}=\frac{\sigma{t}_{1-\alpha}}{\sqrt{n}}+\mu_0.$$ Таким образом, искомый критерий $$R_{1,\alpha}=\left\{(x_1,\ldots,x_n)\left|\frac1{n}\sum_{i=1}^nx_i>\frac{\sigma{t}_{1-\alpha}}{\sqrt{n}}+\mu_0\right.\right\}$$ Так как $\overline{X}\sim{N}(\mu_1,\sigma^2/n)$ при верной $H_1$, то ошибка второго рода равна $$\beta=P(H_0/H_1)=P\{\overline{x}>\tilde{c}/H_1\}=P\left\{\frac{\overline{x}-\mu_1}{\sigma}\sqrt{n}\leq\frac{\tilde{c}-\mu_1}{\sigma}\sqrt{n}/H_1\right\}= \Phi\left(\frac{\tilde{c}-\mu_1}{\sigma}\sqrt{n}\right)$$ Если вероятности ошибки первого и второго рода $\alpha$ и $\beta$ заданы то объем выборки необходимый для построения наиболее мощного критерия можно найти из системы $$\begin{cases} t_{1-\alpha}=(\tilde{c}-\mu_0)\sqrt{n}/\sigma \\ t_{\beta}=(\tilde{c}-\mu_1)\sqrt{n}/\sigma. \end{cases}$$ Вычитая из первого уравнения второе получим $$t_{1-\alpha}-t_{\beta}=\frac{\mu_1-\mu_0}{\sigma}\sqrt{n}\Rightarrow{n}=\left(\frac{(t_{1-\alpha}-t_{\beta})\sigma}{\mu_1-\mu_0}\right)^2.$$

Пример 13.4: Выбор критической области в случае распределения отличного от нормального.
Пусть $\xi$ абсолютно непрерывная случайная величина с плотостью распределения $p(x)$. Построим наиболее мощный критерий уровня $\alpha$ для проврки гипотезы $H_0$: $p(x)=p_0(x)$ против альтернативы $p(x)=p_1(x)$. По лемме Неймона-Пирсона (лемма 13.1) критическая область имеет вид $\{(x_1,\ldots,x_n)\mid{L}(x_1,\ldots,x_n)>c\}$, где $c$ - решение уравнения $$\alpha=P(L(x_1,\ldots,x_n)>c/H_0),$$ a $$L(\overline{x})=\frac{L_1(\overline{x})}{L_0(\overline{x})}=\frac{\prod_{i=1}^np_1(x_i)}{\prod_{i=1}^np_0(x_i)}.$$ Тогда прологорифмировав получим для критической области условие $$\sum_{i=1}^n\ln{\frac{p_1(x_i)}{p_0(x_i)}}>\ln{c}.$$ Для любого $i\in\overline{1,n}$ обозначим $\eta_i:=\ln(p_1(x_i)/p_0(x_i))$, $\mu_0=E\eta_i$, $\sigma_0^2:=D\eta_i$ при верной гипотезе $H_0$; $\mu_1:=E\eta_i$, $\sigma_1^2:=D\eta_i$ при верной гипотезе $H_1$. Тогда при больших $n$ из ЦПТ (теорема 7.12) следует, что $$\sum_{i=1}^n\eta_i\sim\begin{cases}N(n\mu_0,n\sigma_0^2)\,\text{при верной}\,H_0 \\ N(n\mu_1,n\sigma_1^2)\,\text{при верной}\,H_1\end{cases}$$ Тогда $$\alpha=P(H_1/H_0)=P\left\{\sum_{i=1}^n\eta_i>c/H_0\right\}=P\left\{\frac{\sum_{i=1}^n\eta_i-n\mu_0}{\sigma_0\sqrt{n}}>\frac{c-n\mu_0}{\sigma_0\sqrt{n}}\right\}= 1-\Phi\left(\frac{c-n\mu_0}{\sigma_0\sqrt{n}}\right)\Rightarrow\frac{c-n\mu_0}{\sigma_0\sqrt{n}}=t_{1-\alpha}\Rightarrow{c}=\sigma_0t_{1-\alpha}\sqrt{n}+n\mu_0.$$ Вероятность ошибки второго рода равна $$P=P(H_0/H_1)=P\left\{\sum_{i=1}^n\eta_i\leq{c}/H_1\right\}=P\left\{\frac{\sum_{i=1}^n\eta_i-n\mu_1}{\sigma_1\sqrt{n}}\leq \frac{c-n\mu_1}{\sigma_1\sqrt{n}}\right\}=\Phi\left(\frac{c-n\mu_1}{\sigma_1\sqrt{n}}\right)$$

Пример 13.5: Пример равномерно наиболее мощного критерия.
Пусть $\xi\sim{N}(\mu,\sigma^2)$, где $\sigma^2$ известно, а $\mu$ нет, гипотезы $H_0$: $\mu=\mu_0$, $H_1$: $\mu=\mu_1$, $\alpha$ - вероятность ошибки первого рода, $\tilde{c}:=\sigma{t}_{1-\alpha}/\sqrt{n}+\mu_0$. В примере 12.3 было показано, что для любого $\mu_1>\mu_0$ критерий $$\begin{cases}\overline{x}\leq\tilde{c}\Rightarrow{H}_0 \\ \overline{x}<\tilde{c}\Rightarrow{H}_1\end{cases}$$ является наиболее мощным критерием уровня значимости $\alpha$. Тогда для гипотез $H_0$: $\mu=\mu_0$ и $H_1$: $\mu>\mu_0$ этот критерий является равномерно наиболее мощным.

13.2 Понятие о рандомизированном критерии.

Определение 13.7: Пусть $R_1$ - критическая область, тогда если функция $\varphi(\overline{x}):=P(H_1/X=\overline{x}):\mathbb{R}^n\to[0,1]$ не является индикатором множества $R_1$, то критерий называется рандомизированным. В этом случае $$P(H_1)=\int\limits_{R_1}\varphi(\overline{x})L_1(\overline{x})d\overline{x},$$ а функцию $\varphi(\overline{x})$ называют критической функцией.

Замечание 13.2:
При рассмотрении леммы Неймона-Пирсона (лемма 13.1) предполагалось, что уравнение $\alpha=P(L(\overline{x})>c/H_0)$ имеет решение относительно $c$. Однако, если распределение дискретно, то решения может не быть. В этом случае для обеспечения заданной ошибки первого рода применяют рандомизацию.

Пример 13.6:
Пусть $$\xi\sim\begin{pmatrix}1 & 0 \\ p & 1-p\end{pmatrix},$$ $\alpha$ - вероятность ошибки первого рода, $H_0$: $p=p_0$, $H_1$: $p=p_1$, где б. о. о. $p_1>p_0$ и $p_0^n<\alpha$, $(x_1,\ldots,x_n)$ значение выборки, где, очевидно, для любого $i\in\overline{1,n}$ $x_i\in\{0,1\}$. Обозначим $\nu=\sum_{i=1}^nx_i$ (число единиц в выборке), тогда $$L_1(\overline{x})=\prod_{i=1}^nP(x_i/H_1)=p_1^{\nu}(1-p_1)^{n-\nu},$$ $$L_0(\overline{x})=\prod_{i=1}^nP(x_i/H_0)=p_0^{\nu}(1-p_0)^{n-\nu}.$$ Тогда условие $L(\overline{x})\geq{c}$ имеет вид $$\frac{p_1^{\nu}(1-p_1)^{n-\nu}}{p_0^{\nu}(1-p_0)^{n-\nu}}\geq{c}\Rightarrow\left(\frac{p_1(1-p_0)}{p_0(1-p_1)}\right)^{\nu}\geq {c}\left(\frac{1-p_0}{1-p_1}\right)^n.$$ Так как $p_1>p_0$, то $p_1/p_0>1$, $(1-p_0)/(1-p_1)>1$, следовательно, неравество можно логорифмировать $$\nu\ln\frac{p_1(1-p_0)}{p_0(1-p_1)}\geq\ln{c}+n\ln\frac{1-p_0}{1-p_1}\Rightarrow\nu\geq\frac{\ln{c}+n\ln\frac{1-p_0}{1-p_1}}{\ln\frac{p_1(1-p_0)}{p_0(1-p_1)}}.$$ Таким образом, для построения не рандомизированного критерия необходимо решить относительно $\tilde{c}$ уравнение $$\alpha=P(H_1/H_0)=P(\nu\geq\tilde{c}/H_0)=\sum_{i=\tilde{c}}^n\binom{n}{i}p_0^i(1-p_0)^{n-i}.$$ Однако, правая часть равенства может принимать не более $n$ различных значений, в то время как $\alpha\in[0,1]$. С другой стороны, так как по условию $\alpha>p_0^n$, то существует $\tilde{c}\in\overline{1,n}$ такое, что $$\sum_{i=\tilde{c}+1}^n\binom{n}{i}p_0^i(1-p_0)^{n-i}<\alpha\leq\sum_{i=\tilde{c}}\binom{n}{i}p_0^i(1-p_0)^{n-i}.$$ Обозначим $$\alpha':=\sum_{i=\tilde{c}}^n\binom{n}{i}p_0^i(1-p_0)^{n-i},$$ $$\gamma_0:=P(\nu=\tilde{c})=\binom{n}{\tilde{c}}p_0^{\tilde{c}}(1-p_0)^{n-\tilde{c}},$$ тогда рандомизированный критерий с критической функцией $$\varphi(\overline{x}):=\begin{cases}1, & \nu>\tilde{c} \\ (\gamma_0+\alpha-\alpha')/\gamma_0, & \nu=\tilde{c} \\ 0, & \nu<\tilde{c}\end{cases},$$ имеет вероятность ошибки первого рода равной $$P(H_1/H_0)=P\left\{\nu>\tilde{c}/H_0\right\}+P\{\nu=\tilde{c}\}\frac{\gamma_0+\alpha-\alpha'}{\gamma_0}=\alpha'-\gamma_0+\gamma_0+\alpha-\alpha'=\alpha.$$

previous contents next