Определение 16.1:
Случайной функцией (процессом) называется семейство случайных величин $\{\xi_t\mid{t}\in{T}\}$ заданных на одном вероятностном пространстве.
Траекторией случайного процесса $\{\xi_t\mid{t}\in{T}\}$ называется последовательность значений случайных величин $\{\xi_t\}$.
Замечание 16.1:
Винеровский процесс - это математическая модель броуновского движения на прямой.
То есть в каждый следующий момент времени траектория может с равной вероятностью возрасти или уменьшится на некоторую величину $\Delta{x}$.
Пусть $n\in\mathbb{N}$ $T:=\{k/n\mid{k}\in\mathbb{N}_0\}$, для любого $m\in\mathbb{N}$ случайные величины $\eta_m$ независимы и одинаково распределены
$$\eta_m\sim\begin{pmatrix}-\Delta{x} & \Delta{x} \\ 1/2 & 1/2\end{pmatrix},$$
тогда случайную величину винеровского процесса $\xi_t$ можно представить в виде
$$\xi_t=\xi_{k/n}=\sum_{m=1}^k\eta_m.$$
Обозначим характеристическую функцию случайной величины $\eta_m$ как $\varphi_m(u)$, тогда
$$\varphi_m(u)=Ee^{iu\eta_m}=\frac12e^{-iu\Delta{x}}+\frac12e^{iu\Delta{x}}=\cos(u\Delta{x}).$$
Обозначим характеристическую функцию случайной величины $\xi_t$ как $\varphi_t(u)$, тогда по формуле Тэйлора для функции $\cos$
$$\varphi_t(u)=\prod_{m=1}^k\varphi_m(u)=\cos^k(u\Delta{x})=\left(1+\frac{u^2\Delta{x}^2}{2}+o(u^2\Delta{x}^2)\right)^k.$$
Положив $\Delta{x}:=\frac1{\sqrt{n}}$, получим
$$\varphi_t(u)=\left(1+\frac{u^2}{2n}+o\left(\frac{u^2}{n}\right)\right)^{nt}\xrightarrow[n\to\infty]{}e^{u^2t/2}.$$
Таким образом, характеристическая функция случайной величины $\xi_t$ стремится к характеристической функции нормального распределения $N(0,t)$
при стремлении к нулю шага приращения времени $1/n$.
Тогда по теореме 6.14 распределение случайной величины $\xi_t$ сходится к распределению $N(0,t)$
при стремлении шага приращения времени к нулю.
Отсюда следует, что для любых $t_1<t_2$ распределение $\xi_{t_2}-\xi_{t_1}$ стремится к $N(0,t_2-t_1)$.
Определение 16.2: Случайный процесс $W(t)$, где $T:=[0,\infty)$ называется винеровским, если
Определение 16.3:
Случайные функции $\{\xi_t\mid{t}\in{T}\}$, $\{\eta_t\mid{t}\in{T}\}$, заданные на одном вероятностном пространстве,
называются стохостически эквивалентными, если для любого $t\in{T}$ $P\{\xi_t=\eta_t\}=1$.
При этом процесс $\eta_t$ называют модификацией процесса $\xi_t$ (и наоборот).
Теорема 16.1: Колмогоров.
Пусть $\{\xi_t\mid{t}\in{T}\}$, где $T:=[0,\infty)$ случайный процесс такой, что для любых $t,s\in{T}$ существуют $\beta,\varepsilon>0$ и $c<\infty$ такие, что
$$E|\xi_t-\xi_s|^{\beta}\leq{c}|t-s|^{1+\varepsilon},$$
тогда существует процесс $\tilde\xi_t$ стохастически эквивалентный $\xi_t$ такой, что почти все его траектории непрерывны.
Доказательство:
Доказательство, например, , в Боровков А. А. 1999 г. "Теория вероятностей" стр. 351.
Пример 16.1:
Пусть $W(t)$ винеровский процесс, тогда для любых моментов времени $t,s\in[0,\infty)$, $t>s$: $W(t)-W(s)\sim{N}(0,t-s)$.
С другой стороны, из примера 4.4 следует,
что для любой нормально распределенной случайной величины $\xi\sim{N}(0,\sigma^2)$: $E\xi^4=3\sigma^4$. Следовательно,
$$E|W(t)-W(s)|^4=E(W(t)-W(s))^4=3(t-s)^2,$$
таким образом, для винеровского процесса условие теоремы 16.1 выполнены ($\beta=4$, $\varepsilon=1$, $c=3$).
Утверждение 16.1: Пусть $W(t)$ - винеровский процесс, $\tau_a$ - случайная величина равная моменту достижения уровня $a$ траекторией процесса $W(t)$, т. е. $\tau_a:=\inf_{t\in[0,\infty)}\{W(t)\geq{a}\}$. Тогда $$P\{W(t)>a/\tau_a\leq{t}\}=P\{W(t)<a/\tau_a\leq{t}\}=\frac12.$$
Доказательство:
Доказательство, например, в Боровков А. А. 1999 г. "Теория вероятностей" стр. 361.
Теорема 16.2:
Пусть в обозначениях утверждения 16.1 $p_{\tau_a}(t)$ плотность распределения случайной величины $\tau_a$, тогда
$$p_{\tau_a}(t)=\begin{cases}\frac{a}{\sqrt{2\pi}}\exp\left(-\frac{a^2}{2t}\right)t^{-3/2}, & t>0 \\ 0, & t\leq0 \end{cases}.$$
Доказательство:
Так как случайная величина $\tau_a$ неотрицательна, то при $t\leq0$ $F_{\tau_a}(t):=P\{\tau_a<t\}=0$ и, следовательно, $p_{\tau_a}(t)=0$ при $t\leq0$.
Пусть $t>0$, тогда, учитывая, что $\{W(t)>a\}\subset\{\tau_a\leq{t}\}$, из утверждения 16.1 следует
$$
P\{W(t)>a/\tau_a\leq{t}\}=\frac{P\{W(t)>a,\tau_a\leq{t}\}}{p\{\tau_a\leq{t}\}}=\frac{P\{W(t)>a\}}{P\{\tau_a\leq{t}\}}=\frac12\Rightarrow
{F}_{\tau_a}(t)={P}\{\tau_a<t\}=2P\{W(t)>a\}.
$$
Так как $W(t)=W(t)-W(0)\sim{N}(0,t)$, то
$$F_{\tau_a}(t)=2P\{W(t)>a\}=\frac2{\sqrt{2\pi}t}\int\limits_a^{\infty}e^{-u^2/2t}du=\frac2{\sqrt{2\pi}}\int\limits_{a/\sqrt{t}}^{\infty}e^{-z^2/2}dz,$$
где $z:=u/\sqrt{t}$. Продифференцируем последний интеграл по $t$, воспользовавшись правилом Лейбница
(утверждение 13.1.4 MA)
$$p_{\tau_a}(t)=F'_{\tau_a}(t)=-\frac2{\sqrt{2\pi}}e^{-a^2/2t}\left(-\frac12\right)at^{-3/2}=\frac{a}{\sqrt{2\pi}}e^{-a^2/2t}t^{-3/2}.$$
Следствие 16.1:
Для любого $a\in\mathbb{R}$
Доказательство:
Теорема 16.3:
Пусть $W(t)$ - винеровский процесс, $\{\eta_t\mid{t}\in[0,\infty)\}$ - случайный процесс такой, что для любого $t\in(0,\infty)$ $\eta_t:=\max_{0\leq{s}\leq{t}}W(s)$,
тогда плотность распределения случайной величины $\eta_t$ равна
$$p_{\eta_t}(x)=\begin{cases}\frac2{\sqrt{2\pi{t}}}\exp\left(-\frac{x^2}{2t}\right), & x>0 \\ 0, & x\leq0\end{cases}$$
Доказательство:
Если максимум траектории за первые $t$ шагов превышает либо равен $x$, то она как минимум один раз достигает уровня $x$, следовательно,
$$\left\{\max_{0\leq{s}\leq{t}}W(s)\geq{x}\right\}\subset\{\tau_x\leq{t}\}.$$
Если траектория достигает впервые значения $x$ за первые $t$ шагов, то её максимум за первые $t$ шагов превосходит или равен $x$, следовательно,
$$\left\{\max_{0\leq{s}\leq{t}}W(s)\geq{x}\right\}\supset\{\tau_x\leq{t}\}.$$
Таким образом
$$\left\{\max_{0\leq{s}\leq{t}}W(s)\geq{x}\right\}=\{\tau_x\leq{t}\},$$
тогда так как $W(0)=0$, то при $x\leq0$
$$P\left\{\max_{0\leq{s}\leq{t}}W(s)\leq{x}\right\}=1-P\{\tau_x<t\}=0.$$
Пусть $x>0$, тогда из доказательства теоремы 16.2 следует
$$
P\left\{\max_{0\leq{s}\leq{t}}W(s)\geq{x}\right\}=P\{\tau_x\leq{t}\}=F_{\tau_x}(t)=
\frac2{\sqrt{2\pi}}\int\limits_{x/\sqrt{t}}^{\infty}e^{-z^2/2}dz=\int\limits_x^{\infty}e^{-u^2/2t}du,
$$
где последнее равенство получено заменой переменной $u:=z\sqrt{t}$. Тогда, так как $p_{\tau_x}(t)=0$ при $t\leq0$, то
$$
F_{\eta_t}(x)=P\left\{\max_{0\leq{s}\leq{t}}W(s)<x\right\}=1-\frac2{\sqrt{2\pi{t}}}\int\limits_x^{\infty}e^{-u^2/2t}du=
\frac2{\sqrt{2\pi{t}}}\left(\int\limits_0^{\infty}e^{-u^2/2t}du-\int\limits_x^{\infty}e^{-u^2/2t}du\right)=\frac2{\sqrt{2\pi{t}}}\int\limits_0^xe^{-u^2/2t}du.
$$
Так как выше было показано, что $p_{\eta_t}(x)=0$ при $x\leq0$, то
$$p_{\eta_t}(x)=F'_{\eta_t}(x)=\frac2{\sqrt{2\pi{t}}}e^{-x^2/2t}.$$
Замечание 16.2: Пусть $W(s)$ - винеровский процесс, $\zeta_t:=\min_{0\leq{s}\leq{t}}W(s)$. Тогда, несложно видеть, что $-W(s)$ тоже винеровский процесс и при этом $\zeta_t=\max_{0\leq{s}\leq{t}}(-W(s))$. Следовательно, из теоремы 16.3 имеем, что для любого $t\in(0,\infty)$ $$p_{\zeta_t}(x)=\begin{cases} 0, & x\geq0 \\ \frac2{\sqrt{2\pi{t}}}\exp\left(-\frac{x^2}{2t}\right), & x<0\end{cases}$$
Определение 16.4:
Случайный процесс $\{\xi_t\mid{t}\in{T}\subset\mathbb{R}\}$ называется гауссовским, если все его конечномерные распределения нормальны.
То есть для любого $n\in\mathbb{N}$, для любых $t_1,t_2,\ldots,t_n\in{T}$ таких,
что $t_1<t_2<\ldots<t_n$ вектор $(\xi_{t_1},\xi_{t_2},\ldots,\xi_{t_n})$ имеет $n$-мерное нормальное распределение.
Замечание 16.3:
Винеровский процесс является гауссовским.
Определение 16.5:
Случайный процесс $\{\xi_t\mid{t}\in{T}\subset\mathbb{R}\}$ называется процессом с независимыми приращениями,
если для любого $n\in\mathbb{N}$ и для любых моментов времени $t_1,t_2,\ldots,t_n\in{T}$ таких, что $t_1<t_2<\ldots<t_n$ случайные величины
$\xi_{t_2}-\xi_{t_1},\ldots,\xi_{t_n}-\xi_{t_{n-1}}$ независимы.
Замечание 16.4:
Винеровский и пуассоновский (определение 9.18) процессы являются процессами с независимыми приращениями.
Пример 16.2:
Пусть случайный процесс $\{\xi_t\mid{t}\in{T}\subset\mathbb{R}\}$ такой, что для любого $t\in{T}$ $\xi_t:=\xi\cos{t}$.
Тогда случайный процесс $\xi_t$ не является процессом с независимыми приращениями.
Действительно, пусть $t_1,t_2,t_3\in(3\pi/2,2\pi)$, $t_1<t_2<t_3$, тогда $\cos{t_1}-\cos{t_0}>0$ и $\cos{t_2}-\cos{t_1}>0$, следовательно
$$
P\{\xi_{t_1}-\xi_{t_0}>0,\xi_{t_2}-\xi_{t_1}>0\}=P\{\xi(\cos{t_1}-\cos{t_0})>0,\xi(\cos{t_2}-\cos{t_1})>0\}=P\{\xi>0\},
$$
в то время как
$$
P\{\xi_{t_1}-\xi_{t_0}>0\}P\{\xi_{t_2}-\xi_{t_1}>0\}=P\{\xi(\cos{t_1}-\cos{t_0})>0\}P\{\xi(\cos{t_2}-\cos{t_1})>0\}=(P\{\xi>0\})^2.
$$
Замечание 16.5:
Если множество индексов $T$ дискретно, то случайный процесс $\{\xi_t\mid{t}\in{T}\}$ является последовательностью случайных величин.
Если этот процесс является процессом с независимыми приращениями, то он сводится к последовательности сумм независимых величин.
$$\eta_0:=\xi_0,\eta_1:=\xi_1-\xi_0,\ldots,\eta_n:=\xi_n-\xi_{n-1},\ldots$$
$$\xi_0=\eta_0,\xi_1=\eta_0+\eta_1,\ldots,\xi_n=\eta_0+\eta_1+\cdots+\eta_n,\ldots$$
Определение 16.6:
Случайный процесс $\{\xi_t\mid{t}\in{T}\subset\mathbb{R}\}$ такой,
что для любого $t\in{T}$ $E|\xi_t|^2<\infty$ называется процессом с некоррелированными приращениями, если для любых $t_1,t_2,t_3,t_4\in\mathbb{T}$
$$t_1<t_2<t_3<t_4\Rightarrow\cov(\xi_{t_2}-\xi_{t_1},\xi_{t_4}-\xi_{t_3})=0.$$
Утверждение 16.2: Пусть случайный процесс $\{\xi_t\mid{t}\in{T}\subset\mathbb{R}\}$ такой, что для любого $t\in{T}$ $E|\xi_t|^2<\infty$ и для любых последовательных моментов времени $t_1,t_2,t_3\in{T}$ $\cov(\xi_{t_2}-\xi_{t_1},\xi_{t_3}-\xi_{t_2})=0$, тогда $\xi_t$ - процесс с некоррелированными приращениями.
Доказательство:
Так как для любых двух случайных величин $\xi$ и $\eta$
$$\cov(\xi,\eta)=E((E\xi-\xi)(E\eta-\eta))=E(\xi\eta)-E\xi{E}\eta,$$
то для любых трех случайных величин $\xi,\eta_1,\eta_2$
$$
\cov(\xi,\eta_1+\eta_2)=E(\xi(\eta_1+\eta_2))-E\xi{E}(\eta_1+\eta_2)=E(\xi\eta_1+\xi\eta_2)-E\xi{E}\eta_1-E\xi{E}\eta_2=
E(\xi\eta_1)-E\xi{E}\eta_1+E(\xi\eta_2)-E\xi{E}\eta_2=\cov(\xi,\eta_1)+\cov(\xi,\eta_2).
$$
Тогда, для любых последовательных $t_1,t_2,t_3,t_4\in{T}$
$$
\cov(\xi_{t_2}-\xi_{t_1},\xi_{t_4}-\xi_{t_3})=\cov(\xi_{t_2}-\xi_{t_1},\xi_{t_4}-\xi_{t_2}-\xi_{t_3}+\xi_{t_2})=
\cov(\xi_{t_2}-\xi_{t_1},\xi_{t_4}-\xi_{t_2})-\cov(\xi_{t_2}-\xi_{t_1},\xi_{t_3}-\xi_{t_2})=0
$$
Замечание 16.6:
Определение 16.7:
Если $\{\xi_t\mid{t}\in{T}\}$ процесс с некоррелированными приращениями и для любого $t\in{T}$ $E\xi_t=0$,
то $\xi_t$ называется процессом с ортогональными приращениями.
Пример 16.3:
Например, процессом с ортогональными приращениями является винеровский процесс.
Определение 16.8:
Случайный процесс $\{\xi_t\mid{t}\in{T}\subset\mathbb{R}\}$ называется стационарным в узком смысле,
если для любого $t\in{T}$ $E|\xi_t|^2<\infty$ и для любого $n\in\mathbb{N}$, любых последовательных $t_1,\ldots,t_n\in{T}$ и
любого $h>0$ распределение вектора $(\xi_{t_1},\ldots,\xi_{t_n})$ совпадает с распределением вектора $(\xi_{t_1+h},\ldots,\xi_{t_n+h})$.
Определение 16.9:
Пусть $\{\xi_t\mid{t}\in{T}\subset\mathbb{R}\}$ случайный процесс такой, что для любого $t\in{T}$ $E|\xi_t|^2<\infty$, тогда функция
$$K(t,s):=\cov(\xi_t,\xi_s):=E((\xi_t-E\xi_t)(\xi_s-E\xi_s)$$
называется ковариационной функцией случайного процесса $\xi_t$
Замечание 16.7:
В теории связи рассматриваются комплекснозначные случайные величины, которые можно представить в виде $\xi_t=\xi_t^{(1)}+i\xi_t^{(2)}$,
а в качестве ковариационной функции принимается функция
$$K(t,s):=E((\xi_t-E\xi_t)\overline{(\xi_s-E\xi_s)}).$$
Тогда, ковариационная функция перестаёт быть коммутативной, так как $K(t,s)=\overline{K(s,t)}$. При этом следующие два свойства сохраняются
$$K(t,t)=E|\xi_t-E\xi_t|^2=D\xi_t>0$$
и неравенство Коши-Буняковского (теорема 4.15 для случайных величин $\xi_t-E\xi_t$ и $\xi_s-E\xi_s$)
$$|K(s,t)|^2\leq{K}(s,s)K(t,t)$$
Определение 16.10: Случайный процесс $\{\xi_t\mid{t}\in{T}\subset\mathbb{R}\}$ называется стационарным в широком смысле, если
Пример 16.4:
Пусть случайные величины $\xi$, $\eta$ такие, что $E\xi=E\eta=0$, $D\xi=D\eta=\sigma^2$, $\cov(\xi,\eta)=0$.
Пусть случайный процесс $\{\xi_t\mid{t}\in{T}=[0,\infty)\}$ такой, что для любого $t\in{T}$ $\xi_t:=\xi\cos{t}+\eta\sin{t}$.
Покажем, что случайный процесс $\xi_t$ является стационарным в широком смысле.
Задача 16.1:
Показать, что из стационарности в узком смысле следует стационарность в широком смысле.
Пусть случайный процесс $\{\xi_t\mid{t}\in{T}\subset\mathbb{R}\}$ стационарен в узком смысле, тогда
Задача 16.2:
Показать, что гауссовский процесс стационарен в узком смысле тогда и только тогда, когда он старционарен в широком смысле.
$\Rightarrow)$ Следует из задачи 16.1
$\Leftarrow)$ Пусть гауссовский процесс $\{\xi_t\mid{t}\in{T}\}$ стационарен в широком смысле,
тогда существует $\mu\in\mathbb{R}$ такое, что для любого $t\in{T}$ $E\xi_t=\mu$. Так как процесс гауссовский,
то для любого $t\in{T}$ $\xi_t\sim{N}(\mu,D\xi_t)$ и осталось только доказать равество дисперсий.
По пункту 3 определения 16.10 существует функция $\tilde{K}(x)$ такая, что для любого $t\in{T}$
$$\tilde{K}(0)=K(t,t)=\cov(\xi_t,\xi_t)=E\xi_t^2-(E\xi_t)^2=D\xi_t.$$
Таким образом, для любого $t\in{T}$ $\xi_t\sim{N}(\mu,\sigma^2)$, где $\sigma^2:=\tilde{K}(0)$.
Задача 16.3:
Проверить является ли винеровский процесс стационарным в широком смысле.
Таким образом, п. 3 определения 16.10 не выполнен, следовательно, винеровский процесс не является стационарным в широком смысле.
Задача 16.4:
Найти ковариационную функцию пуассоновского процесса. Проверить является ли он стационарным в широком смысле.
Пусть $\{\xi_t\mid{t}\in{T}\}$ пуассоновский процесс (определение 9.18),
тогда для любых $t,s\in{T}$ $\xi_s-\xi_t\sim\Pi(\lambda(s-t))$.
Пусть $t,s\in{T}$ такие, что $0<t<s$, тогда аналогично п. 3 задачи 16.3 получим
$$E\xi_t\xi_s=E\xi_tE(\xi_s-\xi_t)+E\xi_t^2=\lambda{t}\lambda(s-t)+\lambda{t}+(\lambda{t})^2=\lambda^2ts+\lambda{t},$$
следовательно,
$$K(t,s)=E\xi_t\xi_s-E\xi_tE\xi_s=\lambda^2ts+\lambda{t}-\lambda^2ts=\lambda{t}.$$
Аналогично при $0<s<t$ $K(t,s)=\lambda{s}$, то есть $K(t,s)=\lambda\min(t,s)$.
Таким образом, пуассоновский процесс не является стационарным в широком смысле.
Замечание 16.8: Если $\{\xi_t\mid{t}\in{T}\}$ - стационарный в широком смысле случайный процесс, то в качестве его ковариационной функции можно рассматривать функцию $\tilde{K}(x)$ из п. 3 определения 16.10, которая обладает следующими свойствами