Банк задач по математике

Задача 28.1

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

\begin{bmatrix} 1/2 & 1/3 & 1/6 \\ 1/2 & 1/3 & 1/6 \\ 1/2 & 1/3 & 1/6 \end{bmatrix}.

?

Примечание.

?

Состояние $x_i$ называется несущественным, если найдётся такое состояние $x_j \neq x_i$ и время $n$ , что вероятность перехода из состояния $x_i$ в $x_j$ за время $n$ больше нуля, но при этом нельзя перейти обратно из состояния $x_j$ в $x_i$ . Состояние называется существенным, если оно не является несущественным. Существенные состояния $x_i$ и $x_j$ называются сообщающимися, если вероятность перехода из $x_i$ в $x_j$ за некоторое время больше нуля и одновременно вероятность перехода обратно из $x_j$ в $x_i$ за некоторое время также больше нуля. Некоторое множество $S$ попарно сообщающихся состояний называется классом эквивалентности, если оно включает в себя все состояния, сообщающиеся с состояниями из $S$ . Если класс эквивалентности $S$ состоит из одного состояния, то последнее называется поглощающим состоянием. Цепь Маркова называется неразложимой, если все её состояния образуют один класс эквивалентности, и разложимой, если её состояния образуют как минимум два класса эквивалентности. Состояние $x_i$ называется периодическим с периодом $d_i$ , если возвращение с положительной вероятностью в это состояние возможно лишь за число шагов, кратное $d_i$ , и $d_i$ есть наибольшее число, обладающее этим свойством; цепь называется непериодической, если все состояния имеют период, равный $1$ .

Задача 28.2

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

\begin{bmatrix} 0 & 1/2 & 1/2 \\ 1/2 & 0 & 1/2 \\ 1/2 & 1/2 & 0 \end{bmatrix}.

?

Задача 28.3

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

\begin{bmatrix} 0 & 0 & 1 & 0 \\ 1 & 0 & 0 & 0 \\ 0 & 1/2 & 1/2 & 0 \\ 1/3 & 1/3 & 1/3 & 0 \end{bmatrix}.

?

Задача 28.4

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

\begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 \\ 0 & 1 & 0 & 0 \\ 1/3 & 0 & 2/3 & 0 \end{bmatrix}.

?

Задача 28.5

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

\begin{bmatrix} 1/3 & 2/3 & 0 & 0 & 0 & 0 \\ 2/3 & 1/3 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1/4 & 3/4 & 0 \\ 0 & 0 & 1/5 & 4/5 & 0 & 0 \\ 1/4 & 0 & 1/4 & 0 & 1/4 & 1/4 \\ 1/6 & 1/6 & 1/6 & 1/6 & 1/6 & 1/6 \end{bmatrix}.

?

Задача 28.6

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

\begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 \\ 3/4 & 1/4 & 0 & 0 & 0 & 0 \\ 0 & 1/8 & 7/8 & 0 & 0 & 0 \\ 0 & 1/4 & 1/4 & 0 & 1/8 & 3/8 \\ 0 & 1/3 & 0 & 1/6 & 1/6 & 1/3 \\ 0 & 0 & 0 & 0 & 0 & 1 \end{bmatrix}.

?

Задача 28.7

Дать классификацию состояний цепи Маркова с матрицей переходных вероятностей

\begin{bmatrix} p & 1-p & 0 \\ 0 & p & 1-p \\ 1-p & 0 & p \end{bmatrix}.

?

Задача 28.8

Эргодична ли цепь Маркова со следующей матрицей вероятностей перехода за один шаг?

\begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}.

?

Задача 28.9

Эргодична ли цепь Маркова со следующей матрицей вероятностей перехода за один шаг?

\begin{bmatrix} 1 & 0 \\ 1 & 0 \end{bmatrix}.

?

Задача 28.10

Эргодична ли цепь Маркова со следующей матрицей вероятностей перехода за один шаг?

\begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}.

?

Задача 28.11

Эргодична ли цепь Маркова со следующей матрицей вероятностей перехода за один шаг?

\begin{bmatrix} 1/2 & 1/2 \\ 0 & 1 \end{bmatrix}.

?

Задача 28.12

Эргодична ли цепь Маркова со следующей матрицей вероятностей перехода за один шаг?

\begin{bmatrix} 1/2 & 1/2 \\ 1 & 0 \end{bmatrix}.

?

Задача 28.13

Пусть $\{ \xi_n\}$ — цепь Маркова со значениями в $\mathbb {Z}_+$ и с переходными вероятностями

p_{ij} = \begin{cases} \lambda ^{j-i} e^{-\lambda }/(j-i)!, & \text{если } j \geqslant i, \\ 0, & \text{иначе.} \end{cases}

Доказать, что цепь $\{ \xi_n\}$ не имеет инвариантного распределения.

?

Задача 28.14

Пусть $\{ \xi_n\}$ — случайное блуждание с отражением в точках $0$ и $N$ , т.е. цепь Маркова со значениями в $\{ 0, \ldots , N\}$ и с переходными вероятностями $p_{i,i+1} = p_{i,i-1} = 1/2$ , если $0 < i < N$ , $p_{0,1} = p_{N,N-1} = 1$ . Доказать, что цепь $\{ \xi_n\}$ эргодична и найти её инвариантное распределение.

?

Задача 28.15

Рассмотрим процесс случайного блуждания на целочисленном отрезке $[0, N]$ , где $p_{i,i+1} = 1 - p_{i,i-1} = p$ при $i = 1, \ldots , N-1$ и $p_{0,0} = p_{N,N} = 1$ . Найти вероятность поглощения состояниями $0$ или $N$ , если начальным состоянием является $k$ .

?

Задача 28.16

Пусть $P = \left\| p_{ij}\right\|$ — матрица переходных вероятностей неприводимой цепи Маркова. Доказать, что если матрица $P$ идемпотентна (т.е. $P = P^2$ ), то $p_{ij} = p_{jj}$ для всех $i$ и $j$ и цепь непериодична.

?

Задача 28.17

Доказать, что если число $N$ состояний цепи Маркова конечно и состояние $j$ достижимо из состояния $i$ , то оно достижимо не более чем за $N-1$ шаг.

?

Задача 28.18

Доказать, что неприводимая цепь Маркова, у которой положителен хотя бы один диагональный элемент матрицы переходов, не может быть периодической.

?

Задача 28.19

Могут ли все состояния цепи Маркова с конечным числом состояний быть несущественными?

?

Задача 28.20

Могут ли все состояния цепи Маркова со счётным числом состояний быть несущественными?

?

Задача 28.21

Показать, что у неэргодичной цепи Маркова может существовать инвариантное распределение, причём единственное.

?

Задача 28.22

Рассмотрим неразложимую цепь Маркова со множеством состояний $\{ 0, 1, 2, \ldots \}$ . Доказать, что для невозвратности цепи необходимо и достаточно, чтобы система уравнений

u_i = \sum _{j=0}^{\infty } p_{ij} u_j, \qquad i \geqslant 1,

имела ограниченное решение, не равное тождественно постоянной.

?

Задача 28.23

Рассмотрим неразложимую цепь Маркова со множеством состояний $\{ 0, 1, 2, \ldots \}$ . Доказать, что для возвратности цепи достаточно существования последовательности $u_1, u_2, \ldots$ такой, что $u_i \to \infty$ при $i \to \infty$ и для всех $i \neq 0$

u_i \geqslant \sum _{j=0}^{\infty } p_{ij} u_j.

?

Задача 28.24

Рассмотрим неразложимую цепь Маркова со множеством состояний $\{ 0, 1, 2, \ldots \}$ . Доказать, что для положительной возвратности цепи необходимо и достаточно, чтобы система уравнений

u_j = \sum _{i=0}^{\infty } u_i p_{ij}, \qquad j = 0, 1, \ldots ,

имела не равное тождественно постоянной решение, для которого $\displaystyle \sum_{i=0}^{\infty } \left|u_i\right| < \infty$ .

?

Задача 28.25

Рассмотрим цепь Маркова $\xi_n$ со значениями $0, 1, 2, \ldots , m-1$ и с матрицей вероятностей перехода за один шаг

\begin{bmatrix} p_0 & p_1 & \ldots & p_{m-1} \\ p_{m-1} & p_0 & \ldots & p_{m-2} \\ \ldots & \ldots & \ldots & \ldots \\ p_1 & p_2 & \ldots & p_0 \end{bmatrix},

где $0 \leqslant p_i < 1$ , $\sum p_i = 1$ . Доказать, что при любом $i$ вероятность $\mathbb {P}\left(\xi_n = i\right)$ сходится к $1/m$ при $n \to \infty$ .

?

Задача 28.26

Рассмотрим цепь Маркова $\xi_n$ со значениями $0, 1, 2, \ldots$ и с матрицей вероятностей перехода за один шаг

\begin{bmatrix} p_0 & p_1 & p_2 & \ldots \\ 1 & 0 & 0 & \ldots \\ 0 & 1 & 0 & \ldots \\ 0 & 0 & 1 & \ldots \\ \ldots & \ldots & \ldots & \ldots \end{bmatrix}.

Выяснить условия возвратности и положительной возвратности состояния $0$ .

?

Задача 28.27

(а)(б)

В условиях задачи 28.26 выяснить условия на вероятности $\{ p_i\}$ и функцию $f: \{ 0, 1, 2, \ldots \} \to \mathbb {R}$ , при которых для последовательности $f(\xi_n)$ :

?

(а)

выполнен закон больших чисел;

(б)

выполнена центральная предельная теорема.

Задача 28.28

Рассмотрим цепь Маркова $\xi_n$ со значениями $0, 1, 2, \ldots$ и с матрицей вероятностей перехода за один шаг

\begin{bmatrix} p_0 & 1-p_0 & 0 & 0 & \ldots \\ p_1 & 0 & 1-p_1 & 0 & \ldots \\ p_2 & 0 & 0 & 1-p_2 & \ldots \\ \ldots & \ldots & \ldots & \ldots & \ldots \end{bmatrix}.

Выяснить условия возвратности и положительной возвратности состояния $0$ .

?

Задача 28.29

(а)(б)

В условиях задачи 28.28 выяснить условия на вероятности $\{ p_i\}$ и функцию $f: \{ 0, 1, 2, \ldots \} \to \mathbb {R}$ , при которых для последовательности $f(\xi_n)$ :

?

(а)

выполнен закон больших чисел;

(б)

выполнена центральная предельная теорема.

Задача 28.30

Доказать, что если собственное значение $\lambda$ конечной стохастической матрицы по модулю равно $1$ , то $\lambda = \sqrt[n]{1}$ , где $n$ — натуральное число.

?

Задача 28.31

Доказать, что если конечная стохастическая матрица имеет два различных собственных значения, по модулю равных единице, то соответствующая цепь Маркова неэргодична.

?

Задача 28.32

Пусть $\xi_n$ — эргодическая цепь Маркова со значениями $0, 1, 2, \ldots$ и с финальными вероятностями $\{ \pi_i\}_{i=0}^{\infty }$ . Положим

\zeta _n = \sum _{i=1}^{n} \; \mathbb {1}_{\xi _i = k}.

Доказать, что $\zeta_n / n \to \pi_k$ по вероятности.

?

Задача 28.33

Пусть $\xi_n$ — эргодическая цепь Маркова со значениями $0, 1, 2, \ldots$ . Доказать, что для любых множеств $A$ и $B$ при $\left|n-m\right| \to \infty$ имеет место сходимость

\left|\mathbb {P}\left(\xi _n \in A, \xi _m \in B\right) - \mathbb {P}\left(\xi _n \in A\right) \mathbb {P}\left(\xi _m \in B\right)\right| \to 0.

?

Классификация состояний. Эргодичность цепей