ЦЕПИ МАРКОВА

Пусть бросают монету, причём вероятность выпадения решётки равна $p$. Определим $\xi_n$ как разность между числом выпадений решётки и числом выпадений герба после $n$ бросаний монеты. В задачах 27.1--27.6 найти матрицы переходных вероятностей для марковских цепей, описывающих данный процесс.

Бросают игральную кость. Положим $\xi_n$ равной наибольшему из чисел, выпавших в первых $n$ бросаниях. Найти матрицу переходных вероятностей для марковской цепи, описывающей данный процесс.

В двух урнах размещены $N$ чёрных и $N$ белых шаров так, что каждая содержит по $N$ шаров. В каждый момент времени $n$ случайно выбирают по одному шару из каждой урны и меняют их местами. Через $\xi_n$ обозначается число белых шаров в первой урне в момент времени $n$. Найти матрицу переходных вероятностей для марковской цепи, описывающей данный процесс.

Находящаяся на прямой частица движется по этой прямой под влиянием случайных толчков, происходящих в целочисленные моменты времени. Частица может находиться в точках с целочисленными координатами $0, 1, \ldots , N$; в точках $0$ и $N$ находятся отражающие стенки. Каждый толчок переводит частицу вправо с вероятностью $p$ и влево с вероятностью $1-p$, если только частица не находится у стенки. Если же частица находится у стенки, любой толчок переводит её на единицу внутрь промежутка между стенками. Через $\xi_n$ обозначается координата частицы после $n$-го толчка. Найти матрицу переходных вероятностей для марковской цепи, описывающей данный процесс.

Находящаяся на прямой частица движется по этой прямой под влиянием случайных толчков, происходящих в целочисленные моменты времени. Частица может находиться в точках с целочисленными координатами $0, 1, \ldots , N$; в точках $0$ и $N$ находятся поглощающие стенки. Каждый толчок переводит частицу вправо с вероятностью $p$ и влево с вероятностью $1-p$, если только частица не находится у стенки. Если же частица находится у стенки, она навсегда остаётся там. Через $\xi_n$ обозначается координата частицы после $n$-го толчка. Найти матрицу переходных вероятностей для марковской цепи, описывающей данный процесс.

Белую крысу помещают в лабиринт, изображённый на рисунке. [Figure omitted — see source PDF page 153: a diagram of a 9-cell maze, cells numbered 1 through 9, with corridors connecting adjacent cells.] Крыса передвигается из ячейки в ячейку случайным образом, т.е. если ячейка имеет $k$ выходов, то крыса выбирает каждый из них с вероятностью $1/k$. В каждый момент времени крыса обязательно переходит в одну из соседних ячеек. Через $\xi_n$ обозначается номер ячейки, в которой находится крыса после $n$-го перехода. Найти матрицу переходных вероятностей для марковской цепи, описывающей данный процесс.

К рабочему, стоящему на контроле, через минуту поступают изделия, причём каждое из них независимо от других может оказаться дефектным с вероятностью $p$. Поступившие изделия рабочий одно за другим проверяет, затрачивая на проверку каждого изделия одну минуту. Если же изделие оказывается дефектным, то рабочий прекращает проверку других изделий и исправляет дефектное. На это он тратит ещё 5 минут. Является ли цепью Маркова величина $\xi_n$ — число изделий, скопившихся у рабочего через $n$ минут после начала работы?

Пусть $\xi_n$ определено как в предыдущей задаче, а $\nu_n$ — время, уже затраченное рабочим на проверку и ремонт изделия, которое в данный момент обслуживает рабочий. Является ли цепью Маркова вектор $(\xi_n, \nu_n)$?

Пусть точки $A_1, \ldots , A_n$ представляют собой вершины правильного $n$-угольника. Некоторая частица совершает случайное блуждание по точкам $A_1, \ldots , A_n$. Является ли цепью Маркова последовательность положений частицы, если частица:

Частица совершает случайное блуждание в плоскости по целочисленным точкам $(i, j)$ таким, что $0 \leqslant i, j \leqslant N$. Из любой внутренней точки указанного квадрата частица с равными вероятностями, независимо от её предыдущего движения, переходит в одну из соседних точек. Является ли цепью Маркова последовательность положений частицы, если при выходе на границу дальнейшее движение частицы подчиняется правилу:

В начальный момент времени в урне имеется $n_0$ белых и $m_0$ чёрных шаров. Через каждую единицу времени из урны по схеме выбора без возвращения извлекается один шар. Пусть $n_k$ — число белых и $m_k$ — число чёрных шаров в урне в момент времени $k$. Какие из указанных ниже последовательностей образуют цепь Маркова, а какие нет:

Пусть $\{ \xi_n\}$ — простое случайное блуждание в $\mathbb {Z}$, т.е. цепь Маркова с переходными вероятностями $p_{i,i+1} = p$ и $p_{i,i-1} = 1-p$. Найти вероятности перехода за $n$ шагов.

Пусть $\{ \xi_n\}_{n=-\infty }^{\infty }$ — стационарная последовательность, члены которой принимают лишь значения $0$ и $1$. Положим

Доказать, что $\{ \eta_n\}$ является цепью Маркова. Найти её переходные вероятности, если случайные величины $\{ \xi_n\}$ независимы.

Пусть $\xi_0, \xi_1, \ldots$ — независимые случайные величины, принимающие значения $1$ и $-1$ с вероятностью $1/2$ каждое. Доказать, что случайные величины $\eta_n = \dfrac {\xi_n + \xi_{n+1}}{2}$ не образуют цепь Маркова.

Пусть независимые случайные величины $\xi_0, \xi_1, \ldots$ принимают значения $1$ и $-1$ с вероятностями $p$ и $1-p$ соответственно. Будут ли цепями Маркова следующие последовательности случайных величин:

Рассмотрим последовательность испытаний Бернулли. Положим $\xi_n = 1$, если испытания с номерами $n-1$ и $n$ привели к успеху, и $\xi_n = 0$ иначе. Доказать, что случайные величины $\xi_n$ не образуют цепь Маркова.

Пусть $\{ \xi_n\}$ — стационарная цепь Маркова, принимающая лишь значения $0$ и $1$, с матрицей переходных вероятностей

Положим $\eta_n = 1$, если $(\xi_n, \xi_{n-1}) = (1,1)$ или $(0,0)$, и $\eta_n = 0$ иначе. Доказать, что случайные величины $\{ \eta_n\}$ независимы и одинаково распределены.

Всякая ли стохастическая матрица может быть матрицей вероятностей перехода за два шага некоторой цепи Маркова?

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

Определить число состояний цепи Маркова, классы эквивалентности и периодичность различных состояний, если матрица переходных вероятностей равна:

Дать классификацию состояний цепи Маркова с матрицей переходных вероятностей

Эргодична ли цепь Маркова со следующей матрицей вероятностей перехода за один шаг?

Эргодична ли цепь Маркова со следующей матрицей вероятностей перехода за один шаг?

Эргодична ли цепь Маркова со следующей матрицей вероятностей перехода за один шаг?

Эргодична ли цепь Маркова со следующей матрицей вероятностей перехода за один шаг?

Эргодична ли цепь Маркова со следующей матрицей вероятностей перехода за один шаг?

Пусть $\{ \xi_n\}$ — цепь Маркова со значениями в $\mathbb {Z}_+$ и с переходными вероятностями

Доказать, что цепь $\{ \xi_n\}$ не имеет инвариантного распределения.

Пусть $\{ \xi_n\}$ — случайное блуждание с отражением в точках $0$ и $N$, т.е. цепь Маркова со значениями в $\{ 0, \ldots , N\}$ и с переходными вероятностями $p_{i,i+1} = p_{i,i-1} = 1/2$, если $0 < i < N$, $p_{0,1} = p_{N,N-1} = 1$. Доказать, что цепь $\{ \xi_n\}$ эргодична и найти её инвариантное распределение.

Рассмотрим процесс случайного блуждания на целочисленном отрезке $[0, N]$, где $p_{i,i+1} = 1 - p_{i,i-1} = p$ при $i = 1, \ldots , N-1$ и $p_{0,0} = p_{N,N} = 1$. Найти вероятность поглощения состояниями $0$ или $N$, если начальным состоянием является $k$.

Пусть $P = \left\| p_{ij}\right\|$ — матрица переходных вероятностей неприводимой цепи Маркова. Доказать, что если матрица $P$ идемпотентна (т.е. $P = P^2$), то $p_{ij} = p_{jj}$ для всех $i$ и $j$ и цепь непериодична.

Доказать, что если число $N$ состояний цепи Маркова конечно и состояние $j$ достижимо из состояния $i$, то оно достижимо не более чем за $N-1$ шаг.

Доказать, что неприводимая цепь Маркова, у которой положителен хотя бы один диагональный элемент матрицы переходов, не может быть периодической.

Могут ли все состояния цепи Маркова с конечным числом состояний быть несущественными?

Могут ли все состояния цепи Маркова со счётным числом состояний быть несущественными?

Показать, что у неэргодичной цепи Маркова может существовать инвариантное распределение, причём единственное.

Рассмотрим неразложимую цепь Маркова со множеством состояний $\{ 0, 1, 2, \ldots \}$. Доказать, что для невозвратности цепи необходимо и достаточно, чтобы система уравнений

имела ограниченное решение, не равное тождественно постоянной.

Рассмотрим неразложимую цепь Маркова со множеством состояний $\{ 0, 1, 2, \ldots \}$. Доказать, что для возвратности цепи достаточно существования последовательности $u_1, u_2, \ldots$ такой, что $u_i \to \infty$ при $i \to \infty$ и для всех $i \neq 0$

Рассмотрим неразложимую цепь Маркова со множеством состояний $\{ 0, 1, 2, \ldots \}$. Доказать, что для положительной возвратности цепи необходимо и достаточно, чтобы система уравнений

имела не равное тождественно постоянной решение, для которого $\displaystyle \sum_{i=0}^{\infty } \left|u_i\right| < \infty$.

Рассмотрим цепь Маркова $\xi_n$ со значениями $0, 1, 2, \ldots , m-1$ и с матрицей вероятностей перехода за один шаг

где $0 \leqslant p_i < 1$, $\sum p_i = 1$. Доказать, что при любом $i$ вероятность $\mathbb {P}\left(\xi_n = i\right)$ сходится к $1/m$ при $n \to \infty$.

Рассмотрим цепь Маркова $\xi_n$ со значениями $0, 1, 2, \ldots$ и с матрицей вероятностей перехода за один шаг

Выяснить условия возвратности и положительной возвратности состояния $0$.

В условиях задачи 28.26 выяснить условия на вероятности $\{ p_i\}$ и функцию $f: \{ 0, 1, 2, \ldots \} \to \mathbb {R}$, при которых для последовательности $f(\xi_n)$:

Рассмотрим цепь Маркова $\xi_n$ со значениями $0, 1, 2, \ldots$ и с матрицей вероятностей перехода за один шаг

Выяснить условия возвратности и положительной возвратности состояния $0$.

В условиях задачи 28.28 выяснить условия на вероятности $\{ p_i\}$ и функцию $f: \{ 0, 1, 2, \ldots \} \to \mathbb {R}$, при которых для последовательности $f(\xi_n)$:

Доказать, что если собственное значение $\lambda$ конечной стохастической матрицы по модулю равно $1$, то $\lambda = \sqrt[n]{1}$, где $n$ — натуральное число.

Доказать, что если конечная стохастическая матрица имеет два различных собственных значения, по модулю равных единице, то соответствующая цепь Маркова неэргодична.

Пусть $\xi_n$ — эргодическая цепь Маркова со значениями $0, 1, 2, \ldots$ и с финальными вероятностями $\{ \pi_i\}_{i=0}^{\infty }$. Положим

Доказать, что $\zeta_n / n \to \pi_k$ по вероятности.

Пусть $\xi_n$ — эргодическая цепь Маркова со значениями $0, 1, 2, \ldots$. Доказать, что для любых множеств $A$ и $B$ при $\left|n-m\right| \to \infty$ имеет место сходимость