Переходные вероятности

Пусть бросают монету, причём вероятность выпадения решётки равна $p$. Определим $\xi_n$ как разность между числом выпадений решётки и числом выпадений герба после $n$ бросаний монеты. В задачах 27.1--27.6 найти матрицы переходных вероятностей для марковских цепей, описывающих данный процесс.

Бросают игральную кость. Положим $\xi_n$ равной наибольшему из чисел, выпавших в первых $n$ бросаниях. Найти матрицу переходных вероятностей для марковской цепи, описывающей данный процесс.

В двух урнах размещены $N$ чёрных и $N$ белых шаров так, что каждая содержит по $N$ шаров. В каждый момент времени $n$ случайно выбирают по одному шару из каждой урны и меняют их местами. Через $\xi_n$ обозначается число белых шаров в первой урне в момент времени $n$. Найти матрицу переходных вероятностей для марковской цепи, описывающей данный процесс.

Находящаяся на прямой частица движется по этой прямой под влиянием случайных толчков, происходящих в целочисленные моменты времени. Частица может находиться в точках с целочисленными координатами $0, 1, \ldots , N$; в точках $0$ и $N$ находятся отражающие стенки. Каждый толчок переводит частицу вправо с вероятностью $p$ и влево с вероятностью $1-p$, если только частица не находится у стенки. Если же частица находится у стенки, любой толчок переводит её на единицу внутрь промежутка между стенками. Через $\xi_n$ обозначается координата частицы после $n$-го толчка. Найти матрицу переходных вероятностей для марковской цепи, описывающей данный процесс.

Находящаяся на прямой частица движется по этой прямой под влиянием случайных толчков, происходящих в целочисленные моменты времени. Частица может находиться в точках с целочисленными координатами $0, 1, \ldots , N$; в точках $0$ и $N$ находятся поглощающие стенки. Каждый толчок переводит частицу вправо с вероятностью $p$ и влево с вероятностью $1-p$, если только частица не находится у стенки. Если же частица находится у стенки, она навсегда остаётся там. Через $\xi_n$ обозначается координата частицы после $n$-го толчка. Найти матрицу переходных вероятностей для марковской цепи, описывающей данный процесс.

Белую крысу помещают в лабиринт, изображённый на рисунке. [Figure omitted — see source PDF page 153: a diagram of a 9-cell maze, cells numbered 1 through 9, with corridors connecting adjacent cells.] Крыса передвигается из ячейки в ячейку случайным образом, т.е. если ячейка имеет $k$ выходов, то крыса выбирает каждый из них с вероятностью $1/k$. В каждый момент времени крыса обязательно переходит в одну из соседних ячеек. Через $\xi_n$ обозначается номер ячейки, в которой находится крыса после $n$-го перехода. Найти матрицу переходных вероятностей для марковской цепи, описывающей данный процесс.

К рабочему, стоящему на контроле, через минуту поступают изделия, причём каждое из них независимо от других может оказаться дефектным с вероятностью $p$. Поступившие изделия рабочий одно за другим проверяет, затрачивая на проверку каждого изделия одну минуту. Если же изделие оказывается дефектным, то рабочий прекращает проверку других изделий и исправляет дефектное. На это он тратит ещё 5 минут. Является ли цепью Маркова величина $\xi_n$ — число изделий, скопившихся у рабочего через $n$ минут после начала работы?

Пусть $\xi_n$ определено как в предыдущей задаче, а $\nu_n$ — время, уже затраченное рабочим на проверку и ремонт изделия, которое в данный момент обслуживает рабочий. Является ли цепью Маркова вектор $(\xi_n, \nu_n)$?

Пусть точки $A_1, \ldots , A_n$ представляют собой вершины правильного $n$-угольника. Некоторая частица совершает случайное блуждание по точкам $A_1, \ldots , A_n$. Является ли цепью Маркова последовательность положений частицы, если частица:

Частица совершает случайное блуждание в плоскости по целочисленным точкам $(i, j)$ таким, что $0 \leqslant i, j \leqslant N$. Из любой внутренней точки указанного квадрата частица с равными вероятностями, независимо от её предыдущего движения, переходит в одну из соседних точек. Является ли цепью Маркова последовательность положений частицы, если при выходе на границу дальнейшее движение частицы подчиняется правилу:

В начальный момент времени в урне имеется $n_0$ белых и $m_0$ чёрных шаров. Через каждую единицу времени из урны по схеме выбора без возвращения извлекается один шар. Пусть $n_k$ — число белых и $m_k$ — число чёрных шаров в урне в момент времени $k$. Какие из указанных ниже последовательностей образуют цепь Маркова, а какие нет:

Пусть $\{ \xi_n\}$ — простое случайное блуждание в $\mathbb {Z}$, т.е. цепь Маркова с переходными вероятностями $p_{i,i+1} = p$ и $p_{i,i-1} = 1-p$. Найти вероятности перехода за $n$ шагов.

Пусть $\{ \xi_n\}_{n=-\infty }^{\infty }$ — стационарная последовательность, члены которой принимают лишь значения $0$ и $1$. Положим

Доказать, что $\{ \eta_n\}$ является цепью Маркова. Найти её переходные вероятности, если случайные величины $\{ \xi_n\}$ независимы.

Пусть $\xi_0, \xi_1, \ldots$ — независимые случайные величины, принимающие значения $1$ и $-1$ с вероятностью $1/2$ каждое. Доказать, что случайные величины $\eta_n = \dfrac {\xi_n + \xi_{n+1}}{2}$ не образуют цепь Маркова.

Пусть независимые случайные величины $\xi_0, \xi_1, \ldots$ принимают значения $1$ и $-1$ с вероятностями $p$ и $1-p$ соответственно. Будут ли цепями Маркова следующие последовательности случайных величин:

Рассмотрим последовательность испытаний Бернулли. Положим $\xi_n = 1$, если испытания с номерами $n-1$ и $n$ привели к успеху, и $\xi_n = 0$ иначе. Доказать, что случайные величины $\xi_n$ не образуют цепь Маркова.

Пусть $\{ \xi_n\}$ — стационарная цепь Маркова, принимающая лишь значения $0$ и $1$, с матрицей переходных вероятностей

Положим $\eta_n = 1$, если $(\xi_n, \xi_{n-1}) = (1,1)$ или $(0,0)$, и $\eta_n = 0$ иначе. Доказать, что случайные величины $\{ \eta_n\}$ независимы и одинаково распределены.

Всякая ли стохастическая матрица может быть матрицей вероятностей перехода за два шага некоторой цепи Маркова?