Ма́рковский проце́сс — случайный процесс , эволюция которого после любого заданного значения временно́го параметра ${\displaystyle t}$ не зависит от эволюции, предшествовавшей ${\displaystyle t}$ , при условии, что значение процесса в этот момент фиксировано («будущее» процесса не зависит от «прошлого» при известном «настоящем»; другая трактовка ( Вентцель ): «будущее» процесса зависит от «прошлого» лишь через «настоящее»).

Процесс Маркова — модель авторегрессии первого порядка AR(1): ${\displaystyle X_{t}=c+\alpha X_{t-1}+\varepsilon _{t}}$ .

Марковская цепь — частный случай марковского процесса, когда пространство его состояний дискретно (то есть не более чем счётно) .

История

Определяющее марковский процесс свойство принято называть марковским; впервые оно было сформулировано А. А. Марковым , который в работах 1907 года ^{[ источник не указан 557 дней ]} положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова .

Однако уже в работе Л. Башелье ^{[ источник не указан 557 дней ]} можно усмотреть попытку трактовать броуновское движение как марковский процесс, попытку, получившую обоснование после исследований Винера в 1923 году ^{[ источник не указан 557 дней ]} .

Основы общей теории марковских процессов с непрерывным временем были заложены Колмогоровым ^{[ источник не указан 557 дней ]} .

Марковское свойство

Общий случай

Пусть ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ — вероятностное пространство с фильтрацией ${\displaystyle ({\mathcal {F}}_{t},\ t\in T)}$ по некоторому ( частично упорядоченному ) множеству ${\displaystyle T}$ ; и пусть ${\displaystyle (S,{\mathcal {S}})}$ — измеримое пространство . Случайный процесс ${\displaystyle X=(X_{t},\ t\in T)}$ , определённый на фильтрованном вероятностном пространстве, считается удовлетворяющим марковскому свойству , если для каждого ${\displaystyle A\in {\mathcal {S}}}$ и ${\displaystyle s,t\in T:s<t}$

${\displaystyle \mathbb {P} (X_{t}\in A|{\mathcal {F}}_{s})=\mathbb {P} (X_{t}\in A|X_{s}).}$

Марковский процесс — это случайный процесс, удовлетворяющий марковскому свойству с естественной фильтрацией .

Для марковских цепей с дискретным временем

В случае, если ${\displaystyle S}$ является дискретным множеством и ${\displaystyle T=\mathbb {N} }$ , определение может быть переформулировано:

${\displaystyle \mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{0}=x_{0})=\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1})}$ .

Пример марковского процесса

Рассмотрим простой пример марковского случайного процесса. По оси абсцисс случайным образом перемещается точка. В момент времени t = 0 точка находится в начале координат и остаётся там в течение одной секунды. Через секунду бросается монета — если выпал герб, то точка X перемещается на одну единицу длины вправо, если решка — влево. Через секунду снова бросается монета и производится такое же случайное перемещение, и так далее. Процесс изменения положения точки (« блуждания ») представляет собой случайный процесс с дискретным временем ( t = 0, 1, 2, …) и счётным множеством состояний. Такой случайный процесс является марковским, так как следующее состояние точки зависит только от настоящего (текущего) состояния и не зависит от прошлых состояний (неважно, каким путём и за какое время точка попала в текущую координату).

Также примером марковского процесса является пуассоновский процесс с независимыми приращениями.

См. также

• Цепь Маркова
• Немарковский процесс
• Скрытая марковская модель
• Марковское свойство
• Марковский процесс принятия решений

Примечания

Литература

• Дьяконова Е . Е. Ветвящиеся процессы в марковской случайной среде // Дискрет. матем., 26:3 (2014), 10-29
• / А. В. Прохоров // Большая российская энциклопедия : [в 35 т.] / гл. ред. Ю. С. Осипов . — М. : Большая российская энциклопедия, 2004—2017.

Ссылки

• Weisstein, Eric W. (англ.) на сайте Wolfram MathWorld .