Цепь Маркова

Описание	Це́пь Ма́ркова — последовательность случайных событий с конечным или счётным числом исходов, где вероятность наступления каждого события зависит только от состояния, достигнутого в предыдущем событии. Характеризуется тем свойством, что, говоря нестрого, при текущем настоящем состоянии системы, её будущее состояние не зависит от прошлого. Названа в честь А. А. Маркова (старшего), который впервые ввёл это понятие в работе 1906 года.
Область знаний	Математика, Информатика
Авторы
Поясняющее видео
Близкие понятия	Уравнение Колмогорова, PageRank
Среды и средства для освоения понятия

Определение

Последовательность дискретных случайных величин [math]\displaystyle{ \{X_n\}_{n \geqslant 0} }[/math] называется простой цепью Маркова (с дискретным временем), если

[math]\displaystyle{ \mathbb{P}(X_{n+1} = i_{n+1} \mid X_n = i_n, X_{n-1} = i_{n-1},\ldots, X_0 = i_0) = \mathbb{P}(X_{n+1} = i_{n+1} \mid X_n = i_n) }[/math].

Таким образом, в простейшем случае условное распределение последующего состояния цепи Маркова зависит только от текущего состояния и не зависит от всех предыдущих состояний (в отличие от цепей Маркова высших порядков).

Область значений случайных величин [math]\displaystyle{ \{X_n\} }[/math] называется простра́нством состоя́ний цепи, а номер [math]\displaystyle{ n }[/math] — номером шага.