¿Qué es una cadena de Markov?
Una cadena de Markov es un proceso estocástico de tiempo discreto \(\{X_0, X_1, X_2, \ldots\}\) que toma valores en un conjunto finito de estados y satisface la propiedad de Markov o "falta de memoria":
$$P(X_{n+1} = j \mid X_0, X_1, \ldots, X_n) = P(X_{n+1} = j \mid X_n) = p_{ij}$$
La probabilidad de pasar al estado siguiente depende únicamente del estado presente, no de cómo se llegó a él. Esto simplifica enormemente el análisis matemático sin sacrificar realismo en muchas aplicaciones.
El comportamiento completo de la cadena queda especificado por la matriz de transición \(P\), donde el elemento \(p_{ij}\) es la probabilidad de pasar del estado \(i\) al estado \(j\) en un paso:
$$P = \begin{pmatrix} p_{11} & p_{12} & \cdots & p_{1n} \\ p_{21} & p_{22} & \cdots & p_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ p_{n1} & p_{n2} & \cdots & p_{nn} \end{pmatrix}, \quad \sum_{j=1}^{n} p_{ij} = 1 \text{ para todo } i$$
Cada fila de la matriz de transición es una distribución de probabilidad: los valores son no negativos y suman 1. Esto hace que \(P\) sea una matriz estocástica (o de Markov).
Distribución estacionaria
Una distribución estacionaria (o de equilibrio) es un vector de probabilidades \(\pi = (\pi_1, \pi_2, \ldots, \pi_n)\) tal que:
$$\pi P = \pi \quad \text{con} \quad \sum_{i=1}^{n} \pi_i = 1, \quad \pi_i \geq 0$$
Intuitivamente, si la cadena se encuentra en la distribución estacionaria en el instante \(n\), permanecerá en esa distribución para siempre. En la práctica, representa la fracción de tiempo a largo plazo que la cadena pasa en cada estado.
Condiciones de existencia y unicidad
- Irreducibilidad: todos los estados son accesibles desde cualquier otro estado (la cadena es un grafo fuertemente conexo). Esto garantiza que existe una única distribución estacionaria.
- Aperiodicidad: ningún estado tiene periodicidad mayor que 1. Junto con la irreducibilidad, garantiza la convergencia de la distribución de estado hacia \(\pi\) independientemente del estado inicial.
- Una cadena que es a la vez irreducible y aperiódica se denomina ergódica. Para cadenas ergódicas, \(\pi\) es la única distribución estacionaria y la cadena converge a ella.
Estado absorbente: preset Cliente / Churn
En el preset de Cliente, el estado "Churn" es un estado absorbente: \(p_{\text{churn}, \text{churn}} = 1\). Una vez que un cliente abandona, no regresa. Esto hace que la cadena sea no ergódica: eventualmente todos los clientes terminan en Churn. La distribución estacionaria asigna probabilidad 1 a ese estado y 0 al resto.
Herramientas relacionadas