Cadena de Markov

 

Cadena de Markov

¿Qué es? La cadena de Markov, también conocida como modelo de Markov o proceso de Markov, es un concepto desarrollado dentro de la teoría de la probabilidad y la estadísca que establece una fuerte dependencia entre un evento y otro suceso anterior. Su principal ulidad es el análisis del comportamiento de procesos estocáscos.

Nomenclatura

Suposiciones Del Modelo De Markov Las suposiciones del Modelo del Markov son las siguientes:

a) La suma de las las de la l a matriz d3e transición puede ser igual a uno y su forma general está presentado por:

b) Cada elemento de la matriz de transición debe ser no negavo y su forma general está presentado por:

 

Según Render las suposiciones del Modelo del Markov son las siguientes: a) Existe un número limitado o nito de estados posibles. b) La probabilidad de que los estados cambien permanece igual a lo largo del empo. c) Se puede predecir cualquier estado futuro a parr del estado anterior y de la matriz de probabilidades se transición. d) El tamaño y constución del sistema (por ejemplo, el número total de fabricantes y clientes) no cambian durante el análisis. (Render, 2006).

El modelo de Markov ene la propiedad de que las probabilidades que describen las formas en que el proceso evolucionara en el futuro dependen solo del estado actual en que se encuentra el proceso y, por lo tanto, son independientes de los eventos que ocurrieron en el pasado. Muchos procesos se ajustan a esta descripción, por lo que las cadenas de Markov constuyen una clase de modelo probabilísco de gran importancia importancia..

¿Para que se uliza? Una de las principales ulidades que ene el modelo de Markov es establecer las posibilidades de cualquier evento futuro conociendo los eventos pasados. Esto puede y afecta las decisiones que podríamos tomar basándonos en la incerdumbre incerdumbre que provocan poseer varios eventos futuros y todos enen su grado de probabilidad de que sucedan.

Otro de los factores que altera la toma de decisiones es cuando estos posibles eventos futuros se ven alterados con el paso del empo, para evitar este acontecimiento existe este modelo el cual ene la propiedad parcular de que las probabilidades que describen la forma en que el proceso evolucionara en el futuro solo dependerán del estado actual en que se encuentra el proceso y por lo tanto son independientes de los eventos ocurridos en el pasado.

Tipos de Cadena Cadenas Irreducibles: Irreducibles:

 

Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí): 1- Desde Desde cualquier cualquier estado estado de E se puede puede acceder acceder a cualqu cualquier ier otro. otro. 2- Todos los estados se comunican entre sí. 3- C(x)=E para algún x∈E. 4- C(x)=E para todo x∈E. 5- El único conjunto cerrado es el total. Cadenas posivo-recurrentes: posivo-recurrentes:

Una cadena de Markov se dice posivo-recurrente si todos sus estados son posivo-recurrentes. posivo-recurrent es. Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por:

Cadenas regulares:

Una cadena de Markov se dice regular (también primiva o ergódica) si existe alguna potencia posiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero. Cuando el espacio de estados E es nito, si P denota la matriz de transición de la cadena se ene que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, éste vector invariante es único. Cadenas absorbentes:

Una cadena de Márkov con espacio de estados nito se dice absorbente si se cumplen las dos condiciones siguientes: -La cadena ene al menos un estado absorbente. -De cualquier estado no absorbente se accede a algún estado absorbente.

 

Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento complement o como D, tenemos los siguientes resultados: -

Su ma matri trizz de tran transic sición ión siem siempre pre se se puede puede lleva llevarr a una una de la form forma: a:

 

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz idendad, 0 es la matriz nula y R alguna submatriz. -

esto esto es, no import importa a en donde donde se encuen encuentr tre e la cadena cadena,, eventualmente terminará en un estado absorbente.