Cadenas de Markov

CADENAS DE MARKOV

1

Tabla de Contenido

Resumen…………………………………………………… Resumen………………………… …………………………………………………… ……………………………… …….4 Introducción…………………………………………………… Introducción………………………… ……………………………………………………...5 …………………………...5 Concepto de un proceso estocástico ……………………………………………………….6 ……………………………………………………….6 Definiciones de cadenas cad enas de Markov………………………… Markov……………………………………………….……… …………………….……….8 .8

Matriz de transición……………… transición………………………………………… …………………………………………………….…..9 ………………………….…..9 Clases de cadenas cad enas de Markov…………………………… Markov……………………………………………………… ……………………………….. ……..13

Cadenas Irreductibles…………………………………………………….………13 Cadenas positivo-recurrentes………………………………………… .…………13 Cadenas de Markov en tiempo continúo……………………………….………...13 Cadenas absorbentes……………………………………………………….…….14 Cadenas ergódicas o irregulares…………………………………………….…...15 Cadenas Semiergódicas…………………………………………………….……15 Cadenas no ergódicas……………………………………………………….…...16 Cadenas cíclicas…………………………………………………………….……17

Ejemplos………………….……………………………… Ejemplos………………….…… ……………………………………………………… …………………………….…19 .…19 Ejemplo 1…………..…………………… 1…………..…………………………………………………………… ………………………………………19 19 Ejemplo 2………………………………..…………………………………… .…21 Ejemplo 3………………………………………………………………...……....23 Ejemplo 4………………………………………………………………………...24 Conclusión…………………………………………………… Conclusión………………………… …………………………………………………...…28 ………………………...…28 Bibliografía…………………………………………… Bibliografía……………… ……………………………………………………… …………………………………..29 ………..29

CADENAS DE MARKOV

2

Resumen

En la teoría de la probabilidad, probabilidad, se conoce como cadena de Márkov a un tipo especial de proceso de  proceso estocástico  estocástico  discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al moneda al aire o un dado. Reciben su nombre del matemático ruso Andrei Andreevitch Markov  Markov  (1856-1922), que las introdujo en 1907 Abstract

In probability theory, known as Markov chain to a special type of discrete stochastic process in which the probability of an event depends on the event immediately preceding. Indeed, this type chains have memory. "Remember" the last event and this affects the possibilities for future events. This dependence of the previous event distinguishes Markov chains series of independent events, such as a coin toss or a dice. They get their name Andreevitch Russian mathematician Andrei Markov (1856-1922), who introduced them in 1907 Palabras Claves

Estocástico, Cadena de Markov, Matriz de transición.

CADENAS DE MARKOV

3

Instrucción

En el presente trabajo hablaremos sobre las cadenas de Markov, en donde antes de definir este concepto encontraremos la estrecha relación que tiene con el proceso estocástico, el cual es entendido como una sucesión de variables aleatorias que evolucionan en función de otra variable, es decir, cada variable o conjunto de variables sometidas a impactos aleatorios constituirán este  proceso de acuerdo al tiempo. Entonces, la cadena de Markov será entendida como un tipo especial de procesos estocásticos de tiempo discreto, la característica principal es que los estados futuros son independientes de los últimos estados y las probabilidades no son las mismas de acuerdo a la distribución. El campo de aplicación de las cadenas de Markov es amplio, es utilizada en el proceso industrial de fabricación de tejas, en los negocios para analizar los patrones de compra de los deudores,  para planear las necesidades de personal, para analizar el reemplazo de equipo, entre otros. También se usa en disciplinas como la física, ingeniería, biología, medicina y otras ramas de la matemática. Los temas que se presentan a continuación nos describirán el proceso de las cadenas con la ayuda de los ejemplos que se desarrollarán más adelante.

CADENAS DE MARKOV

4

Cadenas de Markov

Concepto de un Proceso Estocástico

Es un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar. Frederick & Liberman (9a Ed), introducción a la investigación de operaciones, pag 673, Nos afirma que “Es una colección indexada de variables aleatorias { X t }, donde el índice t toma valores de un conjunto T dado. Con frecuencia T se considera el conjunto de enteros no negativos mientras que  X t  representa una característica de interés cuantificable en el tiempo t . Por ejemplo, X t  puede representar los niveles de inventario al final de la semana t  . ”

Ejemplo:

La tienda de fotografía de Dave tiene el siguiente problema de inventario. El negocio tiene en almacén un modelo especial de cámara que se puede solicitar cada semana. Sean  D1,  D2, . . . representan las demandas respectivas de esta cámara (el número de unidades que se venderían si el inventario no se agota) durante la primera, segunda semanas, . . ., respectivamente, entonces, la variable aleatoria Dt  (para t = 1, 2, . . .) es  Dt  = número de cámaras que se venderían en la semana t si el inventario no se agota. (Este

número incluye las ventas perdidas cuando se agota el inventario). Se supone que las Dt  son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución Poisson con media de 1. Sea X 0 el número de cámaras que se tiene en el momento de iniciar el proceso, X 1 el número de cámaras que se tienen al final de la semana 1, X 2 el número de cámaras al final de la semana 2, etc., entonces la variable aleatoria  X t  (para t = 0, 1, 2, . . .) es

CADENAS DE MARKOV

5

 X t  = número de cámaras disponibles al final de la semana t .

Suponga que X 0 = 3, de manera que la semana 1 se inicia con tres cámaras a mano. { X t}  = { X 0, X 1, X 2,. . .} Es un proceso estocástico donde la variable aleatoria  X t  representa el estado del sistema en el tiempo t , a saber Estado en el tiempo t = número de cámaras disponibles al final de la semana t . Como propietario de la tienda, Dave desearía aprender más acerca de cómo evoluciona este  proceso estocástico a través del tiempo mientras se utilice la política de pedidos actual que se describe a continuación. Al final de cada semana t (sábado en la noche), la tienda hace un pedido que le entregan en el momento de abrir la tienda el lunes. La tienda usa la siguiente política para ordenar: Si X t  = 0, ordena 3 cámaras. Si X t  > 0, no ordena ninguna cámara. En consecuencia, el nivel de inventarios fluctúa entre un mínimo de cero y un máximo de tres cámaras, por lo que los estados posibles del sistema en el tiempo t (al final de la semana t ) son Estados posibles = 0, 1, 2, o 3 cámaras disponibles. Como cada variable aleatoria  X t  (t = 0, 1, 2, . . .) representa el estado del sistema al final de la semana t , sus únicos valores posibles son 0, 1, 2, 3. Las variables aleatorias  X t  son dependientes y se pueden evaluar en forma iterativa por medio de la expresión  X t + 1

 {}      {  }    

Para t = 0, 1, 2, . . .

CADENAS DE MARKOV

6

Definiciones de Cadena de Markov

“Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno

de determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no determinística a lo largo del tiempo en entorno a un conjunto de estados. Por tanto, representa un sistema que varía su estado a lo largo del tiempo. Siendo cada cambio una transición del sistema. Dichos cambios no están predeterminados, aunque sí lo está la probabilidad del próximo estado en función de los estados, probabilidad que es constante a lo largo del tiempo (sistema homogéneo en el tiempo). Eventualmente, es una transición, el nuevo estado puede ser el mismo que el anterior y es posible que exista la probabilidad de influir en las probabilidades de transición actuando sobre el sistema (decisión)”. http://investigaciondeoperaciones2.wordpress.com

Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.

Esta consta de unos estados E1 E2 E3 E4…..En. que inicialmente en un tiempo 0 o paso 0 que

se le llama estado inicial, además de esto consta de una matriz de transición que significa la  posibilidad de que se cambie de estado en un próximo tiempo o paso.

CADENAS DE MARKOV

7

Matriz de Transición

Una matriz de transición para una cadena de Markov de n estado es una matriz de n X n con todos los registros no negativos y con la propiedad adicional de que la suma de los registros de cada columna (o fila) es 1. Por ejemplo: las siguientes son matrices de transición.

Representación gráfica de una matriz de transición:

Es el arreglo numérico donde se condensa las probabilidades de un estado a otro. A través de una gráfica de matriz de transición se puede observar el comportamiento estacionario representado por una cadena de Markov tal que los estados representan la categoría en que se encuentre clasificado. Como se aprecia a continuación:

PROPIEDADES: 1- la suma de las probabilidades de los estados debe ser igual a 1. 2- la matriz de transición debe ser cuadrada.

CADENAS DE MARKOV

8

3- las probabilidades de transición deben estar entre 0 y 1. Ejemplo:

El comportamiento de cambo de marca de los consumidores h sido modelado como una cadena de Markov, para ayudar a desarrollar las estrategias de mercadotecnia. A manera de ejemplo, obsérvese el siguiente comportamiento de cambio de marca descrito en la siguiente tabla para una muestra de 250 consumidores de un producto. Número de consumidores que cambian la marca i en la semana 6 j en la semana 7.

El primer renglón indica que, de 80 personas que compraron la marca 1 en la semana 6, 72 volvieron a adquirirla en la semana 7, 4 prefirieron la marca 2 y 4 la marca 3. Sin embargo, nótese que 12 personas cambiaron la marca 2 por la marca 1 y 2 personas cambiaron la marca 3  por la marca 1. A si pues, para la marca 1, la pérdida de 8 clientes se compensó con creces por la conquista de 14 clientes. Entre la sexta y la séptima semanas, la marca 1 aumentó su  participación en el mercado de 32%(80/250) a 34,4% (86/250). La matriz de probabilidades de transición para la tabla de contingencia es P:

CADENAS DE MARKOV

9

La matriz P es una estimación de la matriz verdadera, pues solamente representa el comportamiento de una muestra de 250 consumidores, durante a un periodo de dos semanas. Los elementos P11, P22 y P33 de la matriz P son medidas del “poder de retención” de las tres marcas; los restantes elementos Pij reflejan el “poder de atracción” de la marca j, suponiendo que

la compra anterior haya sido a favor de la marca i. Los elementos de cada fila reflejan la  probabilidad de que una marca retenga a sus clientes o los pierda frente a otras marcas. Los elementos de cada columna resumen la probabilidad de que una marca retenga a sus clientes o conquiste a otros a costa de cada marca de la competencia. Suponiendo que la participación en los mercados que tienen la tres marcas del ejemplo son 30%, 38% y 32&, respectivamente, durante la séptima semana. Si la matriz de transición P (maestral), se considera una buena estimación de la verdadera matriz de transición (poblacional), es posible predecir las participaciones de mercado esperada en la octava semana por medio de la multiplicación de matrices. Así entonces:

Las participaciones en el mercado predichas durante la octava semana son 32,08%, 37,64% y 30,28%, respectivamente para la tres marcas. Generalizando, podemos decir que si un proceso de Markov donde el sistema puede encontrarse en cualquiera de m estados posibles, las probabilidades pueden escribirse por medio del vector X=(x1 x2……..xn) donde x j representa probabilidad de que el sistema se halle en el

CADENAS DE MARKOV

10

estado j. En los estados actuales de un proceso de Markov Xk , los estados después del siguiente experimento (transición) pueden calcularse mediante la multiplicación con de matrices. Xk+1 = X k P Con base en la ecuación anterior se puede afirmar que:

Generalizando:

Ya que en este caso X0 corresponde al vector X7.

Fraleigh, John. Algebra Lineal. Editorial Addison Wesley.1989.

CADENAS DE MARKOV

11

Clases de Cadenas de Markov Cadenas irreducibles

Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí): 1. Desde cualquier estado de E se puede acceder a cualquier otro. 2. Todos los estados se comunican entre sí.

∈ 4. C(x)=E para todo x∈E.

3. C(x)=E para algún x E.

5. El único conjunto cerrado es el total. La  cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de cadenas de Markov irreducibles. Cadenas positivo-recurrentes

Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivorecurrentes. Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por: Cadenas de Markov en tiempo continuo

Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. Con i indexado en el conjunto

de números naturales, se consideran las variables Aleatorias Xt con t que varía en un

intervalo continuo del conjunto

de números reales, tendremos una cadena en tiempo continuo.

Para este tipo de cadenas en tiempo continuo la propiedad de Markov se expresa de la siguiente manera:

Tal que

CADENAS DE MARKOV

12

Para una cadena de Markov continua con un número finito de estados puede definirse una matriz estocástica dada por:

La cadena se denomina homogénea si

. Para una cadena de

Markov en tiempo continuo homogénea y con un número finito de estados puede definirse el llamado generador infinitesimal como:

Y puede demostrarse que la matriz estocástica viene dada por:

Cadenas absorbentes

Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes: 1. La cadena tiene al menos un estado absorbente. 2. De cualquier estado no absorbente se accede a algún estado absorbente. Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados:



Su matriz de transición siempre se puede llevar a una de la forma

CADENAS DE MARKOV

13

Donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.

, esto es, no importa en donde se encuentre la cadena,



eventualmente terminará en un estado absorbente. Cadenas ergódicas o regulares

La cadena de Markov C1, de dos estados, tiene la matriz de probabilidades de transición:

Calculemos la potencia decimosexta de esa matriz para aproximar la matriz de probabilidades estacionarias:

Se observa que las probabilidades de estado estable de los diferentes estados son independientes del estado de origen, razón por la que la matriz de probabilidades. Estacionarias tiene todas las filas iguales. Tenemos entonces una cadena de Markov regular en la que las probabilidades estacionarias no dependen del estado inicial. Además, ninguna de las  probabilidades vale cero. Tenemos entonces una cadena de Markov ergódica. Cadenas Semiérgodicas

Tenemos ahora una cadena de C2 de cuatro estados, de matriz de probabilidades de transición.

CADENAS DE MARKOV

14

Si se observa la matriz de la transición decimosexta, se observa como todas las filas tienden a ser iguales (aunque no completamente, especialmente las dos primeras), con una diferencia respecto de las cadenas ergódicas: existen estados cuya probabilidad de estado estable tiende a ser cero (esto es, que no aparecerán den el comportamiento a largo plazo). Por lo tanto, no se trata de una cadena ergódica. Sin embargo, sigue siendo cierto que todas las filas tienden hacia un mismo valor, por lo que sigue siendo regular. Las cadenas de Markov regulares (y también otras que veremos más adelante) con algunas de las columnas de la matriz de probabilidades estacionarias igual a cero se llaman semiergódicas. Las cadenas ergódicas pueden considerarse como un caso particular de las cadenas semiergódicas, en las que no existen probabilidades de estado iguales a cero.

Cadenas no ergódicas

La cadena C3, de cuatro estados, tiene la siguiente matriz de transición:

Si observamos la matriz de la transición 16, podemos ver que, mientras algunas filas tienen el

CADENAS DE MARKOV

15

mismo comportamiento que las de los casos anteriores, vemos que otras tienden a ciertos valores, diferentes de los de las otras filas. Ello quiero decir que, al contrario de lo que sucede con el caso regular, las probabilidades de estado estable si dependen de cuál ha sido el estado inicial de la cadena. Se trata de una cadena semirregular

Cadenas Cíclicas

La cadena C4, cuya matriz de probabilidades de transición se muestra a continuación, después de un número elevado de transiciones presenta un comportamiento diferente del de las cadenas anteriores.

Al ir obteniendo matrices de transición, se observa que estas no convergen a un valor concreto, sino que muestran un comportamiento cíclico. En este caso, las transiciones impares tienden a un valor y las pares a otro.

CADENAS DE MARKOV

16

Este tipo de cadenas son cadenas son cadenas cíclicas. En este caso particular, nos encontramos ante una cadena de periodo p=2. La columna es siempre cero, por lo que el estado I no aparecerá en las probabilidades a largo  plazo; quiere ello decir que la cadena considerada no es ergódica, aunque es claro que pueden existir cadenas cíclicas ergódicas. También debemos preguntarnos qué ocurre con las probabilidades estacionarias en las cadenas cíclicas, ya que si las sucesivas potencias de P no tienden hacia unos valores determinados. Más adelante, cuando estudiamos el cálculo sistemático de P*.

CADENAS DE MARKOV

17

Ejemplos

Ejemplo 1

En un país como Colombia existen 3 operadores principales de telefonía móvil como lo son tigo, Comcel y movistar (estados). Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4 para Comcel 0.25 y para movistar 0.35. (Estado inicial). Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad de  permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si en la actualidad el usuario es cliente de Comcel tiene una probabilidad de mantenerse en Comcel del 0.5 de que esta persona se cambie a tigo 0.3 y que se pase a movistar de 0.2; si el usuario es cliente en la actualidad de movistar la probabilidad que permanezca en movistar es de 0.4 de que se cambie a tigo de 0.3 y a Comcel de 0.3. Partiendo de esta información podemos elaborar la matriz de transición

La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1 Po= (0.4 0.25 0.35)

→

estado inicial

CADENAS DE MARKOV

18

También se puede mostrar la transición por un método grafico

Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se realiza multiplicando la matriz de transición por el estado inicial y así sucesivamente pero multiplicando  por el estado inmediatamente anterior.

Como podemos ver la variación en el periodo 4 al 5 es muy mínima casi insignificante podemos decir que ya se ha llegado al vector o estado estable.

CADENAS DE MARKOV

19

Ejemplo 2

Suponga que en el mercado se consiguen 3 tipos de gaseosas colas que son: coca cola, Pepsi cola y big cola cuando una persona a comprado coca cola existe una probabilidad de que la siga consumiendo de el 75%, un 15% de que compre Pepsi cola y un 10% de que compre big cola; cuando el comprador actualmente consume Pepsi existe una probabilidad de que la siga comprando de 60%, un 25% que compre coca cola y un 15% big cola; si en la actualidad consuma big cola la probabilidad de que la siga consumiendo es del 50%, un 30% que compre coca cola y 205 pepsi cola. En la actualidad cada marca coca cola, Pepsi y big cola tienen los siguientes porcentajes en participación en el mercado respectivamente (60% 30% 10%) 

Elaborar la matriz de transición



Hallar la probabilidad que tiene cada marca en el periodo 5

Matriz de transición

CADENAS DE MARKOV

Entonces

20

CADENAS DE MARKOV

21

Ejemplo 3

La cervecería más importante del mundo (Guiness) ha contratado a un analista de investigación de operaciones para analizar su posición en el mercado. Están preocupados en especial por su mayor competidor (Heineken). El analista piensa que el cambio de marca se puede modelar como una cadena de Markov incluyendo tres estados, los estados G y H representan a los clientes que beben cerveza producida por las mencionadas cervecerías y el estado I representa todas las demás marcas. Los datos se toman cada mes y el analista ha construido la siguiente matriz de transición de los datos históricos.

¿Cuáles son los porcentajes de mercado en el estado estable para las dos cervecerías grandes?

CADENAS DE MARKOV

22

Solución

Tres estados {G, H, I} El problema consiste en resolver el sistema formado por las ecuaciones siguientes: ( x, y, z ) .P  ( x, y, z ); x  y  z  1, siendo x la probabilidad de que el consumidor compre G, y de que el consumidor compre H y z la del que consumidor compre I. De ambas expresiones se obtiene el siguiente sistema:

Ejemplo 4

Almacenes éxito, Carrefour y Sao han investigado la fidelidad de sus clientes y han encontrado los siguientes datos: E1: Éxito E2: Carrefour E3: Sao Hallar el estado estable (L)

CADENAS DE MARKOV

23

CADENAS DE MARKOV

24

CADENAS DE MARKOV

25

CADENAS DE MARKOV

26

Conclusión

En conclusión podemos decir que las cadenas de Markov son una herramienta de gran ayuda mediante para la solución de problemas de la vida diaria, ya que podemos encontrar su implementación en los juegos de azar, en los algoritmos para la composición musical, en la medicina para modelar el desarrollo de una epidemia, en la formulación de modelos climatológicos y hasta en internet en el uso de una página web. Esta herramienta nos es de gran ayuda para todos los ingenieros industriales, ya que nos facilita la toma de decisiones, ya que nos permite analizar los riesgos, agilizar los procesos y ayudar a mejorar los planes trazados.

CADENAS DE MARKOV

27

Bibliografía

Hillier, Frederick S & Liberman, Gerald J.; Introducción a la Investigación de Operaciones; Editorial McGraw Hill; 9a Edición (2010). Wayne L. Winston; Investigación de operaciones aplicaciones y algoritmos; Editorial Thomson; 4a  Edición (2004) http://www.slideshare.net http://investigaciondeoperaciones2.wordpress.com Joan B. Fonollosa –  José M. Sallan, Albert Suñé; Métodos cuantitativos de organización industrial II Elmer B. Mode; Elementos de Probabilidad y Estadística http://materias.fi.uba.ar/6615/Material/markov.pdf http://www.buenastareas.com

http://invoperacionesid2.blogspot.com/2011/06/cadenas-de-markov.html http://www.bioingenieria.edu.ar