Clases - Cadenas de Markov en Tiempo Discreto (versión imprimible).pdf

Modelos Estoc´ asticos asticos Profesor: Alfredo Villavicencio Departamento Departamento de Ingenier´ Ingenier´ıa Industrial y de Sistemas Facultad acul tad de Ingenier´ Inge nier´ ıa ıa Pontificia Universidad Cat´ olica olica de Chile

Cadenas de Markov en tiempo discreto (CMTD)

—————————————– Ejemplo —————————————– Sistema de Inventario Tienda que vende computadores. Atiende de lunes a viernes y utiliza la siguiente pol po l´ıtica ıtic a de adminis adm inistra traci´ ci´on on de inventario: Revisa su inventario inventario al final del d´ıa viernes. Si el n´ umero de computadores es menor a s, pone una orden para subir el umero inventario a S  (s, S  enteros   enteros positivos y s  ≤  S ).  S ). La orden llega a primera hora del d´ıa lune ness. Si el n´ umero de computadores es mayor o igual a s, no se hace nada. umero En cuanto a la demanda semanal, asumiremos que: Las demandas de cada periodo son v.a. iid con distribuci´on on Poisson de media λ (computadores). Tambi´ ambi´en en se consideran independientes del inventario inventario inicial del sistema. La demanda que no puede ser satisfecha se pierde.

¿Posibles costos asociados al problema? ¿Funci´on on objetivo?

—————————————– Ejemplo —————————————– Modelemos este problema: Sean: X n : n´ umero de computadores en inventario al inicio de la semana n umero (n = 0, 1, 2,...). ,...). Dn : demanda por computadores en la semana n (n = 0, 1, 2,...). ,...).

¿Qu Qu´´e re rellac aci´ i´on on hay entre X n+1 y X n ?

X n+1 =



X n  − Dn S 

Se puede ver que: X n+1  depende de X n . X n  depende de X n−1 . ...

si X n  − Dn ≥  s si X n  − Dn < s

, ∀n  = 0, 1, 2, ... ...

—————————————– Ejemplo —————————————–

Supongamos que conocemos la trayectoria del proceso hasta la etapa n: X 0 = i 0 , X 1 = i 1 ,...,X n−1 = i n−1 , X n = i

Dada esta informaci´ on, ¿cu´ al es la probabilidad de que al inicio de la semana n + 1 hayan exactamente j computadores? P (X n+1 = j  | X n = i, X n−1 = i n−1 ,...,X 1 = i 1 , X 0 = i 0 ) = ... = P (X n+1 = j  | X n = i)

¿Se cumplir´ıa esta igualdad si las demandas no fueran iid?

Propiedad markoviana y propiedad de estacionariedad Sea X n  una v.a. que toma un n´umero finito o enumerable de valores (generalmente los enteros no negativos).

Propiedad markoviana Se dice que el proceso estoc´astico {X n , n = 0, 1, 2,...}  cumple con la   propiedad markoviana si: P (X n+1 = j | X n = i, X n−1 = i n−1 ,...X 0 = i 0 ) = P (X n+1 = j |  X n = i) para todo i0 , i1 ,...,in−1 , i , j ∈  Recorrido{X n }, y todo n. Una interpretaci´on de esta propiedad es la siguiente: si consideramos la etapa n + 1 como el futuro, la etapa n como el presente, y las etapas 0, 1, 2,...,n − 1 como el pasado, la propiedad markoviana indica que  el futuro depende del pasado solo a trav´ es del presente. es del O bien, indica que   el pasado influye en el futuro solo a trav´ presente.

Propiedad de estacionariedad Se dice que el proceso estoc´astico {X n , n = 0, 1, 2,...}  cumple con la  propiedad de estacionariedad  si la probabilidad P (X n+1 = j |  X n = i) depende solo de i y de j, y no de n (para todo i, j ∈  Recorrido{X n }, y todo n). Esta propiedad quiere decir que la probabilidad de que la v.a. X n+1  tome el valor  j, dado que la v.a. X n  toma el valor i, no depende de la etapa en que ocurra. Debido a lo anterior, es posible usar la siguiente notaci´ on: P ij = P (X n+1 = j |  X n = i)

Importante En adelante, sin p´ erdida de generalidad, trabajaremos utilizando a los enteros no negativos como nuestro conjunto de estados. Es decir, consideraremos: Recorrido{X n }  =  { 0, 1, 2,...}

Cadenas de Markov en tiempo discreto (CMTD)

Cadena de Markov en tiempo discreto (CMTD) El proceso estoc´ astico {X n , n = 0, 1, 2,...}  es una   cadena de Markov en tiempo discreto  si cumple con la propiedad markoviana y con la propiedad de estacionariedad. Alternativamente se puede usar la siguiente definici´on de CMTD:

CMTD (definici´ on alternativa) Una  CMTD  es un proceso estoc´ astico {X n , n = 0, 1, 2,...}  que toma valores denominados estados, donde X n = i  significa que el sistema se encuentra en el estado i   en la etapa n, y en que la probabilidad de pasar del estado i al j en una etapa es una constante dada por: P ij = P (X n+1 = j |  X n = i, X n−1 = i n−1 ,...,X 0 = i 0 ) para todos los estados i0 , i1 ,...,in−1 , i , j, y todas las etapas n.

Probabilidades de transici´on en una etapa

Probabilidades de transici´ on en una etapa o n en una etapa a: En una CMTD, se denomina   probabilidad de transici´

P ij = P (X n+1 = j | X n = i)

, i, j = 0, 1, 2, ... ∧ n = 0, 1, 2, ...

P ij  corresponde a la probabilidad de que el proceso, estando en el estado i, efect´ ue una transici´ on al estado j. Dado que los P ij  son probabilidades y que el proceso siempre debe efectuar una transici´ on a alg´ un estado (en cada etapa), se tiene: ∞

P ij ≥  0

, ∀i, j = 0, 1, 2, ...

y

 j =0

P ij = 1

, ∀i = 0, 1, 2, ...

Matriz de transici´on en una etapa Matriz de transici´ on en una etapa o n en una etapa  (que se forma con los Denominaremos P  a la  matriz de transici´ P ij  de la CMTD).

P  =

   

P 00 P 10 P 20 .. . P i0 .. .

P 01 P 11 P 21 .. . P i1 .. .

P 02 P 12 P 22 .. . P i2 .. .

··· ··· ··· .. .

P 0j P 1j P 2j

··· ··· ···

P ij .. .

··· .. .

   

Para cada fila i de P , la suma de los P ij  debe ser igual a 1. La suma de los P ij  de una columna j no  necesariamente es igual a 1. Esto es porque las probabilidades P ij  se definieron como a probabilidad de, estando en i, ir a j, y no como la probabilidad de, estando en j, haber venido de i.

Probabilidades de transici´on en n  etapas Probabilidades de transici´ on en n   etapas o n en n   etapas a: En una CMTD, se denomina   probabilidad de transici´ (n)

P ij = P (X m+n = j |  X m = i)

, i, j = 0, 1, 2, ... ∧ m  = 0, 1, 2, ... ∧ n = 1, 2, 3, ...

(n)

P ij corresponde a la probabilidad de que el proceso, estando en el estado i, se encuentre en el estado j despu´es de n transiciones. (1) Note que P ij = P ij .

Ecuaciones de Chapman-Kolmogorov Las  ecuaciones de Chapman-Kolmogorov  proporcionan un m´ etodo para calcular (n) P ij   . Estas son: ∞

(n+m)

P ij

=



(n)

(m)

P ik · P kj

, i, j = 0, 1, 2, ... ∧ m, n = 1, 2, 3, ...

k=0

(n)

(m)

Note que P ik · P kj representa la probabilidad de que, partiendo en el estado i, el proceso vaya al estado j en n + m transiciones, a trav´es de un camino que lo lleva al estado k en la n-´esima transici´ on.

————————————– Demostraci´on ————————————–

(n+m)

P ij

=

P (X n+m = j |  X 0 = i)

=

  

∞

P (X n+m = j, X n = k |  X 0 = i)

k=0

∞

=

P (X n+m = j |  X n = k, X 0 = i) · P (X n = k |  X 0 = i)

k=0

∞

=

k=0

(n)

(m)

P ik · P kj

Matriz de transici´on en n  etapas

Matriz de transici´ on en n   etapas o n en n   etapas  (que se forma con los Denominaremos P (n) a la  matriz de transici´ P ijn  de la CMTD). (n) P (n) = (P ij )

Proposici´  on 

La matriz P (n) cumple con:

P (n) = P n

Esto quiere decir que la matriz de transici´on en n etapas puede obtenerse multiplicando n veces la matriz P   por s´ı misma.

————————————– Demostraci´on ————————————–

Gracias a las ecuaciones de Chapman-Kolmogorov, podemos escribir: P (n+m) = P (n) · P (m) En particular, se tiene: P (2) = P (1+1) = P (1) · P (1) = P  · P  = P 2 Y por lo tanto, por inducci´on: P (n) = P (n−1+1) = P n−1 · P  = P n

Distribuci´on de probabilidades del proceso Supongamos que para una CMTD con espacio de estados dado por {0, 1, 2...,h} se conoce la distribuci´on del proceso en la etapa inicial, que ser´a denotada por f (0) y corresponde a:

f (0) =

  

P (X 0 = 0) P (X 0 = 1) P (X 0 = 2) .. . P (X 0 = h)

  

De forma an´ aloga, la distribuci´on del proceso en la etapa n corresponde a:

f (n) =

  

P (X n = 0) P (X n = 1) P (X n = 2) .. . P (X n = h)

  

Es posible calcular la distribuci´on del proceso en la etapa n utilizando probabilidades totales: ∞

P (X n = j)

=

 

P (X n = j |  X 0 = i) · P (X 0 = i)

i=0

∞

=

(n)

(0)

P ij · f i

i=0

Por lo tanto: (n)

o bien:

  (n)

f 

= P 

f (n)

T 

= f (0)

T 

T 

· f (0) = [P n ]T  · f (0)

· P (n) = f (0)

T 

· P n

De lo anterior se deduce que: si se conoce con certeza el estado inicial del proceso, la funci´ on de probabilidad discreta a trav´ es de las etapas es igual a la fila de la matriz (n) P  que corresponde al estado inicial.

Visitas a un determinado estado

T (i, j ) Se define a T (i, j) como el tiempo (n´ umero de etapas) empleado para ir desde el estado i al estado j por primera vez (partiendo en i). Matem´ aticamente: T (i, j) = m´ın{n : X n = j, n = 1, 2, 3,...} | X 0 = i

F k (i, j ) Se define a F k (i, j) como la probabilidad de ir del estado i al estado j en k etapas, sin haber pasado por j antes de la etapa k. Matem´ aticamente: F k (i, j) = P (T (i, j) = k)

Proposici´  on 

Para k = 2, 3, 4... se cumple que: F k (i, j) =



P ir · F k−1 (r, j)

r ∈N0 ∧ r  =j

Esto quiere decir que la probabilidad de ir desde i a j (por primera vez) en k etapas, es igual a la probabilidad de ir de i a r en una etapa y luego de r a j en las restantes k − 1 etapas, sin visitar j en una etapa intermedia. El valor esperado del tiempo (o tiempo medio) para ir de i a j es: ∞

E [T (i, j)] =



k=1

k · F k (i, j)

Probabilidad de visitar un estado alguna vez F (i, j ) Se define a F (i, j) como la probabilidad de visitar el estado j dado que al inicio el proceso est´ a en el estado i se denotar´ a F (i, j) y corresponde a ∞

F (i, j) =



F k (i, j)

k=1

Es decir, es la probabilidad de ir de i a j (por primera vez) en una etapa o en dos etapas o en tres etapas, etc... Y es igual a la probabilidad de ir de i a j en un tiempo finito. Esto es: F (i, j) = P (T (i, j) <  ∞ ) Notas: Otra forma de calcular F (i, j) es la siguiente: F (i, j) = P ij +



P ir  · F (r, j)

r∈N0 ∧ r  =j

La probabilidad de retornar alguna vez al estado j corresponde a F ( j, j).

—————————————– Ejemplo —————————————–

Se dispone de una moneda tal que la probabilidad de obtener  sello en un lanzamiento cualquiera es p y, por lo tanto, la probabilidad de que salga cara es 1 − p ( p es conocido y tal que 0,2 < p  0 (piezas/minuto). El contenedor tiene una capacidad m´axima de c piezas, con c entero no negativo. Inicialmente, el contenedor se encuentra vac´ıo, y comienza a llenarse a medida que caen piezas. Un operador revisa el contenido del contenedor cada r > 0 minutos (exactamente). Al revisar, el operador determina (de forma instant´anea) la cantidad de piezas dentro de ´el. Si el contenedor contiene menos de k piezas (con k entero y tal que 5 < k + 2 < c), el operador no toma ninguna acci´on; sin embargo, si el contenedor contiene k o m´ as piezas, el operador lo vac´ıa y lo vuelve a situar en su lugar original. Suponga que el vaciado (y reposici´on) del contenedor no toma tiempo. En caso que la cantidad de piezas en el contenedor alcance la capacidad m´ axima (del contenedor) entre dos revisiones sucesivas, las piezas que no caben dentro de ´el simplemente caen al piso y son retiradas al momento de vaciar el contenedor. (Suponga que retirar estas piezas no toma tiempo). Sea X n  el n´ umero de piezas dentro del contenedor en el instante de realizarse la n-´esima revisi´ on, pero antes de vaciarlo, si fuese necesario. {X n , n = 0, 1, 2, . . .} es una CMTD. Suponga X 0 = 0.

—————————————– Ejemplo —————————————–

Determine el espacio de estados de la CMTD {X n , n = 0, 1, 2, . . .}. Formule una relaci´ on de recurrencia para X n . Escriba expresiones generales para las probabilidades de transici´ on en una etapa. Incluya todos los casos posibles. Calcule F 2 (C, C ). Calcule F (0, 0). Determine una expresi´on para la probabilidad de que caiga al menos una pieza al piso entre dos revisiones sucesivas.

Clasificaci´on de estados El estado i se denomina  transiente si P (T (i, i) <  ∞ )  0. odico  con periodo d. Si d = 2, 3, 4,... diremos que el estado es  peri´ odico. Si d = 1 (o no se puede volver al estado) diremos que el estado es  aperi´

Recuerde que los estados de una clase comparten las mismas propiedades.

Cadena de Markov irreducible Se dice que una cadena de Markov es  irreducible  si existe s´ olo una clase de estados, es decir, si todos los estados se comunican entre ellos.

—————————————– Ejemplo —————————————–

Sea {X n , n = 0, 1, 2,...}  una CMTD con espacio de estados {1, 2, 3, 4, 5, 6, 7, 8, 9, 10} y matriz de probabilidades de transici´on dada por: 1 1 2 3 4 5 6 7 8 9 10

    

0 0 0,5 0 0 0 0,3 0 0 0

2 0,2 0,7 0 0 0 0,4 0 0 0 0,5

3

4 0 0 0,2 0 0,2 0 0 0,7 0 0

5 0,1 0 0 1 0 0,2 0 0 0 0

6 0 0 0 0 0 0 0 0,1 0 0

7 0,3 0 0 0 0 0,4 0 0 0 0

0 0 0 0 0 0 0,7 0 0 0

8 0 0 0,3 0 0,8 0 0 0,2 0 0

9 0,2 0 0 0 0 0 0 0 1 0

10 0,2 0,3 0 0 0 0 0 0 0 0,5

    

—————————————– Ejemplo —————————————–

Determine las clases de estados, clasifique los estados en transientes o recurrentes (positivos o nulos), determine si son aperi´odicos o peri´ odicos, y el valor del periodo, cuando corresponda. Calcule P (T (1, 4) = 3). Calcule F 2 (8, 3). Determine F (6, 10). Determine F (3, 4). (40)

Suponga que f   

=



0

0,3

0

0

0

0

0,7

0

0

0



T 

.

Calcule la probabilidad de que en la etapa 43, el sistema est´e en el estado 9. Calcule la probabilidad de que en la etapa 42, el sistema est´e en el estado 2. (3)

Calcule P 62 . Calcule E [T (2, 10)]. Calcule E [T (1, 10)].

—————————————– Ejemplo —————————————–

En una competencia, un robot debe construir un muro usando exactamente b bloques id´enticos (con b entero y b > 10), los que deben posicionarse de a uno de una forma predefinida (uno encima del otro formando una torre). Poner el primer bloque es una tarea que el robot siempre realiza de forma exitosa al primer intento. Para el segundo bloque, el robot lo coloca exitosamente (en un intento) con una probabilidad p. Si no lo logra, el primer bloque permanece en su lugar y el robot lo intenta nuevamente (con la misma probabilidad), y as´ı sucesivamente. Cuando el muro tiene m´ as de un bloque, el robot logra agregar un nuevo bloque en un intento con probabilidad p y con probabilidad 1 −  p falla, lo que significa que no solo no agrega un bloque nuevo, sino que adem´ a s bota el u ´ ltimo bloque que hab´ıa colocado. El robot sigue intentando agregar bloques con el objetivo de completar el muro. Suponga que 0,5 < p  0, z  ∈ {0, 1, 2, . . .} Si X 2k = k con k entero y tal que 1 < k < b − 1, calcule la probabilidad de que el robot logre terminar el muro.

—————————————– Ejemplo —————————————– Una empresa posee una planta de gran superficie, iluminada por tubos fluorescentes. Debido a la gran cantidad de ellos, hay trabajadores especialmente encargados de la mantenci´on del sistema de iluminaci´on. Para ello, se emplea la pol´ıtica de reemplazar siempre de un d´ıa para otro los tubos que se encuentran quemados al fin de un d´ıa cualquiera. El principal problema es que no es posible saber con exactitud cu´ando se quemar´ a un tubo. Expertos han comenzado a elaborar un modelo probabil´ıstico, definiendo como variable de estado el n´umero de tubos que se encuentran en operaci´on (buenos) al fin de un d´ıa cualquiera, n (con n entero no negativo). Hay que se˜ nalar que al fin de cada d´ıa la planta se detiene y los tubos quedan apagados hasta la ma˜ nana siguiente. La planta tiene t tubos en total (con t entero y t > 100). Si al fin de un d´ıa cualquiera hay (t − i) tubos quemados, en el transcurso del d´ıa siguiente todos ellos ser´ an reemplazados y, por lo tanto, al fin del d´ıa siguiente dichos tubos estar´ an funcionando con toda seguridad. Ahora bien, cada uno de los i tubos que se encuentran buenos al fin de un d´ıa cualquiera tiene una probabilidad p (0 < p  0 para todo j ∈  C  y πj  = 0 para todo j ∈  T . En el caso particular en que la cantidad de estados que hay en T  es finita, la condici´ on l´ımn−→∞ P (X n ∈  C  | X 0 = i) = 1 se satisface siempre.

Proposici´ on Si consideramos la misma cadena de la proposici´on anterior (con las mismas condiciones), pero adem´ as se cumple que C   es una clase aperi´ odica, entonces existe distribuci´ on de probabilidades l´ımite. Como ya sabemos, en este caso, la distribuci´on de probabilidades l´ımite ser´ a igual a la u ´nica distribuci´on estacionaria que tendr´a la cadena.

—————————————– Ejemplo —————————————–

Considere una CMTD con espacio de estados {1, 2, 3, 4}  y matriz de probabilidades de transici´ on dada por: 1 2 3 4 1 2 3 4

 

0 0,5 0 0,5

0,5 0 0,5 0

0 0,5 0 0,5

0,5 0 0,5 0

 

Determine las clases y clasif´ıquelas. Encuentre la distribuci´on estacionaria si es que existe. Si no existe, explique por qu´e. Encuentre la distribuci´on l´ımite si es que existe. Si no existe, explique por qu´e.

—————————————– Ejemplo —————————————–

Suponga que la moneda 1 sale cara con probabilidad 0.4 y la moneda 2 sale cara con probabilidad 0.6. Una moneda es lanzada continuamente hasta que sale sello. Una vez que sale sello, esa moneda se deja de lanzar y se comienza a lanzar la otra. ¿En qu´e proporci´ on de los lanzamientos es lanzada la moneda 1?. Si se comienza el proceso con la moneda 1, ¿cu´ al es la probabilidad de que la moneda 2 sea usada en el 6to lanzamiento?.

—————————————– Ejemplo —————————————–

Considere una CMTD con espacio de estados {1, 2, 3, 4, 5, 6, 7, 8, 9}  y matriz de probabilidades de transici´ on dada por:

1 2 3 4 5 6 7 8 9

    

1

2

3

4

5

6

7

8

9

0,2 0 0 0 0 0 0,2 0 0,5

0 0,1 0,4 0 0,2 0 0 0 0

0 0 0 0 0 0 0,7 0 0,4

0 0 0,2 0 0 0,1 0 0,5 0

0 0,9 0 0 0,8 0 0 0 0

0 0 0,3 0,7 0 0 0 0,5 0

0 0 0 0 0 0 0,1 0 0,1

0 0 0 0,3 0 0,9 0 0 0

0,8 0 0,1 0 0 0 0 0 0

    