2 Markov Discreto

´ lica De Chile Pontificia Universidad Cat Catolica o Escuela Escuela de Ingenier Ingenier´ ıa Depart Departamento de Ingenier´ ıa Industri Industrial al y de Sistemas Sistemas

ICS2123 Modelos Estoc´ asticos asticos − Profesor Alfredo Villavicencio

Primer semestre, 2017 – Secci´ on on 2

Gu´ Gu´ıa 3 - Cadenas de Markov Markov en Tiempo Discreto Problema Problema 1

Para subir a lo alto de una atracci´ on on tur´ tur´ıstica, ıstica, los visitant visitantes es deben emplear un ascensor. ascensor. Los visitant visitantes es llegan llegan a tomar el  { N (t), t  ≥ 0  ≥  0} }, con tasa  λ >  0 personas por minuto. El ascensor tarda un tiempo ascensor ascensor de acuerdo acuerdo a un proceso de Poisson, Poisson, { determin´ deter min´ıstico ısti co igua i guall a  v >  0 minutos en subir desde el punto de partida a nivel del suelo (que llamaremos base) y retornar a ´el el para recoger nuevos visitantes. El ascensor siempre retorna vac´ vac´ıo a la base, pues los visitantes bajan por otro acceso dispuesto especialmente para ello. Suponga que el instante  t  = 0 coindice con el instante en que el ascensor inicia la subida n´ umero 0. El ascensor tiene dos compartimientos, que llamaremos  compartimiento 1 y  compartimiento   2, cada uno con una puerta individual. Las personas que llegan a tomar el ascensor eligen, a priori, el compartimiento que desean usar, lo que no pueden cambiar con porterioridad. Con probabilidad p  eligen el compartimiento compartimiento  1 y con probabilidad 1 − p  eligen el  compartimiento 2 (elecci´ on independiente para cada persona e independiente del proceso de llegada), con 0  < p <  1. on Cada compartimien compartimiento to tiene tiene un l´ımite de capacidad capacidad de pasajeros pasajeros dado por ki   para el   compartimiento i (i = 1, 2), con k1 , k2  enteros y tal que 10  < k2 < k1 . Por ello, puede ocurrir que en el instante en el que el ascensor emprende un nuevo viaje queden pasajeros en la base. Dichos pasa jeros esperan el retorno del ascensor para po der subir a ´el, el, formando una cola (una cola diferente para cada compartimiento). compartimiento). El ascensor permanece un tiempo determin´ determin´ıstico de d >  0 minutos (con las puertas abiertas) abiertas) en la base entre entre via jes sucesivos. sucesivos. Si al llegar una persona persona el ascensor est´ a en la base y el compartimiento que escogi´ o tiene capacidad disponible, ingresa a ´el de inmediato; en caso de que el ascensor no se encuentre en la base, la persona p ersona espera en la cola el retorno del ascensor a la base. Suponga que las colas no tienen l´ımite ımite de capacidad. Note que ba jo esta descripci´ on, es posible que se d´e el caso en que uno de los compartimientos se llene, dejando personas sin poder subir, mientras que el otro qued´ o con capacidad disponible (no se llen´ o). o). Sea  X n  el n´ umero de visitantes que quedan esperando en la base en la cola del umero esima esima partida del ascensor; con lo que es f´ acil acil deducir que {X n , n = 0, 1, 2, . . . } es compartimiento 1 en el instante de la n-´ una cadena de Markov en tiempo discreto. An´ alogamente, alogamente, para el  compartimiento  2, se define  Y n , en que { que  { Y n , n  = 0, 1, 2, . . . } tambi´ tam bi´en en ser´ ser a ´ una cadena de Markov en tiempo discreto. a) Determine Determine el espacio espacio de estados de la cadena { cadena { X n , n  = 0, 1, 2,...}. b) Encuentr Encuentree una relaci´ on on de recurrencia para  X n  (para  n  = 1, 2, 3,...). c) Calcul Calculee  P  (X n+1=8 |  X n  = 5). Ahora suponga supon ga que las l as colas s´ı tienen ti enen l´ımite de capacida c apacidad, d, este l´ımite es de  c i  para el  compartimiento i  ( i  = 1, 2), con  c 1 ,  c 2 enteros y 10  < k2 < k1 < c2 < c1 . Entonces, si un visitante llega y encuentra que la cola del compartimiento que escogi´ o ya alcanz´ o su l´ımite, simplemente se va (y no regresa). Ba jo estas nuevas nuevas condiciones y manteniendo las definiciones de X n e  Y n , {X n , n  = 0, 1, 2, . . . }  e  { Y n , n  = 0, 1, 2,...}   siguen siendo cadena de Markov en tiempo discreto. d) Determine Determine el espacio espacio de estados de la cadena { cadena { X n , n  = 0, 1, 2,...}. e) Encuentr Encuentree una relaci´ on on de recurrencia para  X n  (para  n  = 1, 2, 3,...). f) Calcul Calculee  P  (X n+1=8 |  X n  = 5). Suponga que ahora se desea evitar la situaci´on on en que gente de un compartimiento se quede esperando en la base (porque su compartimiento se llen´o), o), mientras que el otro compartimiento qued´ o con capacidad disponible. Por ello, se contrata a un encargado que, justo en el instante en que el ascensor se dispone a partir, evita que esta situaci´on on ocurra. ocurr a. As´ As´ı, cuando corresponde el caso, el encargado utiliza la capacidad disponible del compartimiento que no se llen´ o con las personas que estaban esperando por el otro compartimiento. Manteniendo las definiciones de  X n e  Y n , ahora { ahora  {((X n , Y n ), n = 0, 1, 2, . . . }  es una CMTD. g) Determine Determine el espacio espacio de estados de la cadena { cadena {((X n , Y n ), n  = 0, 1, 2,...}. h) Encuentr Encuentree una relaci´ on de recurrencia para (X n , Y n ) (para  n  = 1, 2, 3,...). on Soluci´ on on

 ≥  0} }  corresponde al proceso que cuenta la llegada de personas al  compartimiento  1, en que ya sabemos Digamos que { que { N 1 (t), t  ≥ 0 que  N 1 (t)  ∼  Poisson(λtp) por descomposici descomposici´ o´n de procesos de Poisson. An´alogamente on alogamente digamos que { que  { N 2 (t), t  ≥ 0  ≥  0} }  corresponde

al proceso que cuenta la llegada de personas al compartimiento  2, en que ya sabemos que N 2 (t) ∼  Poisson(λt(1− p)) (tambi´en por descomposici´ on de procesos de Poisson). Para simplificar notaci´ on, digamos que {M 1 (t), t ≥ 0} y {M 2 (t), t ≥ 0}  corresponden, respectivamente, a los procesos que cuentan la llegada de personas al compartimiento  1 y al  compartimiento  2 a partir del instante en que se comienza la  n -´esima subida del ascensor, es decir, para todo t : M 1 (t)

=

N 1 (n(d + v) + t) − N 1 (n(d + v ))

M 2 (t)

=

N 2 (n(d + v) + t) − N 2 (n(d + v ))

a) El espacio de estados es {0, 1, 2, ...}. b) La recurrencia es: ax{X n  + M 1 (d + v) − k1 , 0} X n+1  = m´ c) ...revisado en ayudant´ıa y en un ejercicio hecho para la I1... d) El espacio de estados es {0, 1, 2,...,c 1 }. e) La recurrencia es: ax{m´ın{m´ın{X n  + M 1 (d), c1 } + M 1 (d + v ) − M 1 (d), c1  + k1 } − k1 , 0} X n+1  = m´ o bien: ax{m´ın{m´ın{X n  + M 1 (d), c1 } + M 1 (d + v) − M 1 (d) − k1 , c1 }, 0} X n+1  = m´ f) ...revisado en ayudant´ıa y en un ejercicio hecho para la I1... g) El espacio de estados es {(i, j ) : i  ∈ {0, 1,...,c1 } ∧ j  ∈ {0, 1,...,c 2 }}. h) Definamos V  n   como la cantidad de personas que quedan en la cola del  compartimiento  1 justo en el instante de la esima partida del ascensor y, an´ alogamente, definamos  W n  como la cantidad de personas que quedan en la cola del n-´ esima partida del ascensor. Sabemos que: compartimiento 2 justo en el instante de la  n -´ V  n   =

m´ın{m´ın{X n  + M 1 (d), c1 } + M 1 (d + v ) − M 1 (d), c1  + k1 }

W n   =

m´ın{m´ın{X n  + M 2 (d), c2 } + M 2 (d + v ) − M 2 (d), c2  + k2 }

Y, en base a estas definiciones, la recurrencia corresponde a:

(X n+1 , Y n+1 ) =

Problema 2

  

(0, 0) (m´ ax{V  n  − (k2  − W n ) − k1 , 0}, 0) (0, m´ ax{W n  − (k1 − V  n ) − k2 , 0}) (V  n  − k1 , W n  − k2 )

, , , ,

si  V  n  ≤  k 1 , W n  ≤  k 2 si  V  n  > k1 , W n  ≤  k 2 si  V  n  ≤  k 1 , W n  > k2 si  V  n  > k1 , W n  > k2

Desde cierto terminal de buses, salen buses a un solo destino. Los buses salen a intervalos de tiempo fijos, de largo d > 0 minutos (es decir, cada  d  minutos sale un nuevo bus). Las personas que quieren tomar un bus llegan al terminal de acuerdo a un proceso de Poisson con tasa λ >  0 (personas/minuto). Cada bus tiene capacidad para exactamente c  pasajeros (con c entero positivo). La subida a cada bus se efect´ ua de la siguiente forma. En el instante de abordar un bus, se da preferencia a las personas que estaban en el terminal cuando parti´ o el bus anterior (es decir, a las que no pudieron subir al bus anterior por falta de capacidad). Si todos ellos caben en el bus, suben primero y la capacidad sobrante se destina a las nuevas personas llegadas (es decir, a quienes no han esperado m´ as de d  minutos). Si todas las personas nuevas llegadas caben, suben tambi´en, dejando el terminal vac´ıo. En caso de que no todas las p ersonas nuevas llegadas quepan en el bus, se escoge aleatoriamente entre ellas a las que subir´ an (hasta llenar el bus), sin dar preferencia a ninguna en particular. Las personas que no han podido subir, se quedan en el terminal hasta la espera de una pr´oxima salida. De la misma forma, si la capacidad del bus no es suficiente para llevar a todas las personas que no hab´ıan podido tomar el bus anterior, se escoge a  c  de ellas aleatoriamente, sin dar prioridad a ninguna por sobre otra. En este caso, se quedar´ an en el terminal personas que no hab´ıan podido abordar el bus con anterioridad y todas las nuevas llegadas, que al momento de salir el bus pasar´ an a ser personas que no han podido abordar un bus. Suponga que el terminal inicialmente est´a vac´ıo y que no tiene l´ımite de capacidad en cuanto al n´ umero de personas que pueden permanecer all´ı, que la subida de las personas al bus no toma tiempo y que la salida de buses funciona de manera permanente de acuerdo a lo descrito. Sea X n   el n´ umero de personas que quedan en el terminal en el instante en que parte el n-´esimo bus (justo despu´es del abordaje). Puede verse que { X n , n  = 0, 1, 2, . . .} es una cadena de Markov en tiempo discreto. a) Determine el espacio de estados de la cadena.

b) Formule una recurrencia para  X n . c) Determine las probabilidades de transici´ on de la cadena. Considere todos los casos posibles. Ahora, considere que las personas que se quedan esperando en el terminal en el instante que pasa un bus pertenecen a uno de dos grupos. Un grupo, que llamaremos grupo  1, corresponde a las personas que no pudieron subir una vez (y solo una) a un bus, y otro grupo, que llamaremos  grupo  2, est´ a constituido por las personas que no han podido subir dos o m´ as veces a un bus. La subida de cada bus ahora se efect´ ua de la siguiente forma. En el instante de abordar un bus, se da preferencia a las personas del  grupo   2. Si todas ellas caben en el bus, suben primero. Si no todas caben, se escoge aleatoriamente c  de ellas, las que abordan el bus, debiendo el resto de las personas quedarse en el terminal. Por el contrario, si queda espacio en el bus, se destina a personas del  grupo  1. En caso de no caber todas ellas, se escoge, aleatoriamente entre ellas, un n´umero que hace que el bus parta lleno. En caso de que todas ellas quepan, suben, y la posible capacidad sobrante se destina a las nuevas personas llegadas, escogiendo aleatoriamente de ellas una cantidad hasta llenar el bus. Por supuesto que si hay espacio para todas ellas, suben, y el terminal queda vac´ıo. En el instante de salida del bus, se actualiza la composici´ on de los grupos, de manera que todas las personas que intentaron tomar el bus por primera vez sin lograrlo, pasan a constituir el  grupo  1, y el resto corresponde al  grupo  2. El resto de los supuestos se mantiene. Sea Y n y Z n   el n´ umero de personas en el   grupo   1 y el   grupo   2, respectivamente, que quedan en el terminal en el instante de partida del n-´ esimo bus (justo despu´ es del abordaje). Puede verse que {(Y n , Z n ), n = 0, 1, 2, . . .}   es una cadena de Markov en tiempo discreto. d) Escriba una relaci´ on de recurrencia para esta nueva cadena. e) Calcule  P ((Y n+1 , Z n+1 ) = (0, 0) |  ( Y n , Z n ) = (a, b)), para todo  a, b  entero, tal que 0  < a < b . Soluci´ on

Sea M (t) el proceso que cuenta la cantidad de pasajeros que llegan en el intervalo [0, t]. Y consideremos N (d) = M ((n  + 1) ·  d ) −  M (n  ·  d ), es decir, N (d) es la cantidad de pasajeros que llegan entre el paso del bus n-´ esimo y el paso del bus (n + 1)-´esimo. a) El espacio de estados corresponde al conjunto {0, 1, 2,...} b) As´ı: X n+1

c) P ij

=

ax{i + N (d) − c, 0} =  j ) P (m´

=

m´ ax{X n  + N (d) − c, 0}

=

Si  j  = 0 c−i

P i0

=

P (i + N (d) − c  ≤ 0)

=

P (N (d) ≤  c − i)

=

 

h=0

e−λd · (λd)h h!

0

Si  j  = 1, 2, 3, . . . P ij =  P (i + N (d) − c  =  j ) =  P (N (d) =  c + j  − i) =

d) Tenemos: (Y n+1 , Z n+1 )

=

 

, si  i  = 0, 1, . . . , c , si  i  =  c + 1, c + 2, . . .

e−λd · (λd)c+j −i (c + j  − i)!

, si  i  = 0, 1, . . . , c + j

0

, si  i  =  c + j  + 1 , c + j  + 2 , . . .

(m´ ax{N (d) − m´ ax{c − (Y n  + Z n ), 0}, 0}, m´ ax{Y n  + Z n  − c, 0})

e) La u ´ nica posibilidad es que se hayan ido todos los que hab´ıan y los que llegaron en el intervalo. P ((Y n+1 , Z n+1 ) |  ( Y n , Z n ) = (a, b))

=

P (a + b + N (d) ≤  c ) =

  

c−a−b

P (N (d) ≤  c − a − b) =

j =0

0

Problema 3

e−λd · (λd)h h!

, si  a + b  ≤  c , si  a + b  ≥  c

Una oficina de atenci´ o n a p´ ublico opera de la siguiente forma. Los clientes llegan de acuerdo a un proceso de Poisson a tasa λ >  0 clientes por minuto, y esperan afuera de la oficina, en una sala de espera. La puerta de la oficina permanece normalmente cerrada y solo se abre en ciertos instantes. Los instantes de apertura de la puerta corresponden a los instantes

de ocurrencia de un proceso de renovaci´ on con tiempos entre eventos de distribuci´ on uniforme en el intervalo [0, 5], dado en minutos. Cada vez que se abre la puerta se deja entrar a un n´ umero de clientes que es igual al total de clientes en espera si dicho total es menor o igual a  k  (donde  k  es un entero positivo), e igual a  k  si dicho total es mayor a  k . Suponga que el sistema comienza inicialmente vac´ıo. Suponga que la entrada de clientes no toma tiempo, por lo que la puerta p ermanece abierta solo un instante en cada apertura. Suponga que la sala no tiene l´ımite de capacidad y que todos los clientes esperan p or entrar a la oficina, es decir, ninguno abandona por aburrimiento. Suponga tambi´en que el proceso de llegada de clientes es independiente del proceso de aperturas de la puerta. Se define  X n  como el n´ umero de clientes que quedan en la sala de espera inmediatamente despu´ es de la n -´ esima apertura de la puerta. Por todo lo anterior, es posible deducir que {X n , n  = 0, 1, 2, . . .} es una cadena de Markov en tiempo discreto. a) Determine el espacio de estados de la cadena { X n , n  = 0, 1, 2,...}. b) Encuentre una relaci´ on de recurrencia para  X n  (para  n  = 1, 2, 3,...). c) Encuentre las probabilidades de transici´ on de la cadena { X n , n  = 0, 1, 2,...}. Suponga ahora que la regla de entrada se mantiene en el caso en que el total de clientes esperando por entrar es menor o igual a k, pero cambia en el caso en que hay m´ as de k. En este u ´ ltimo caso, en lugar de admitir el acceso de k  clientes como era antes, se permite la entrada a un n´umero aleatorio de clientes. Dicho n´ umero tiene una distribuci´ on uniforme discreta en el conjunto {k, k  + 1,...,C n  − 1}  (es decir, cada elemento de este conjunto tiene la misma probabilidad de ser elegido), donde umero de clientes en espera en el instante de ocurrencia de la  n -´ esima apertura de la puerta, justo antes de C n  representa el n´ que entren clientes. La determinaci´on del n´ umero de clientes que entra en cada apertura es independiente e independiente del proceso de llegada de clientes y del proceso de aperturas de la puerta. En este escenario, y manteniendo la definici´on de  X n , {X n , n  = 0, 1, 2, . . .} tambi´ en es una cadena de Markov en tiempo discreto. d) Calcule  P (X m+1  =  k  + 1  |  X m  =  k  + 1) con  m  entero positivo. e) Calcule  P (C 1  = 0). Soluci´ on

Digamos que {N (t), t ≥ 0}   corresponde al proceso que cuenta las llegadas de clientes, en que ya sabemos que N (t) ∼ en digamos que U i   corresponde al tiempo que transcurre entre la apertura i  −   1 y la apertura i   (para Poisson(λt), tambi´ i  = 1, 2, 3,...), en que sabemos que las variables aleatorias  U i  son todas independientes entre s´ı e independientes del pro ceso de llegada, y tal que  U i  ∼  Uniforme(0, 5). Para simplificar notaci´ on, digamos que {M (t), t ≥ 0}   corresponde al proceso que cuenta la llegada de clientes a partir del instante en que se realiza la  n -´ esima apertura de la puerta, es decir, para todo  t :

    n

M (t)

=

N 

n

− N 

U i  + t

i=1

U i

i=1

Y, por lo tanto, como el proceso de Poisson se renueva en todo instante, sabemos que  M (t) ∼  Poisson(λt). a) El espacio de estados es {0, 1, 2, ...}. b) La recurrencia corresponde a: ax{X n  + M (U n+1 ) − k, 0} X n+1  = m´ c) Queremos: P ij

=

P (X n+1  =  j |  X n  =  i )

=

ax{X n  + M (U n+1 ) − k, 0} =  j |  X n  =  i) P (m´

=

ax{i + M (U n+1 ) − k, 0} =  j ) P (m´

Si  j  = 1, 2, 3,...: P ij

=

P (i + M (U n+1 ) − k  =  j )

=

P (M (U n+1 ) =  j  + k − i)

=

1  · 5

5

 

P (M (x) =  j  + k − i)  dx

0

• Si  i  = 0, 1,...,j  + k : P ij

=

1  · 5

5

  0

e−λx · (λx)j +k−i dx ( j  + k − i)!

• Si  i  =  j  + k  + 1, j + k + 2 , j + k + 3 , ...: P ij

=

0

Si  j  = 0: P i0

=

P (i + M (U n+1 ) − k  ≤  0)

=

P (M (U n+1) ≤  k − i)

=

1 · 5 j =0

k−i

5

  

P (M (x) =  j )  dx

0

• Si  i  = 0, 1,...,k : 1  · 5

=

P i0

k −i

5

e−λx · (λx)j dx  j !

   0

j =0

• Si  i  =  k  + 1 , k + 2 , k + 3 ,...: =

P i0

0

d) Para simplificar notaci´ on, digamos que ahora {M (t), t  ≥  0} corresponde al proceso que cuenta la llegada de clientes a partir del instante en que se realiza la  m -´ esima apertura de la puerta, es decir, para todo  t :

    m

M (t)

=

N 

m

− N 

U i  + t

U i

i=1

i=1

∞

P (X m+1  =  k  + 1  |  X m  =  k + 1)

=

                

P (M (U m+1) =  i ) ·

i=k ∞

=

i=k

= = =

= =

5

1  · 5

0

1 e−λx · (λx)i dx · i! i+1

∞

1

5λx

5

·

i=k

0

e−λx · (λx)i+1 dx (i + 1)!

∞

1

5λx

1 i+1

5

·

i=k+1

0

e−λx · (λx)i dx i!

∞

1

5λx

·

P (M (U m+1 ) =  i )

i=k+1

k

1

5λx

·

1−

P (M (U m+1 ) =  i )

i=0 k

1

5λx

·



5

1−

i=0

0



e−λx · (λx)i dx i!

e) Se tiene: P (C 1 = 0)

=

P (N (U 1 ) = 0)

=

1  · 5

= =

1  · 5

5

   

e−λx · (λx)0

0!

0

5

e

−λx

dx

dx

0

(1 − e−5λ ) 5λ

Problema 4

En un proceso productivo, las piezas terminadas caen desde una correa transportadora a un contenedor de acuerdo a un proceso de Poisson con tasa  λ >   0 (piezas/minuto). El contenedor tiene una capacidad m´ axima de c   piezas, con  c  entero no negativo. Inicialmente, el contenedor se encuentra vac´ıo, y comienza a llenarse a medida que caen piezas. Un operador revisa el contenido del contenedor cada r >  0 minutos (exactamente). Al revisar, el operador determina (de forma instant´anea) la cantidad de piezas dentro de ´el. Si el contenedor contiene menos de  k  piezas (con  k  entero y tal que 5  < k + 2  < c), el operador no toma ninguna acci´ on; sin embargo, si el contenedor contiene  k o m´ as piezas, el operador lo vac´ıa y lo vuelve a situar en su lugar original. Suponga que el vaciado (y reposici´ on) del contenedor no toma tiempo. En caso que la cantidad de piezas en el contenedor alcance la capacidad m´ axima (del contenedor) entre dos revisiones sucesivas, las piezas que no caben dentro de ´el

simplemente caen al piso y son retiradas al momento de vaciar el contenedor. Suponga que retirar las piezas no toma tiempo y que el contenedor inicialmente est´a vac´ıo. Sea X n   el n´ umero de piezas dentro del contenedor en el instante de realizarse la n-´esima revisi´on, pero antes de vaciarlo, si fuese necesario. { X n , n  = 0, 1, 2, . . .} es una cadena de Markov en tiempo discreto. a) Determine el espacio de estados de la cadena { X n , n  = 0, 1, 2, . . .} b) Formule una relaci´ on de recurrencia para  X n . c) Escriba expresiones generales para las probabilidades de transici´ on en una etapa. Incluya todos los casos posibles. d) Calcule  F 2 (c, c). e) Calcule  F (0, 0). f) Determine una expresi´ on para la probabilidad de que caiga al menos una pieza al piso entre dos revisiones sucesivas. g) Si las revisiones se realizaran en instantes que correspondieran a eventos de un proceso de renovaci´ on, ¿ser´ıa el proceso descrito una cadena de Markov en tiempo discreto? Si su respuesta es afirmativa, explique c´omo verificar´ıa que el proceso es una cadena de Markov. Si su respuesta es negativa, explique claramente por qu´ e. Soluci´ on

a) El espacio de estados es {0, 1,...,c }. b) Sea { M (t), t  ≥  0} el proceso que cuenta las piezas que caen desde el inicio. M (t) ∼  Poisson (λt). Ahora, digamos que N (r ) es la cantidad de piezas que caen entre las revisiones n  y  n + 1, entonces:  N (r) =  M ((n + 1)r) − M (nr), es decir N (r ) ∼   Poisson (λr). X n+1  =

c)



m´ın{X n  + N (r), c} m´ın{N (r), c}

, si  X n  < k , si  X n  ≥  k

,

∀n  =

1, 2, 3, ...

i  = 0, 1, 2, . . . , k − 1 e−λr · (λr )j −i ( j  − i)! ∞ e−λr · (λr)h P ic  =  P (N (r) ≥  c − i) = h!

  

P (N (r) =  j  − i) =

P ij =



P ij =

Vi´endolas como matriz: 0 1 2 .. . P  = k − 1 k k + 1

.. . c

Con:

     

a(0)

0 0 .. . 0 a(0) a(0) .. . a(0)

, si  j  =  c

h=c−i

0

i  =  k, k + 1 , . . . , c

, si  j  =  i, i + 1, . . . , c − 1

  

, en otros casos

e−λr · (λr)j  j ! ∞ e−λr · (λr)h P ic  =  P (N (r) ≥  c ) = h! P (N (r) =  j ) =



, si  j  = 0, 1, . . . , c − 1 , si  j  =  c

h=c

0

a(1) a(0)

0 .. . 0 a(1) a(1) .. . a(1)

A(k)

a(2) a(1) a(0)

.. . 0 a(2) a(2) .. . a(2)

=

··· ··· ··· .. . ··· ··· ··· .. . ···

, en otros casos

a(k − 1) a(k − 2) a(k − 3)

a(k ) a(k − 1) a(k − 2)

a(k  + 1) a(k) a(k − 1)

.. . a(0) a(k − 1) a(k − 1) .. . a(k − 1)

.. . a(1) a(k ) a(k ) .. . a(k )

.. . a(2) a(k  + 1) a(k  + 1) .. . a(k  + 1)

∞

e−λr · (λr)i i!

P (N (r ) ≥  k )

=

 i=k

a(k)

=

P (N (r ) =  k )

=

e−λr · (λr )k k!

··· ··· ··· .. . ··· ··· ··· .. . ···

A(c) A(c − 1) A(c − 2)

.. . A(c + 1 − k) A(c) A(c) .. . A(c)

     

d) Queremos: c−1

F 2 (c, c)

k −1

  

P ci  · P ic

=

i=0

P ci  · P ic  +

i=0

k−1

=

c−1



=

    P ci  · P ic

i=k

c−1

P (N (r) =  i ) · P (N (r) ≥  c − i) +

i=0

k−1

=

P (N (r) =  i ) · P (N (r ) ≥  c )

i=k

e

−λr

i=0

i

· (λr) · i! h

∞



e

−λr

=c−i

c−1

h

· (λr) h!

+

i=k

e−λr · (λr)i i!

∞

  ·

h=c

e−λr · (λr)h h!



e) F (0, 0) = 1, pues la cadena es de una sola clase recurrente positiva. f) Para simplificar la notaci´ on, podemos definir el evento: An  = cae al menos una pieza al suelo entre las revisiones n  y  n + 1. Para calcular  P (An ) usamos probabilidades totales, condicionando en el estado del proceso de la n -´esima etapa: c

P (An )

=

    

P (An |  X n  =  i ) · P (X n  =  i )

i=0

k−1

P (An )

=

c

P (An |  X n  =  i ) · P (X n  =  i ) +

i=0

=

c

P (N (r )  > c − i) · P (X n  =  i ) +

i=0

=

P (N (r )  > c) · P (X n  =  i )

i=k

k−1

P (An )

P (An |  X n  =  i ) · P (X n  =  i )

i=k

k−1

P (An )

 

P (N (r )  > c − i) · P (X n  =  i ) + P (N (r )  > c) · P (X n  ≥  k )

i=0

k−1

P (An )

=

i=0

∞

P (X n  =  i ) ·



h=c−i+1

e−λr · (λr)h h!



∞

+ P (X n  ≥  k ) ·



h=c+1

e−λr · (λr)h h!



g) Si las revisiones se realizan de acuerdo a un proceso de renovaci´ on, entonces los tiempos entre revisiones sucesivas {T 1 , T 2 , . . .} son v.a. iid. Como {M (t), t ≥ 0}   es un proceso de Poisson y los tiempos entre revisiones sucesivas son variables aleatorias independientes, entonces las variables aleatorias M (T 1 ), M (T 2  +  T 1 ) −  M (T 1 ), M (T 3  +  T 2  +  T 1 ) −  M (T 2  +  T 1 ), . . . son variables independientes entre s´ı e independientes de cualquier otra variable aleatoria. Por esto se sigue cumpliendo la propiedad markoviana. Como { M (t), t  ≥ 0} es un proceso de Poisson y los tiempos entre revisiones sucesivas son variables aleatorias id´ enticamente distribuidas, entonces las variables aleatorias M (T 1 ), M (T 2  +  T 1 ) − M (T 1 ), M (T 3  +  T 2  +  T 1 ) − M (T 2  +  T 1 ), . . . son independientes e id´ enticamente distribuidas. Por esto se sigue cumpliendo la propiedad de estacionariedad. Problema 5

Una empresa posee una planta de gran superficie, iluminada por tubos fluorescentes. Debido a la gran cantidad de ellos, hay trabajadores especialmente encargados de la mantenci´ on del sistema de iluminaci´ on. Para ello, se emplea la pol´ıtica de reemplazar siempre de un d´ıa para otro los tubos que se encuentran quemados al fin de un d´ıa cualquiera. El principal problema es que no es posible saber con exactitud cu´ando se quemar´ a un tubo. Expertos han comenzado a elaborar un modelo probabil´ıstico, definiendo como variable de estado el n´ umero de tubos que se encuentran en operaci´on (buenos) al fin de un d´ıa cualquiera, n  (con n  entero no negativo). Hay que se˜ nalar que al fin de cada d´ıa la planta se detiene y los tubos quedan apagados hasta la ma˜ nana siguiente. La planta tiene  t  tubos en total (con  t  entero y  t >  100). Si al fin de un d´ıa cualquiera hay (t − i) tubos quemados, en el transcurso del d´ıa siguiente todos ellos ser´ an reemplazados y, por lo tanto, al fin del d´ıa siguiente dichos tubos estar´ an funcionando con toda seguridad. Ahora bien, cada uno de los i  tubos que se encuentran buenos al fin de un d´ıa cualquiera tiene una probabilidad p  (0  < p <  1) de quemarse al d´ıa siguiente. Esta probabilidad es independiente para cada tubo funcionando en cada d´ıa. Los tubos que se queman durante un d´ıa cualquiera nunca son reemplazados durante ese mismo d´ıa, sino que deben esperar hasta el d´ıa siguiente. Para las preguntas siguientes, emplee la variable de estado escogida por los expertos y las observaciones recogidas por ellos. a) Escriba una relaci´ on de recurrencia para el n´ umero de tubos buenos al fin de cada d´ıa. Suponga que la planta trabaja de la misma forma todos los d´ıas de la semana. b) Proponga un modelo de cadena de Markov que describa la evoluci´ on temporal del n´ umero de tubos buenos al fin de cada d´ıa. (Es necesario explicitar la matriz de probabilidades de transici´ on en una etapa o las probabilidades de transici´ on en una etapa para todos los casos posibles).

Con el fin de hacer un peque˜no estudio preliminar, considere ahora que t  = 3, p = 0,2, y que al inicio del estudio todos los tubos se encuentran en funcionamiento. c) Para la cadena de Markov resultante, determine las clases de estados y clasifique los estados en transientes, recurrentes nulos o positivos, y determine si son aperi´ odicos o peri´ odicos (y el per´ıodo). d) C´ alcule la probabilidad de que se observen todos los tubos quemados por primera vez al final del tercer d´ıa de observaci´ on. e) C´alcule la probabilidad de que, a partir de un cierto d´ıa, todos los tubos se mantengan en buen estado durante los tres d´ıas siguientes. f) C´ alcule  F (0, 2). Soluci´ on

Sea  X n : n´ umero de tubos en operaci´on al fin del d´ıa  n . a) Sea  Y n+1  una v.a. que representa el n´umero de tubos que se queman en el d´ıa n + 1. Entonces, X n+1  =  t − Y n+1 , donde on  Binomial(i, p). Y n+1 |  X n  =  i  tiene distribuci´ b) Dadas las suposiciones presentadas en el enunciado, puede decirse que el proceso {X n , n  = 0, 1, 2, . . .} es una cadena de Markov en tiempo discreto. Los estados posibles son {0, 1, 2, . . . , t}. Las probabilidades de transici´ on en una etapa pueden encontrarse considerando que si al fin de un d´ıa cualquiera hay i  tubos buenos, para  i  = 0, 1, . . . , t la probabilidad de que al fin del siguiente d´ıa haya j   tubos funcionando es:

   i

P ij =

t − j

·  pt−j · (1 − p)j −t+i

, si  j  =  t − i, t − i + 1, . . . , t

0

, en otros casos

Si se arma la matriz de probabilidades de transici´ on en una etapa, resultar´a que todos los t´ erminos en que i +  j < t ser´ an nulos. c) Para este caso, la matriz de probabilidades de transici´ on en una etapa es:

P  =

 

0 0 0 0,008

0 0 0,04 0,096

0 0,2 0,32 0,384

Esta cadena tiene una sola clase recurrente positiva aperi´odica.

1 0,8 0,64 0,512

 

d) Se pide F 3 (3, 0) F 3 (3, 0)

=

P 31  · F 2 (1, 0) + P 32  · F 2 (2, 0) + P 33  · F 2 (3, 0)

=

0,096 · (P 13 · P 30 ) + 0 ,384 · (P 23 · P 30 ) + 0 ,512 · (P 33  · P 30 )

=

0,096 · 0,64 · 0,008 + 0,384 · 0,64 · 0,008 + 0,512 · 0,512 · 0,008

e) La probabilidad pedida corresponde a  P 33 · P 33 · P 33

=

0,5123 .

f) Como todos los estados de la cadena pertenecen a una u ´nica clase recurrente positiva, se cumple que  F (0, 2) = 1. Problema 6

En una competencia, un robot debe construir un muro usando exactamente b   bloques id´enticos (con b   entero y b >   10), los que deben posicionarse de a uno de una forma predefinida (uno encima del otro formando una torre). Poner el primer bloque es una tarea que el robot siempre realiza de forma exitosa al primer intento. Para el segundo bloque, el robot lo coloca exitosamente (en un intento) con una probabilidad p. Si no lo logra, el primer bloque permanece en su lugar y el robot lo intenta nuevamente (con la misma probabilidades), y as´ı sucesivamente. Cuando el muro tiene m´ as de un bloque, el robot logra agregar un nuevo bloque en un intento con probabilidad  p  y con probabilidad 1 − p  falla, lo que significa que no solo no agrega un bloque nuevo, sino que adem´ as bota el u ´ ltimo bloque que hab´ıa colo cado. El robot sigue intentando agregar bloques con el objetivo de completar el muro. Suponga que 0,5  < p <   1 y que las probabilidades de tener ´exito en cada intento son independientes entre s´ı. L´ogicamente, el robot completa la prueba si logra colocar los b  bloques en el muro. Sea X n   el n´ umero de bloques que componen el muro tras n   intentos (etapas) desde el inicio de la prueba (en consecuencia,  X 0  = 0). a) Utilizando X n   como variable de estado, formule una cadena de Markov en tiempo discreto que permita describir la evoluci´ o n del n´ umero de bloques colocados exitosamente en el muro. (Debe especificar el espacio de estados y las probabilidades de transici´ on para todos los casos posibles. Suponga que cada intento es una etapa en la evoluci´ on de la cadena formulada).

b) Clasifique los estados en transientes o recurrentes (nulos o positivos). Indique si hay clases peri´ odicas, y el periodo, si corresponde. c) Determine el(los) valor(es) de  z   que es(son) soluci´ on o ´ptima del siguiente problema de optimizaci´ on: m´ın z s.a. P (T (0, b) =  z )  >  0 , z  ∈ {0, 1, 2, . . .} d) Si  X 2k  =  k con  k  entero y tal que 1  < k < b − 1, calcule la probabilidad de que el robot logre terminar el muro. Soluci´ on

a) Cadena de Markov en tiempo discreto: { X n , n  = 0, 1, . . .} Espacios de estados: {0, 1, 2, . . . , b − 1, b} Probabilidades de transici´ on en una etapa: P 01  = 1; P 11  = 1 −  p, P 12  =  p ; P i,i+1  =  p, P i,i−1  = 1 −  p, i  = 2, . . . , b − 1; P bb  = 1

El resto de las probabilidades de transici´ on en una etapa es igual a 0. b) Clases de estados: {0} Transiente aperi´odica {1, 2, . . . , b − 1} Transiente aperi´odica {b} Recurrente positiva aperi´odica c) P (T (0, b) =  z )  >  0 para  z  =  b, b + 1 , . . .  y  P (T (0, b) =  z ) = 0 para  z  = 1, 2, . . . , b − 1. Por lo tanto, la soluci´on o ´ptima ∗ es  z  =  b. d) Si X 2k =  k , con 1  < k < b − 1, la probabilidad de que el robot logre terminar el muro es  F (k, b) = 1, pues la cadena definida tiene una u ´ nica clase recurrente positiva que est´a compuesta por un estado,  b , que representa el t´ ermino de la construcci´ on del muro y que es accesible desde cualquiera de los dem´as estados de la cadena, que son transientes. Problema 7

Considere una cadena de Markov en tiempo discreto con espacio de estados {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}   y matriz de probabilidades de transici´ on dada por: 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9

    

0 0 0,5 0 0 0 0,3 0 0 0

0,1 0,8 0 0 0 0,4 0 0 0 0,5

0 0 0,3 0 0,2 0 0 0,6 0 0

0,2 0 0 1 0 0,1 0 0 0 0

0 0 0 0 0 0 0 0,2 0 0

0,3 0 0 0 0 0,5 0 0 0 0

0 0 0 0 0 0 0,7 0 0 0

0 0 0,2 0 0,8 0 0 0,2 0 0

0,1 0 0 0 0 0 0 0 1 0

0,3 0,2 0 0 0 0 0 0 0 0,5

    

a) Determine las clases de estados, clasifique los estados en transientes o recurrentes (positivos o nulos), y determine si son aperi´ odicos o peri´ odicos, y el valor del periodo, cuando corresponda. b) Calcule  F 2 (7, 2). c) Calcule  P (T (0, 3) = 3). d) Determine F (2, 3). e) Determine F (5, 9). f) Suponga que f (5) =



0

0,2

0

0

0

0

0,8

0

0

0

T 



.

Calcule la probabilidad de que en la etapa 8, el sistema est´e en el estado 8. Calcule la probabilidad de que en la etapa 7, el sistema est´e en el estado 1. (3) g) Calcule  P 51 .

h) Calcule  E [T (1, 9)]. i) Calcule  E [T (0, 9)]. Soluci´ on

a) Clases: {0} Transiente aperi´odica {1, 9} Recurrente positiva aperi´odica {2, 4, 7} Transiente aperi´odica {3} Recurrente positiva aperi´odica {5} Transiente aperi´odica {6} Transiente aperi´odica {8} Recurrente positiva aperi´odica b) F 2 (7, 2)

=

P 77  · P 72  + P 74 · P 42

c) P (T (0, 3) = 3) d) F (2, 3)

=

=

F 3 (0, 3)

F (0, 3)

=

=

0,2 · 0,6 + 0 ,2 · 0,2

P 05 · P 55  · P 53

=

=

0,16.

0,3 · 0,5 · 0,1

=

0,015.

, ya que {2, 4, 7} es una clase transiente cuya u ´ nica salida es al estado 0.

Entonces: F (2, 3)

e) F (5, 9)

=

F (0, 3)

=

=

F (0, 2)

=

P 03  + P 05  · F (5, 3)

P 51  · F (1, 9) + P 55 · F (5, 9)

=

=

0,2 + 0 ,3 · 0,2

=

0,4

0,26.

0,4 · 1 + 0 ,5 · F (5, 9)

Por lo tanto: 0,5 · F (5, 9)

=

→

F (5, 9)

4 5

=

f) El  f (5) nos dice que:  P (X 5  = 1) = 0,2,  P (X 5  = 6) = 0,8,  P (X 5  =  i ) = 0 para  i   = 1, 6. Usamos probabilidades totales: P (X 8 = 8)

P (X 7 = 1)

=

0,2 · P (X 8  = 8 |  X 5  = 1) + 0,8 · P (X 8  = 8 |  X 5  = 6)

=

0,2 · 0 + 0 ,8 · [P 66  · P 60  · P 08  + P 60 · P 08 · P 88 ]

=

0,8 · [0,7 · 0,3 · 0,1 + 0,3 · 0,1 · 1]

=

0,2 · P (X 7  = 1 |  X 5  = 1) + 0,8 · P (X 7  = 1 |  X 5  = 6)

=

0,2 · [P 11  · P 11  + P 19  · P 91 ] + 0,8 · [P 60 · P 01 ]

=

0,2 · [0,8 · 0,8 + 0 ,2 · 0,5] + 0,8 · [0,3 · 0,1]

=

0,0408

=

0,172

g) Tenemos: (3)

P 51

=

P 55  · P 55  · P 51  + P 55  · P 51 · P 11 + P 51 · P 11 · P 11 + P 51  · P 19  · P 91

=

0,5 · 0,5 · 0,4 + 0 ,5 · 0,4 · 0,8 + 0 ,4 · 0,8 · 0,8 + 0 ,4 · 0,2 · 0,5

h) Por argumento de renovaci´ on: E [T (1, 9)]

=

P 19  · 1 + P 11  · (1 + E [T (1, 9)])

Por lo tanto: E [T (1, 9)]

=

1 0,2

i) Dado que existe una probabilidad mayor que 0 de no llegar nunca a 9: E [T (0, 9)]

=

∞

Problema 8

Los siguientes problemas son independientes. a) Para una cadena de Markov en tiempo discreto, con estados {0, 1}, se sabe que n

P 

=

n

1 ·



0,6 0,6

0,4 0,4



n

+ 0,5 ·

  

y que la distribuci´ on inicial del proceso (en la etapa 0) est´ a dada por (3) Calcule  P 01 .

Calcule  F 3 (0, 1). Calcule la distribuci´ on del proceso en la etapa 2.

0,4 −0,6 1 0

−0,4 0,6 .



=

0,556

b) Considere una cadena de Markov en tiempo discreto con espacio de estados {1, 2, . . . , n}. Demuestre que la suma de los elementos de una fila cualquiera de la matriz de transici´on en dos etapas,  P (2) , es igual a 1. Soluci´ on

a) Tenemos: Se tiene: 3

P 

 

= =

0,6 0,6

0,4 0,4

52 80 42 80

28 80 38 80

    1 + · 8

0,4 −0,6

−0,4 0,6



=

4 80 6 − 80



0,6 0,6

0,4 0,4

 



0,6 0,6

0,4 0,4

  

1 10 3 − 20

P ik

=

+

4 − 80 6 80



28 7 = 80 20

(3) Por lo tanto:  P 01 =

P  =

Por lo tanto:  F 3 (0, 1) = 0,8 · 0,8 · 0,2 = 0,128



0,8 0,3

0,2 0,7



Tenemos: 2



=

P 

0,6 0,6

0,4 0,4

   1 +  · 4

−0,4 0,6

0,4 −0,6



=

T 

+

Como  f (0) = 1 0 , necesitamos calcular solo la primera fila de P 2 , que es: T  7 3 La distribuci´ on del proceso en la etapa 2 es:  f (2) = 10 . 10







b) Para todo i  ∈ {1, 2, . . . , n} se cumple: n

 j =1

n

(2)

P ij

=

n





n

P ik  · P kj

j =1 k=1

=

n

  P ik

k=1

j =1

7 10

3 10

1 − 10 3 20

T 





.

n

P kj

=



1

k=1

Problema 9

Usted y un amigo deciden jugar al siguiente juego con cuatro fichas. Se lanza una moneda al aire y si sale   cara   usted recibe de su amigo una ficha, la que suma a su haber; por el contrario, si sale   sello, usted debe entregar a su amigo todas sus fichas. Cuando usted se queda sin fichas, su amigo le da una ficha para que pueda seguir el juego. Se lanza la moneda nuevamente y, siguiendo las reglas reci´en descritas, usted recibe una ficha o entrega todas sus fichas, se vuelve a lanzar, y as´ı sucesivamente. El juego termina cuando usted logra llegar a tener las cuatro fichas, caso en el cual usted gana, o bien cuando a usted se le acaban las fichas por tercera vez, caso en el cual usted pierde. Se emplea una moneda con la cual la probabilidad de obtener  cara  es  p , y  sello, 1 − p  (con 0  < p <  1). Los lanzamientos de la moneda son independientes entre s´ı. Inicialmente, usted tiene tres fichas y su amigo, una. a) Modele este juego como una cadena de Markov en tiempo discreto. (Debe definir los estados y obtener la matriz de probabilidades de transici´ on en una etapa). b) Calcule la probabilidad de que usted gane el juego. c) Suponga que p  = 0,48. En caso que usted gane, recibe 1.000 (unidades monetarias) de una fuente externa y su amigo recibe 0. Si su amigo gana, usted recibe 0. ¿Qu´e valor monetario deber´ıa recibir su amigo en tal caso para que en valor esperado el juego sea igualmente atractivo para ambos? Soluci´ on

a) Definimos los estados: 0: Usted se qued´ o sin fichas por tercera vez. 3: Estado inicial (usted tiene tres fichas). ij : Usted tiene  i  fichas y se ha quedado sin fichas j   veces.  i  = 1, 2, 3,  j  = 1, 2.

4: Usted tiene cuatro fichas (gana el juego).

Matriz de transici´ on de probabilidades: 0 3 11 21 31 12 22 32 4

    

1 0 0 0 0 1 −  p 1 −  p 1 −  p 0

0 0 0 0 0 0 0 0 0

0 1 −  p 0 0 0 0 0 0 0

0 0

0 0 0

p

0 0 0 0 0 0

0 0 1 −  p 1 −  p 1 −  p 0 0 0 0

p

0 0 0 0 0

0 0 0 0 0 p

0 0 0

0 0 0 0 0 0 p

0 0

0 p

0 0 p

0 0 p

1

    

b) Se busca calcular F (3, 4). Desarrollando esta expresi´on se obtiene:  p + 2 ·  p3 − 2 ·  p4 −  p6 + p7 . c) Si  p  = 0,48, entonces la probabilidad de que usted gane el juego es aproximadamente 0.579. Entonces, su amigo debiera 0,579   579000 recibir aproximadamente 1000 · = para que el juego sea igualmente atractivo, en valor esperado, para 1 − 0,579 421 ambos. Problema 10

Las siguientes preguntas son independientes entre s´ı. a) Considere una cadena de Markov en tiempo discreto con estados {1, 2, 3, 4} y la matriz de transici´ on dada por:

 

1 2 3 4 Determine las clases y clasif´ıquelas.

0,1 0,1 1 0

0 0,5 0 0

0,9 0,1 0 0

0 0,3 0 1

 

( ) Calcule l´ımn→∞ P 21 . n

b) Considere una cadena de Markov en tiempo discreto con espacio de estados {1, 2, 3, 4, 5}  y la matriz de probabilidades de transici´ on dada. 1 2 3 4 5 1 2 3 4 5 (n)

Calcule l´ımn→∞ P 41 .

  

1 0 0 0 0,2

0 1 0 0,8 0

0 0 0 0,2 0,8

0 0 0,8 0 0

0 0 0,2 0 0

  

( ) Calcule l´ımn→∞ P 43 . n

Soluci´ on

a)

Tenemos 3 clases: {1, 3} Recurrente positiva aperi´odica {4} Recurrente positiva aperi´odica {2} Transiente aperi´odica

Queremos: ( ) l´ım P 21 n

n→∞

=

F (2, 1) E {T (1, 1)}

donde:

Por lo tanto: l´ım

n→∞

(n) P 21

F (2, 1)

=

0,5 · F (2, 1) + 0,1 + 0 ,1 · F (3, 1)

E {T (1, 1)}

=

0,1 · 1 + 0 ,9 · 2

=

2 5 19 10

=

4 . 19

=

1,9

=

= 19 10

2 5

b) Se tiene: ( ) l´ım P 41 n

n→∞

=

F (4, 1)

=

1 − F (4, 2) F (4, 2)

=

0,8 + 0 ,2 · F (3, 2)

(1)

F (3, 2)

=

0,8 · F (4, 2) + 0,2 · F (5, 2)

(2)

F (5, 2)

=

0,8 · F (3, 2)

(3)

Reemplazando (3) en (2): F (3, 2)

=

0,8 · F (4, 2) + 0,2 · 0,8 · F (3, 2) →  F (3, 2) =

(4) en (1): F (4, 2)

=

0,8 + 0 ,2 ·

20  · F (4, 2) 21

→

Por lo tanto, ( n)

l´ım P 41

n→∞

( ) l´ım P 43 n

n→∞

=

=

1 − F (4, 2)

=

1−

F (4, 2)

84 85

=

20 · F (4, 2) 21 =

(4)

84 85

1 85

0,  ya que el estado 3 pertenece a una clase transiente.

Problema 11

Las siguientes preguntas son independientes entre s´ı. a) Proporcione un ejemplo de una cadena de Markov en tiempo discreto que tenga exactamente dos clases recurrentes positivas peri´ odicas (especifique la cadena y la matriz de probabilidades de transici´ on). Use la m´ınima cantidad de estados posible).

b) Considere una cadena de Markov en tiempo discreto con un n´ umero finito de estados. Considere la siguiente afirmaci´ on: ”Si la cadena est´ a formada por una u´nica clase de estados, entonces tiene una u ´nica distribuci´ on l´ımite tal que (n) l´ımn→∞ P ij = πj   para cualquier par de estados i, j . Indique si la frase anterior es verdadera o falsa, justificando claramente su respuesta. c) Considere una cadena de Markov en tiempo discreto con estados {1, 2, 3} y la matriz de transici´ on dada por:

 

1 2 3

1 −  p 1−a−b 1−q

 p a

0

0 b q 

 

donde 0  < p, q,a,b <  1 y  a + b <  1. Calcule la distribuci´ on de probabilidades de  T (2, 2). Soluci´ on

a) Cadena:

Matriz de transici´ on de probabilidades: 1

 

1 2 3 4

2 0 1 0 0

3 1 0 0 0

4 0 0 0 1

0 0 1 0

 

b) La afirmaci´ on es falsa, pues podemos tomar que esa u ´nica clase sea peri´ odica, por ejemplo: En esta cadena podemos

(2 ver que l´ımn→∞ P 22 del estado inicial  i . c) Tenemos:

n)

(2 =1=  l´ımn→∞ P 12

n)

= 0, por lo tanto, no hay distribuci´ on l´ımite, pues l´ımn→∞ P ij( )  depende n

Hay una u ´nica clase: {1, 2, 3} Recurrente positiva aperi´odica. P {T (2, 2) = 1}

=

1−a−b

P {T (2, 2) = 2}

=

a · (1 −  p) + b · (1 − q )

P {T (2, 2) = 3}

=

a ·  p · (1 −  p) + b · q  · (1 − q )

P {T (2, 2) =  i }

=

a ·  p

i−2

· (1 −  p) + b · q i−2 · (1 − q )

, si  i  = 4, 5, 6, . . . .