Libro Introduccion A Los Procesos Estocasticos

February 1, 2023 | Author: Anonymous | Category: N/A

Share Embed Donate

Report this link

Short Description

Download Libro Introduccion A Los Procesos Estocasticos...

Description

Introducci´ o on n a los

´ PROCESOS ESTOCASTICOS

Luis Rinc´ o on n Departamento de Matem´ aticas aticas Facultad de Ciencias UNAM Circuito Exterior de CU 04510 045 10 M´ exico exi co DF Versi´ on: on: Enero 2011

Una versi´ on on actualizada del presente texto se encuentra disponible en formato electr´ onico onico en la direcci´ on on http://www.matematicas.unam.mx/lars

ii

Pr´ ologo ologo El presente texto contiene material báasico sico en temas de procesos estocásticos asticos a nivel licenciatura. Está dirigido a estudiantes de las carreras de matemáaticas ti cas,, actuar´ actu ar´ııa, a, matemáticas aticas aplicadas y otras carreras afines. Este trabajo es una versión on ampliada de las notas de clase del curso semestral de procesos estocástico astico que he impartido en la Facultad acultad de Ciencias Ciencias de la UNAM a alumn alumnos os de las carreras carreras de actuar actuar´ıa y matemáticas. aticas. Los temas tratados en este texto corresponden a ciertos modelos clásicos de la teor´ıa ıa de los procesos proc esos estoc´ estoc asticos, ásticos, y a ciertas preguntas o problemas matemáticos aticos que puede plantearse al estudiar tales El texto inicia conyuna explicación ouno n del concepto de proceso estocáastico sticomodelos. y con algunas definiciones ejemplos generales de este tipo de modelos. A manera de un acercamiento inicial se presenta primero una introducción on breve al tema de caminatas aleatorias en una dimensión, on, y particularmente se analiza el problema de la ruina del jugador. En el segundo cap´´ıtulo se estudian cadenas de Markov a tiempo discreto y después cap es se estudia el mismo tipo de modelo para tiempos continuos, para ello se presenta primero el proceso de Poisson. Se estudian despuéess los procesos de renovaci´ renovación, on, y brevemente también en la teor´ıa ıa de la confiabi confiabilidad. lidad. Se presenta despuéess una introducci´ introdu ccióon n a la teor´´ıa de martingalas a tiempo discreto, en donde se estudian solo algunos de sus teor muchos resultados y aplicaciones. Se incluye ademáass una introducción on al movimiento Browniano. El texto finaliza con una exposicióon n compacta y ligera del cálculo alculo estocástico astico de Itôo.. El material completo excede lo que regularmente es impartido en un curso semestral, y una seleccióon n adecuada de temas será necesaria. Cada cap´´ıtulo contiene material que puede considerarse como introductorio al tema. Al cap final de cada uno de ellos se proporcionan algunas referencias para que el lector pueda precisar o profundizar lo que aqu´ aqu´ı se s e presenta. El texto contiene una coleccióon n de ejercicios que se han colocado al final de cada cap´´ıtulo, y se han numerado de manera consecutiv cap consecutivaa a lo largo del libro. li bro. Se incluyen tambi´ tam bi´ een n sugerencias sugerencias o soluci soluciones ones de alguno algunoss de estos ejercici ejercicios. os. A lo largo de la exposición on el lecto lectorr encon encontrar´ trar´ a tam tambi´ bi´ en en alguno algunoss otros ejemplos ejemplos y ejercicios, ejercicios, los cuales son particularmente u utiles ´ tiles para el estud estudiant iantee autodidacta, autodidacta, o para presentar presentar en clase si se adopta alguna parte de este texto como material de estudio en algún un curso. Este material fue escrito en LATEX, las gráaficas ficas fuero fueron n elaboradas usando usando el excelen excelente te iii

paquete Pstricks, y las fotos fueron tomadas del archivo MacTutor (http://wwwhistory.mcs.st-and.ac.uk/) de la universidad de St. Andrews en Escocia. La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sabática en la universidad de Nottingham durante el añ noo 2007, y agradezco sinceramente al Prof. Belavkin su amable hospitalidad para llevar a cabo este proyecto, y a la DGAPA-UNAM por el generoso apoyo econóomico mico recibido durante esa agradable estancia. Agradezco sinceramente todos los comentarios, correcciones y sugerencias que he recibido por parte de alumnos y profesores para mejorar este material. Toda comunicaci´ on on puede enviarse a la cuenta de corr correo eo que aparece abajo. aba jo. Luis Rincóon n Enero 2011 Ciudad Universitaria UNAM [email protected]

iv

Contenido

1. Int Introducci´ roducci´ on on 2. Caminatas aleatorias 2.1. Caminatas aleatorias . . 2.2. El problema del jugador Notas y referencias . . . . . . Ejercicios . . . . . . . . . . .

1 . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

3. Cadenas de Markov 3.1. Propiedad de Markov . . . . . . . 3.2. Ejemplos . . . . . . . . . . . . . . 3.3. Ecuaci Ecuaci´ón de Chapman-Kol Kolmogo gorrov 3.4. Comunicaci Comunicaci´ón . . . . . . . . . . . . 3.5. Periodo . . . . . . . . . . . . . . . 3.6. Primeras visitas . . . . . . . . . . . 3.7 .7.. Recurren rencia y transito itoried iedad . . . . 3.8 .8.. Tiem iempo medio de recurrencia . . . 3.9. Clases cerradas . . . . . . . . . . . 3.10. N´ umero de visitas . . . . . . . . . 3.1 .111. Recurren rencia pos positiva iva y nula . . . . 3.12. Evolución de distribuciones . . . . 3. 3.13 13.. Dist Distri ribu buccion iones est estacio acion naria ariass . . . . 3.1 .144. Distribucion iones l´ımi ımite . . . . . . . . 3.15. Cadenas regulares . . . . . . . . . 3.16. Cadenas reversibles . . . . . . . . . Resumen de la notación . . . . . . . . . Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . v

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . .

5 . 5 . 14 . 20 . 21

. . . . . . . . . . . . . . . . . . .

23 23 27 34 37 40 43 45 51 52 53 59 63 65 71 76 78 81 82 84

. . . . . . . . . . . . . . . . . . .

4. El pro ceso de Poisson 4.1. Proceso de Poisson . . . . . . . . . 4.2 .2.. Definicion onees alterna rnativas . . . . . . 4. 4.3. 3. Proc Proces esoo de Poiss oisson on no hom omog og´éneo neo 4. 4.4. 4. Proc Proces esoo de Poiss oisson on co com mpues puestto . . . Notas y ref erencias . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5. Cadenas de Markov a tiempo continuo 5.1. Procesos de saltos . . . . . . . . . . . . 5.2. Propiedades generales . . . . . . . . . . 5. 5.3. 3. Proc Proces esos os de nac nacimie imien nto y m mue uert rtee . . . . 5.4 .4.. Proc Proceeso de nacimien iento puro . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . .

97 . . . . . . . 97 . . . . . . . 10 105 . . . . . . . 109 109 . . . . . . . 1112 12 . . . . . . . 113 . . . . . . . 11 115

. . . .

123 . 11224 . 11227 . 1133 33 . 11337

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

Notas y ref erencias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 141 6. Procesos de reno renov vaci´ on y confiabilidad 6.1. Procesos de re renov novaci´ aci´ on . . . . . . . . . . . . . . . . 6.2. Funci´ unci´ oon n y ecuacióon n de renovación . . . . . . . . . . 6.3. Tiempos de vida . . . . . . . . . . . . . . . . . . . 6.4. Teoremas eoremas de renova renovaci´ ci´ on . . . . . . . . . . . . . . . 6.5. Confiabilidad . . . . . . . . . . . . . . . . . . . . . Notas y ref erencias . . . . . . . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

143 . . . . . . . 14 143 . . . . . . . 14 146 . . . . . . . 11448 . . . . . . . 15 153 . . . . . . . 11557 . . . . . . . 162 . . . . . . . 16 163

7. Martingalas 167 7.1. Filtraciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 167 7.2. Tiempos de paro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11669 7.3. Martingalas . . . . . . . . . . . . . . . . . . . . . . 7.4. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . 7.5. Proc oceesos detenidos . . . . . . . . . . . . . . . . . . 7.6. Una apl aplica icaci´ ci´ on: Est Estrategia gias de juego . . . . . . . . 7. 7.7. 7. Teore eorema ma de paro paro opci opcion onal al y aapl plic icac acio ione ness . . . . . . 7.8 .8.. Algunas desig sigualdades . . . . . . . . . . . . . . . . 7.9 .9.. Convergencia de mart artingalas las . . . . . . . . . . . . 7.10. Representación de martingalas . . . . . . . . . . . Notas y ref erencias . . . . . . . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . 8. Movimiento Browniano

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . 17 171 . . . . . . . 17 172 . . . . . . . 11775 . . . . . . . 11776 . . . . . . . 179 179 . . . . . . . 11883 . . . . . . . 18 185 . . . . . . . 11991 . . . . . . . 195 . . . . . . . 19 198 205

vi

vii

8.1. Definic Definici´ i´ on . . . . . . . . . . . . . . . . . . . . . . . 8.2. Funci´ unci´ oon n de probabilidad de transición . . . . . . . 8.3. Propied Propiedade adess b´ asicas . . . . . . . . . . . . . . . . . 8. 8.4. 4. Prop Propie ied dades ades de las las tray rayector ctoria iass . . . . . . . . . . . 8. 8.5. 5. Movi Movimi mien ento to Bro Brown wnia iano no multi ultidi dime mens nsio iona nall . . . . . 8.6. El principio principio de rreflexi eflexi´ón . . . . . . . . . . . . . . . 8. 8.7. 7. Re Recu curr rreencia ncia y trans ransit itor orie ieda dad d. . . . . . . . . . . . . Notas y ref erencias . . . . . . . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . 20 206 . . . . . . . 20 209 . . . . . . . 21 210 . . . . . . . 2214 14 . . . . . . . 218 218 . . . . . . . 22 221 . . . . . . . 2222 22 . . . . . . . 229 . . . . . . . 23 232

9. C´ alculo esto c´ astico 237 9.1. Integraci Integraci´óon n estocástica . . . . . . . . . . . . . . . . . . . . . . . . . . 22337 9. 9.2. 2. F´ ormula ormula de Itô . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250 9.3. Ecuaciones Ecuaciones di diferen ferenciales ciales eestoc´ stoc´ asticas 9.4. Simulac Simulaci´ i´ on . . . . . . . . . . . . . . . 9. 9.5. 5. Al Algu guno noss mode odelos los part partic icul ular arees . . . . Notas y ref erencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . A. Conceptos y resultados varios

. . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . .

. . . . .

. . . . .

. . . . . . . 25 252 . . . . . . . 25 257 . . . . . . . 2258 58 . . . . . . . 268 . . . . . . . 26 269 271

Cap´ ıtulo 1

Introducci´ on on

Considere un sistema que puede caracterizarse por estar en cualquiera de un con junto de estados previamente especificado. Suponga que el sistema evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo a una cierta ley de t . Si se considera que la formovimiento, y sea X sea X t el estado del sistema al tiempo t. ma en la que el sistema evoluciona no es determinista, sino provocada por algún un mecanismo azaroso, entonces puede considerarse que X que X t es una variable aleatoria para cada valor del ´ındice t. Esta colección on de variables aleatorias es la definicióon n de proceso estocáastico, stico, y sirve como modelo para representar la evolución on aleatoria de un sistema a lo largo del tiempo. En general, las variables aleatorias que conforman un proceso no son independientes entre ss´´ı, sino que están an relacionadas unas con otras de alguna manera particular. Más as precisamente, la definición o n de , , P P ) proceso estocáastico stico toma como base un espacio de probabilidad (Ω, (Ω F ) y puede enunciarse de la siguiente forma. Definici´ on. on. Un proceso proceso estoc´ astico es una coleccióon n de variable variabless aleatorias aleatorias y espacio de estados . con valores en un conjunto S conjunto S  llamado llamado espacio conjunto T ,, llamado espacio llamado espacio parametral , {X t : : t t ∈ T } parametrizada por un conjunto T

En los casos más as sencillos, y que son los que consideraremos en este texto, se toma T   = 0, 1, 2, . . . , o bien el conjunto como espacio parametral el conjunto discreto T   T   = [0, continuo   T   continuo [0, ), y estos números umeros se interpretan como tiempos. En el primer discreto, y en general este tipo de procesos caso se dice que el proceso es a tiempo discreto, se denotará por X n : n : n = = 0, 1, . . . , mientras que en el segundo caso el proceso es a tiempo continuo, continuo, y se denotará por X t : t : t 0 . Es decir, seguiremos la convencióon n

{

∞

{

}

{

≥ }

1

}

2 de que q ue si el sub sub´´ındice es n es n,, entonces los tiempos son discretos, y si el sub´ sub´ındice es t, el tiempo se mide de manera continua. Los posibles espacios de estados que consideraremos son subconjuntos de Z, y un poco más as generalmente tomaremos como espacio de estados el conjunto de números umeros reales R, aunque en algunos pocos n casos también en consi consideraremo deraremoss a Z o Rn . Naturalmente, espacios máass generales son posibles, tanto para el espacio parametral como para el espacio de estados. En particular, para poder hablar de variables aleatorias con valores en el espacio de S ,, es necesario asociar a este conjunto una σ estados S estados una σ-´ -álgebra. algebra. Considerando que S que S es un subconjunto de R, puede tomarse la la σ-áalgebra lgebra de Borel de R restringida a S , es decir, S decir, S B (R).

∩

Un proceso estocástico astico puede considerarse como una función on de dos

X t (ω )

    s

      d     o X : T Ω S   S tal variables X       a que a la pareja (t, (t, ω ) se le asocia      t     s     e el estado estado X (t, ω ), lo cual también en     e       d puede escribirse como X t (ω ). Pa    o       i     c T , el mapeo ra cada valor de t en en   T ,     a     p ω X t (ω ) es una variable aleato    s       E ria, mientras que para cada ω cada ω en en Ω t X t (ω ) es llamafijo, la función t on t Espacio parametral on  del da una trayectoria una trayectoria  o realizaci´ o realizaci´ del ω del esproceso.. Es decir, proceso decir, a cada cada ω del Figura 1.1: pacio muestral muestral le corres corresponde ponde una trayectoria del proceso. Es por ello que a veces se define un proceso eson aleatoria . Una de tales trayectorias tocástico astico como una funci´ una funci´ trayectoria s tt´´ıpicas que adem´ ade máass cuenta con la propiedad de ser continua se muestra en la Figura 1.1, y corresponde a una trayectoria de un movimiento Browniano, proceso que definiremos y estudiaremos más as adelante.

× →



→

→



∈

A es un conjunto de estados, el evento (X A)) corresponde a la situación Si Si A ( X t A on en A.. En particular, donde al tiempo t tiempo t el el proceso toma alg´ u un n valor dentro del conjunto conjunto A x.. (X t = x = x)) es el evento en donde al tiempo t el proceso se encuentra en el estado x Los diferentes diferentes tipos de procesos estocáasticos sticos se obtienen al considerar considerar las distintas distintas posibilidades para: el espac posibilidades espacio io parame parametral, tral, el espaci espacioo de estados, estados, las caracter caracter´´ısticas de las trayectorias, y principalmente las relaciones de dependencia entre las variables aleatorias que conforman el proceso. Los siguientes son algunos ejemplos generales de proceso procesoss estocásticos. asticos. Estos son procesos que cumplen una cierta

ń Cap´ ıtulo ıtu lo 1. Int Intro roduc ducci cion o

3

propiedad particular, no necesariamente excluyentes unas de otras. A lo largo del texto estudiaremos y especificaremos con mayor detalle algunos de estos tipos de procesos.

{

Proceso de ensayos independientes. El independientes. El proceso a tiempo discreto X n : n = 0, 1, . . . puede estar constituido por variables aleatorias independientes. Este modelo representa una sucesión on de ensa ensayos yos independient independientes es de un mismo experimento experimento aleatorio, aleat orio, por ejemplo, ejemplo, lanzar un dado o una moneda repetidas veces veces.. El resultado resultado u observacióon n del proceso en un momento cualquiera es, por lo tanto, independiente de cualquier otra observacióon n pasada o futura del proceso.

}

Procesos de Markov. Estos Markov. Estos tipos de procesos son importantes y son modelos en donde, suponiendo conocido el estado presente del sistema, los estados anteriores no propietienen los estados futuros sistema. Esta condici´ on on se llama propiellamaestados dad de influencia Markov  y y en puede expresarse de ladel siguiente forma: Para cualesquiera x n+1 (futuro), se cumple la igualdad x n (presente), x0 , x1 , . . . , xn−1 (pasado), (presente), x (pasado), x

|

|

P P ((X n+1 = xn+1 X 0 = x P (X n+1 = xn+1 X n = x = x0 , . . . , Xn = x = xn ) = P ( = x n ). De esta forma la probabilidad del evento futuro (X (X n = x n ) sólo olo depende el evenn corres correspondien pondiente te al evento evento pasado to (X n−1 = x n−1 ), mientras que la informacióon (X 0 = x 0 , . . . , Xn −2 = x n−2 ) es irrelevante. Los procesos de Markov han sido estudiados extensamente y existe un gran nú umero mero de sistemas que surgen en muy diversas disciplinas del conocimiento para los cuales el modelo de proceso estocástico y la propiedad de Markov son razonables. En particular, los sistemas dinámicos amicos deterministas dados por una ecuacióon n difer diferencial encial pueden considerarse considerarse procesos de Markov pues su evolucióon n futura queda determinada por la posición on inicial del sistema y una ley de movimiento especificada. Procesos con increment incrementos os independie independiente ntes. s. Se Se dice que un proceso X t : t 0 tiene incrementos independientes si para cualesquiera tiempos 0 t1 < t2 < < t n , las variable ariabless X t1 , X t2 X t1 , . . . , Xt n X tn−1 son independientes.

} ···

−

≤

−

{

{

≥

≥ }

Procesos estacionarios. Se estacionarios. Se dice que un proceso X t : : t t 0 es estacionario (en el sentido estricto) si para cualesquiera tiempos tiempos t1 , . . . , tn , la distribución on del vector (X t1 , . . . , X t n ) es la misma que la del vector (X ( X t1 +h , . . . , Xt n +h ) para cualquier valor de de h > 0. En particular, la distribucióon n de de   X t es la misma que la de X t+h para cualquier h cualquier h > 0, y entonces esta distribucióon n es la misma para cualquier cualquier valor de t de t..

{

Procesos con incremen incrementos tos estacionarios estacionarios.. Se dice que un proceso X t : : t t

≥ 0}

4 tiene incrementos estacionarios si para cualesquiera tiempos s tiempos s < t, y para cualquier cualquier h > 0, las variables X t+h X s+h y X t X s tienen la misma distribución o n de probabilidad. Es decir, el incremento que sufre el proceso entre los tiempos tiempos s y t t s sólo olo depende dep ende de estos tiempos a travéess de la diferencia diferencia , y no de los valores t . espe es pecc´ıfi ıfico coss d dee s y t.

−

−

−

Martingalas. Una marti martingala ngala a tiem tiempo po discre discreto to es, en t´ erminos erminos generales, generales, un n = 0, 1, . . . que cumple la condicióon proceso X n : n = n

{

}

|

E (X n+1 X 0 = x = xn ) = xn . = x0 , . . . , Xn = x

(1.1)

En palabras, esta igualdad significa que el estado promedio del proceso al tiempo n + 1 es el valor futuro n futuro valor del proc proceso eso en su ú ultimo ltimo momento observado, es decir, x n . Esto es, se trata de una ley de movimiento aleatorio que es equilibrada pues en promedio el sistema no se mueve del ú ultimo ltimo momento observado. A estos procesos tambi´ tam bi´ een n se les conoce como procesos de juegos juegos justos justos pues si se considera considera una sucesi´ on on infinita de apuestas sucesivas y si X n denota el capital de uno de los jugadores al tiempo tiempo n, entonces la propiedad de martingala (1.1) establece que el juego es justo pues en promedio el jugador no pierde ni gana en cada apuesta.

{

≥ }

{

≥ }

Pro cesoss de L` Proceso e evy. vy. Se dice que un proceso a tiempo continuo X t : t 0 es un proceso de Lèvy evy si sus increm increment entos os son independien independientes tes y estacionario estacionarios. s. M´ aass adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos. Procesos Gausianos. Gausianos. Se Se dice que un proceso a tiempo continuo X t : t 0 es un proceso Gausiano si para cualesquiera colección on finita de tiempos t 1 , . . . , tn , el vector (X (X t1 , . . . , Xt n ) tiene distribución on normal o Gausiana. Nuevamente, el movimiento Browniano es un ejemplo de este tipo de procesos. El objetivo del presente texto es el de proporcionar una introducción on a algunos resultados elementales resultados elementales sobre ciert ciertos os tipos de proceso procesoss estoc´ asticos. asticos.

{

}

n = = 0, 1, . . . con Demuestre que todo proceso a tiempo discreto X n : : n incrementos independientes es un proceso de Markov. Este resultado no es válido alido para procesos a tiempo tiempo cont continuo inuo.. 

 E Ejercicio. jercicio.

Cap´ ıtulo 2

Caminatas aleatorias

En este cap´ cap´ıtulo se pre presenta senta una introdu introducci´ ccióon n breve al tema de caminatas aleatorias en una dimensión. on. Encontraremos la distribución on de probabilidad de la posición on de una part´ p art´ıcula ıcu la que efec efect´ tú uaa una caminata aleatoria en Z, y la probabilidad de retorno a la posición on de origen. Se plantea y resuelve después es el problema de la ruina del jugador, y se analizan algunos aspectos de la solución. on.

2.1. 2.1.

Ca Cami mina nata tass alea aleator toria iass

Una caminata caminata aleatoria aleatoria simple sobre sobre el conjun conjunto to de números umeros enteros Z es un proceso estocástico astico a tiempo discreto X n : n = 0, 1, . . . que evoluciona como se muestra en la Figura 2.1.

{

}

Es decir, iniciando en el estado 0, al siq p guiente tiempo el proceso puede pasar al p , o al estado estadoo +1 con probabilidad estad probabilidad p, −2 −1 0 +1 +2 1 con probabilidad q probabilidad q , en donde p donde p+ + q  = = 1. Se usa la misma regla para los siguientes tiempos, es decir, pasa al estado de la deFigura 2.1: recha con probabilidad p probabilidad p,, o al estado de la tiempo n.. izquierda con probabilidad q probabilidad q . El valor de X de X n es el estado del proceso al tiempo n Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo abilidades es de transici´ on  que on  que se muestran en la Figura 2.1, válidas a las prob las probabilidad alidas para 

−

5









6

2.1. Caminat Caminatas aleat aleatorias orias

≥

i y j . Estas probabilidades se pueden cualquier n 0, y para cualesquiera enteros cualquier n enteros i escribir escrib ir de la forma siguien siguiente te

|

P ( P (X n+1 = j i ) = = j X n = i)

 

p si j = i + 1, si j 1, q si j = i 1, si j 0 ot otro ro caso caso..

−

ho mogéeneas n eas en Dado que estas probabilidades no dependen de n, se dice que son homog´ el tiempo, tiempo, es decir, son las mismas para cualquier valor de n. A partir de estas consideraciones, es intuitivamente claro que este proceso cumple la propiedad de Markov, es decir, el estado futuro del proceso depende unicamente u ´ nicamente del estado presente y no de los estados previamente visitados. Una posible trayectoria de este proceso se muestra en la Figura 2.2. Una caminata c aminata aleato aleatoria ria p puede uede también en definirse de la forma siguiente: Sea ξ Sea ξ 1 , ξ 2 , . . . una sucesión on de variables aleatorias independientes e idénticamente enticamente distribuidas. Por la idéntica entica distribuci´ distri bucióon n denotaremos a cualquiera de ellas mediante la letra ξ letra ξ    sin P ( ξ sub´´ındice. sub ındice . Supondremos Supon dremos que P que ( = = +1) = p p y P ((ξ   = y P = 1) = q = q , en donde, como antes, p + q  = = 1. Entonces para n para n 1 se define

X n (ω ) 

















n













−

≥ X n = X = X 0 + ξ 1 + · · · + ξ n .

Figura 2.2:

Sin pérdida erdida de generalidad supondremos que que   X 0 = 0. Nos interesa encontrar algunas propiedades de la variable X variable X n , y de su comportamiento como función on de n de n.. Por ejemplo, ejemplo, a partir de la expre expresi´ si´ oon n anterior, es inmediato encontrar su esperanza y varianza. Proposici´ on. on. Para cualquier entero n entero n n ( p 1. E (X n ) = n(

≥ 0,

− q ).).

2. Var(X ar(X n ) = 4npq .



Demostraci´ on. Para la esperanza tenemos que que E (X n ) =

n i=1

E (ξ i ) = n E (ξ ) =

Cap´ ıtulo 2. Caminat Caminatas aleat aleatorias orias

7

n( p q ). + q    = 1 y E (ξ ) = p q , se tiene que ) . Por otro lado, como E (ξ 2 ) = p + q n 2 ξ ) = 1 ( p q ) = 4 pq . Por lo tanto Var(X ξ i ) = n Var( ξ ) = Var(ξ Var( Var(X n ) = i=1 Var( Var(ξ Var(ξ 4npq .

−



− −

−

Analicemos estas dos primeras fórmulas. ormulas. Si p > q , es decir, si la caminata toma pasos a la derecha con mayor probabilidad, entonces el estado promedio despuéess de n de n pasos pasos es un n´ u umero mero positivo, es decir, su comportamiento promedio es tender p < q , q , entonces hacia la derecha, derecha, lo cual es intuitiv intuitivamen amente te claro. An´ aalogamente, logamente, si si p n pasos el estado final promedio de la caminata despuéess de n pasos es un número umero negativo, es decir, en promedio la caminata tiende a moverse hacia la izquierda. En ambos casos la varianza crece conforme el n´ umero umero de pasos n pasos n crece, crece, eso indica que mientras mayor es el n´ u umero mero de pasos que se dan, mayor es la incertidumbre acerca de la p = q  se q  sees si ael sim´ m´ eetri t rica ca . posici´ on on p = final la, ycaminata es asi q  = /2 se diceCuando sim´ métri eque t rica ca Cuando p Cuando = q del = 1proceso. que la caminata esdice en promedio proceso se queda en su estado inicial pues E (X n ) = 0, sin embargo para tal valor de p la n , y es sencillo demostrar que ese valor es el máximo de la varianza es Var(X Var(X n ) = n, npq p expresi´ on on 4 , para p para (0, (0, 1).



∈

X n Demuestr Demuestree que la funci´ funci´ oon n generadora de momentos de la variable variable X − tXn t t n M (t) = E E ((e ) = ( pe + qe ) . A partir de esta expresióon n encuentre nuevaes es   M ( mente la esperanza y varianza de X de X n . 

Ejercicio. icio.  Ejerc

Probabilidadess de transici´ Probabilidade transici´ on. Como on. Como hemos supuesto que la caminata inicia en cero, es intuitivamente intuitivamente claro que despuéess de efectuar un n´ umero umero par de pasos la cadena sólo olo puede terminar en una posicióon n par, y si se efectúan uan un n´ umero umero impar de pasos la posición on final sóolo lo puede ser un número umero impar. Ademáas, s, es claro que n pasos, n pasos, la desp despu´ uéess de efectuar efecatuar sóolo lo puede llegar a una distancia máxima axima de n de n unidades, unidades, la izquierda o acaminata la derecha. Teniendo esto en mente, en el siguiente X n . resultado se presenta la distribución on de probabilidad de la variable variable X

−n ≤ x ≤ n,

Proposici´ on. on. Para cuales x y n tales que cualesquiera quiera n´ u umeros meros enteros enteros x y n y para el caso cuando x cuando x y n son ambos pares o ambos impares,

|

P ( P (X n = x = x X 0 = 0) =





1 1 n p 2 (n+x) q 2 (n−x) . 1 2 (n + x)

(2.1)

n que Para valores de x de x y y n que no cumplen las condiciones indicadas la probabilidad en cuestión on vale cero.

8

2.1. Caminat Caminatas aleat aleatorias orias

Demostraci´ on. Suponga que se observa la posicióon n de la caminata c aminata después es de efec n pasos. Sean R tuar n tuar Sean R n y L n el n´ u umero mero de pasos realizados hacia la derecha y hacia la izquierda, respectivamente. Entonces Entonces X n = R n Ln , y ademáas s n = Rn + L + Ln . n Sumando estas dos ecuaciones y substituyendo la expresióon X n X n = i=1 ξ i se obtiene n 1 1 Rn = (n + X n ) = (1 + ξ i ). 2 2 i=1

−





Esta ecuacióon n es la identidad clave para obtener el resultado buscado. Observe n y X n son ambos pares que esta fórmula ormula arroja un valor entero para R para R n cuando cuando n o ambos impares. Como las variables independientes ξ i toman los valores +1 y q  respectivamente, 1 con probabilidades p probabilidades p y y q respectivamente, entonces las variables independientes 1 p y q . Esto lleva a la conclusióon ξ ) toman los valores 1 y 0 con probabilidades p y q n (1 (1+ + i 2 n, p). Por lo tanto, para cualquier de que la variable R variable Rn tiene distribucióon n binomial( binomial(n, valor de x de x que cumpla las condiciones enunciadas se tiene que

−

|

P ( P (X n = x X 0 = 0) = P ( P (Rn = =



1 (n + x)) 2



n 1 1 p 2 (n+x) q 2 (n−x) . 1 2 (n + x)

En particular, cuando la caminata es simétrica, etrica, es decir, cuando p cuando p = = 1/2, y con las n , ambos pares o ambos impares) se mismas restricciones para para n y x ( n x n,

− ≤ ≤

tiene la expresi´ expresi´ on on

|

P ( P (X n = x = x X 0 = 0) =



n 1 n x 2( + )



1 . 2n

(2.2)

Esta fórmula ormula puede p uede también en justificarse justi ficarse mediante aargumentos rgumentos de d e análisis alisis combinan torio de la siguiente forma: En total hay 2 posibles trayectorias que la caminata puedee seguir al efec pued efectuar tuar n n pasos, todas ellas con la misma probabilidad de ocurrir debido a la simetr´ııa. a. A Ahora, hora, ¿Cuántas antas de estas trayectorias terminan en x en x 0, por ejemplo? Como se ha argumentado antes, el nú umero mero de pasos a la derecha debe 1 x), ser 2 (n + + x ), y el n´ u umero mero de trayectorias que cumplen la condición o n es el número umero de formas en que los 12 (n + x + x)) pasos a la derecha pueden escogerse de los n pasos totales. La respuesta es entonces el cociente que aparece en (2.2).

≥

Cap´ ıtulo 2. Caminat Caminatas aleat aleatorias orias

 Ejercicio.

9

Demuestre nuev nuevamente amente la identidad identidad (2.1) analizando ahora la v variable ariable n Ln , es decir, demuestre primero las igualdades L igualdades L n = (n X n )/2 = i=1 (1 ξ i )/2. n, q ). n binomial( binomial(n, ). A partir de aqu aq u´ı obtenga obten ga (2.1). (2. 1).  Concluya que L que Ln tiene distribucióon



−

−

Ejercicio. Ejercicio. Demuestr Demuestree que la probabilidad probabilidad (2.1) es un unaa funci´ on on simétrica etri ca de x si, y sólo olo si, la caminata es simétrica. etrica. 



La fórmula ormula (2.1) puede extenderse fáacilmente cilmente al caso general de pasar de un estado y a otro estado x cualquiera y cualquiera estado x en n pasos. Proposici´ on. on. Si los n´ u umeros meros n y x

y son ambos pares o ambos impares,

− −n ≤ x − y ≤ n, n P ( P (X n = x = x | X 0 = y = y)) = 1 (n + x − y )

entonces para



2



1

1

p 2 (n+x−y) q 2 (n−x+y).

(2.3)

−

Para valores de de x y y n que no cumplen las condiciones indicadas la probabilidad bilida d en cuest cuesti´ ióon n vale cero.

Demostraci´ on. Tenemos como hipótesis y.. Consideremos el proceso Z otesis que X que X 0 = y proceso Z n = X n y . Entonces Z n es ahora una caminata aleatoria que inicia en cero como en el caso antes demostrado. El resultado enunciado se obtiene de la identidad P P ((X n = x X 0 = y = y)) = P = P ((Z n = x y Z n = 0).

−

{ }

|

− |

Probabilidad de regreso a la posici´ o on n de origen. Nos Nos plantearemos ahora el problema de encontrar la probabilidad de queorigen. una caminata aleatoria que inicia en el origen, regrese eventualmente al punto de partida. Demostraremos que en el cas casoo asim´ asi métrico etr ico,, p = 1/ 1 /2, la probabilidad de tal evento es menor que uno, es decir, no es seguro que ello ocurra, o curra, pero en el caso siméetrico, p trico, p = = 1/2, se cumple que con probabilidad uno la caminata regresa eventualmente al origen. Para el último ultimo caso demostraremos además a s que el nú umero mero de pasos promedio para regresar al origen es, sin embargo, infinito. La demostración on es un tanto tanto t´ ecnica ecnica y hace uso de las funciones generadoras de probabil probabilidad. idad. Dado que este cap´ıtulo ıtulo es introductorio, tal vez sea mejor recomendar al lector, cuando se trate de una primera lectura, omitir los detalles de esta demostraci´ demostraci´ oon. n.



10

2.1. Caminat Caminatas aleat aleatorias orias

Proposici´ on. on. Para una caminata aleatoria sobre Z, la probabilidad de un eventual regreso al punto de partida es 1

− | p p − q | =



1 < 1

p = q, si si p = q, p = q. si si p



Es decir, sólo olo en el caso siméetrico, trico, p = q , se tiene la certeza de un eventual retorno, sin embargo el tiempo promedio de regreso en tal caso es infinito.

Demostraci´ on. Para demostrar estas afirmaciones utilizaremos los siguientes elementos: a) Para cada cada n 0 denotaremos por por pn a la probabilidad de que la caminata se P ((X n = 0 X 0 = 0). Esta encuentre en el estado 0 al tiempo n, es decir, pn = P probabilidad es distinta de cero sóolo lo cuando cuando   n es un número umero par. Naturalmente p0 = 1. 1 . Denotaremos Denotar emos también en por f k a la probabilidad de que la caminata visite f    proviene el el estado 0 por primera vez en el paso k 0. El uso de la letra f térmi er mino no en Ingl In gl´és first es first . Por conveniencia se define f define f 0 = 0. Observe Obser ve que en términos erminos de las probabilidades f probabilidades f k , la probabilidad de que la caminata regrese eventualmente ∞ al origen es k=0 f k . Esta serie es convergente pues se trata de la suma de probabilidades de eventos disjuntos, y por lo tanto a lo sumo vale uno. Demostraremos que en el caso simétrico etrico la suma vale uno. Recordemos nuevamente nuevamente que los l os valores f k de f de k son estrictamente positivos sóolo lo para valores pares de de k distintos de cero.

≥

|

≥



b) No es dif´ dif´ıcil comprobar que se cumple la siguiente igualdad n

pn =

 k=0

f k pn−k .

(2.4)

En esta expresión on simplemente se descompone la probabilidad de regreso al origen, pn , en las distintas posibilidades en donde se efect´ ua el primer regreso al origen. ua Este primero regreso puede darse en el paso 1, o en el paso 2, ..., o en el último momento, el paso paso n. Despu Despu´éess de efec efectuado tuado el prime primerr regreso regreso se multiplica multiplica por la probabilidad de regresar al origen en el n´ u umero mero de pasos restantes. Observe que el primer sumando es cero. Esta fórmula ormula será demostrada más as adelante en el contexto de las cadenas de Markov, véase ease la l a fóormula rmula (3.2) en la página agina 44. Usaremos (2.4) para encontrar la función on generadora de probabilidad de la coleccióon n de n´ umeros umeros

Cap´ ıtulo 2. Caminat Caminatas alea aleatoria torias s

11

f 0 , f 1, f 2 , . . . , es decir, encontraremos G(t) =

∞



f k tk .

k=0

Multiplicando (2.4) por t por t n , sumando y cambiando el orden de las sumas se obtiene

∞



n

pn t

=

∞

n



f k pn−k ) tn

(

n=1 k=0

n=1

=

∞ ∞

k=0 n=k

∞

f k pn−k tn

∞

    −  =

f k tk

n=k

k=0

= G(t)

∞

pn−k tn−k

pn tn .

n=0

Por lo tanto (

∞

n

pn t )

G(t) 1 = G(

∞

pn tn .

(2.5)

n=0

n=0

Para encontrar G encontrar G((t) se necesita encontrar una expresióon n para la suma que aparece en la ultima u ´ ltima ecuac ecuaci´ i´ oon, n, y que no es otra cosa sino el función generadora de los . Haremos esto a continuación. n´ u umeros p meros p 0 , p1 , p2 , . . . Haremos on. c) Para el anáalisis lisis que sigue necesitamos recordar que para cualquier número umero real a y para cualquier entero n entero n,, se tiene el coeficiente binomial



a(a a = n

− 1) · · · (a − (n − 1)) . n!

(2.6)

Observe que en el numerador hay hay n factores. Este número umero es una generalizacióon n del coeficiente coeficiente binom binomial ial usual y aparec aparecee en la siguien siguiente te expansi´ on on binomial infinita válida alida para t < 1, ∞ a a tn . (2.7) (1 + t) = n n=0

| |

 

12

2.1. Caminat Caminatas aleat aleatorias orias

En particular y como una aplicación on de (2.6) se tiene que

 2n n

= = = =

2n(2n (2n

n! n! n 3) 5 3 1 2n n! (2n (2n 1)(2 1)(2n n! n! 2n 2n 2n 1 2 n 3 5 3 1 ( )( ) ( )( )( ) n! 2 2 2 2 2 n n 1 2 2 3 5 3 1 ( 1)n ( n + )( n + ) ( )( )( ) n! 2 2 2 2 2 / 1 2 . ( 4)n n

− −

− ··· · · − ··· − − ··· − − −

−− 

−

=

− 1)(2 n − 2) · · · 3 · 2 · 1 1)(2n

(2.8)

d) Usando (2.7) y (2.8) podemos ahora encontrar una expresión on cerrada para la funci´ on on generadora de la colección on de n´ u umeros p meros p 0 , p1 , p2 , . . .

∞



pn t

n

=

n=0

∞

   − −   −  −

n=0

=

∞

( 4)n

n=0

=

∞

n=0

= (1

2n n n 2n p q t n

1/2 n n 2n p q t n

1 /2 ( 4 pqt 2 )n n

− 4 pqt2)−1/2 .

(2.9)

e) Substituyendo (2.9) en (2.5) se llega a la igualdad (1

G(t) (1 − 4 pqt 2 )−1/2 . − 4 pqt2)−1/2 − 1 = G(

De donde se obtiene finalmente G(t) = 1

− (1 − 4 pqt2)1/2.

(2.10)

Usando esta expresi´ Usando oon n podemos ahora calcular la probabilidad de un eventual regreso al estado inicial. En efecto, por el lema de Abel,

∞



n=0

f n = l´ım G(t) = 1 t

ր1

− (1 − 4 pq )1/2 = 1 − |  pp − q |.

Cap´ ıtulo 2. Caminat Caminatas alea aleatoria torias s

13



En el caso asimétrico, etrico, p = 1/2, esta cantidad es estrictamente menor a uno y por lo tanto no hay seguridad de que la caminata sea capaz de regresar al origen. En cambio, en el caso simétrico, etrico, p = 1/2, esta cantidad vale uno, es decir, con probabilidad uno la cadena aleatoria simétrica etrica regresa eventualmente eventualmente a su posicióon n de origen. origen. Adem´ as, as, el tiempo promedio de regreso se obtiene derivando la funcióon n 2 1/2 G( t t generadora G ( ) = 1 (1 generadora ) , es decir,

− −

∞



t √ = ∞. tր1 1 − t2

n f n = l´ım G′ (t) = l´ım

ր1

t

n=0

Puede tambi´ een n eleesscaso de una caminata en donde posible p osible pseermanecer en considerarse el mismo estado despu´ de una unidad de tiempo. Estasea situaci´ on on permaneilustra q  + r en la Figura 2.3(a), en donde p, q   y r son probabilidades tales que p que p + + q + r = = 1. 2 Tambi´ een n pueden considerarse caminatas aleatorias en Z como la que se muestra en la Figura 2.3(b), en donde p + q + q  + + r + s = 1, o más as generalmente en Zn o cualquier otro conjunto reticulado.

1

r q



r

p

p

 

−1



0





−1

1



q

1 s



−1

(a)

(b)

Figura 2.3: En el siguiente cap´ cap´ıtulo se estudiar´ aan n algunas otras propiedades de las caminatas aleatorias en el contexto de las cadenas de Markov.

14

2. 2.2. 2.

2.2 2.2.. El probl problema ema del jug jugado ador r

El prob proble lema ma d del el juga jugado dor r

En esta seccióon n consideraremos un ejemplo particular de una caminata aleatoria puesta en el contexto de un juego de apuestas. Planteamiento del problema. Suponga problema. Suponga que un jugador A apuesta sucesivamente sucesivamente k unidades, una unidad monetaria a un jugador B jugador B.. Inicialmente el jugador A jugador A tiene tiene k y B tiene tiene   N k unidades, es decir, el capital conjunto entre los dos jugadores es N    unidades monetarias. En cada apuesta el jugador A tiene probabilidad de de de N p,, y probabilidad de perder q p, se asume además ganar p ganar perder q  = = 1 p, as que no hay empates. X n la fortuna del jugador A n = Sea X Sea jugador A al tiempo n tiempo n.. Entonces X n : n = 0, 1, . . . es una caminata aleatoria que inicia en el estado k estado k y eventualmente puede terminar en el

  −−

−

{

}

estado 0 cuando el jugador A jugador A ha ha perdido todo su capital, o bien puede terminar en A ha ganado todo el estado N estado N  que que corresponde a la situacióon n en donde el jugador jugador A el capital. Es Este te proc proces esoo es ento entonc nces es un unaa cacami mina nata ta alea aleato tori riaa sobr sobree el conj conjun unto to 0, 1, . . . , N , en donde los estados 0 N  son y N son absorbentes, pues una vez que la cadena llega a alguno de ellos, jamás as lo abandona. Una posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra en la Figura 2.4.

{

}

Una de las pregun preguntas tas que resolv resolvere ere-mos para esta caminata es la siguiente:

X n N



k























τ







n

Figura 2.4:

¿Cu´ al al es la probabilidad de que eventualmente el jugador A jugador A se arruine? Es decir, ¿Cuáall es la probabilidad de que la caminata se absorba en el estado 0 y no N , u oscile entre estos dos estados? Este problema se conoce como en el estado N , problema de la ruina del jugador , y encontraremos a continuación el el problema on su solución. on. Usandoo probabilidad Usand probabilidad condicio condicional nal es posible transform transformar ar este problema en resolver resolver una ecuacióon n en diferencias diferencias.. Soluci´ o on n al problema. problema. Sea τ  es el primer momento en el que la caminata visita Sea τ  es τ  = alguno de los dos estados absorbentes, es decir, decir, τ = m´ın n 0 : X n = 0 ó X n = N . Puede demostrarse que esta variable aleatoria is finita casi seguramente. La

}

{ ≥

Cap´ ıtulo 2. Caminat Caminatas alea aleatoria torias s

15

pregunta planteada se traduce en encontrar la probabilidad

|

uk = P ( P (X τ = k)). τ   = 0 X 0 = k Por el teorema de probabilidad total se obtiene la ecuación on en diferencia diferenciass uk = p uk+1 + q uk−1 ,

(2.11)

−

válida alida para k = 1, 2, . . . , N 1. La interpretacióon n intuitiva de esta identidad es sencilla: A partir del estado k estado k se busca la probabilidad de ruina analizando lo que sucede en la siguiente apuesta. Se tienen dos casos. El jugador gana con probabili p y ahora se busca la probabilidad de ruina a partir del estado k + 1, o bien dad p dad bien el jugador pierde con probabilidad q probabilidad q  y y se busca la probabilidad de ruina ahora a partir on es son u = 1 y u = 0. Esta ecuación del estado k estado k 1. Las condiciones de frontera son u N 0 una ecuación on en diferencias, lineal, de segundo orden y homog´ enea. enea. Puede encontrarse su solución on de la siguiente forma: Multiplicando el lado izquierdo de (2.11) por ( p ( p + q ) y agrupando téerminos rminos se llega a la expresi´ on on equivalente

−

− uk = (q/p q/p)) (uk − uk−1 ). (2.12) Resolviendo iterativamente, las primeras k primeras k − 1 ecuaciones se escriben de la forma uk+1

siguiente

u2 u3

uk

− u1 = − u2 =

− uk−1

− −

q/p)) (u1 1) (q/p q/p))2 (u1 1) (q/p

.. . q/p))k−1 (u1 = (q/p

− 1) 1)..

Hemos usado aqu aqu´´ı la condici´ oon n de frontera frontera   u0 = 1. Conviene ahora definir S k = k q/p)) + 1 + (q/p + (q/p ( q/p)) pues al sumar las las k 1 ecuaciones anteriores se obtiene uk u1 = (S k−1 1) (u1 1). O bien

−

···

−

−

−

uk = 1 + S k−1 (u (u1

− 1) 1)..

(2.13)

De manera análoga aloga pero ahora sumando todas las ecuaciones de (2.12) se obtiene uN   = 1 + S N u N  = 0 se llega (u1 1). Usando la segunda condicióon n de frontera frontera u N  −1 (u a u 1 1 = 1/S N oon n N  −1 . Substituyendo en (2.13) y simplificando se llega a la soluci´

−

−

−

uk = 1

− S S N Nk− −11 .

16

2.2 2.2.. El probl problema ema del jug jugado ador r

Es necesario necesario ahora distinguir los siguientes siguientes dos casos:

S k = 1 + (q/p (q/p)) +

Por lo tanto uk =

 

· · · + (q/p (q/p))k =

 

k + 1 1

  −− k)/N (q/p q/p))k − (q/p q/p))N q/p))N 1 − (q/p

(N

p = q, si p = q,

− (q/p q/p))k+1 q/p)) 1 − (q/p



p = q. si si p

si p = 1/2,



si p = 1/ 1 /2 .

(2.14)

En la Figura 2.5 se muestra la gráfica afica de la probabilidad uk como función on del parámetro k ametro k para para varios valores de p de p y y con N con N  = = 50. 5 0. En el caso cas o simétrico etrico la soluci´ so lucióon n es la linea recta que une la probabilidad uno con la probabilidad cero. Naturalmente la probabilidad de ruina decrece cuando el capital inicial k inicial k aumenta. En la seccióon n de ejercicios se sugiere otra forma de resolver la ecuacióon n en diferencias diferencias (2.11).

uk 1

p p = = 0.01 p p = = 0.2 p p = = 0.35 p p = = 0.5

p p = = 0.65 p p = = 0.8 p p = = 0.99

k 10

20

30

40

50

Figura 2.5: An´ a alisis lis is de la soluc soluci´ i´ on. Es on. Es interesante analizar la fórmula ormula (2.14) en sus varios aspectos. Por ejemplo, para el caso simétrico etrico p = 1/2, es decir, cuando el juego es justo, la probabilidad de ruina es muy cercana a 1 cuando cuando k es muy pequeño no comparado con N con N .. Esto sugiere que no conviene jugar esta serie de apuestas contra adversarios demasiado ricos, aún un cuando el juego sea justo. Es tambi´ en en un tanto inesperado inesper ado observar observar que la probab probabilidad ilidad   uk es muy sensible a los valores de p cercanos a 1/ 1/2. Esto puede apreciarse en la Figura 2.6. Cuando p es distante de 1/2 la probabilidad uk es casi constante, pero para valores de p cercanos a 1/ 1/2

Cap´ ıtulo 2. Caminat Caminatas alea aleatoria torias s

17

la probabilidad cambia rápidamente apidamente de un extremo a otro. Estas gráficas aficas fueron elaboradas tomando N tomando N  = = 50.

uk

uk

1

uk

1

k = 5

p

0.5

1

k = 25

1

p

0.5

p

k = 45

1

0.5

1

Figura 2.6: Ejerci Ejercicio. cio. (Proba (Probabil bilida idad d de ruina del otr otroo jugado jugador). r). Si el juego se consid considera era desde el punto de vista del jugador B , entonces se trata de la misma caminata aleatoria sólo olo que ahora el capital inicial es N es N k y la probabilidad de ganar en cada apuesta es q es q . Substituya estos parámetros ametros en la solucióon n (2.14) y compruebe que la probabilidad de ruina del jugador B jugador B,, denotada por v por v N −k , es la que aparece abajo. Verifique además as que u que uk + vN −k = 1, es decir, la probabilidad de que eventualmente el juego termine con la ruina de alguno de los jugadores es uno. 

−

vN −k =

 

k/N q/p))k (q/p q/p))N (q/p

−1 −1

si q  = = 1/ 2,

  

si q = 1/2. 

N´ umero umero esperado de apuestas antes de la ruina. Hemos comprobado en el ejercicio anterior que con probabilidad uno ocurre que eventualmente alguno de los dos jugadores se arruina. arruina. Es natur natural al ent entonces onces plant plantearse earse el problema problema de encontrar encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. Este número umero de apuestas promedio antes de la ruina puede encontrarse expl´ expl´ıcitamente, y el méetodo todo que usaremos para encontrarlo es nuevamente nuevamente el planteamiento de una ecuacióon n en diferencias que resolveremos del modo mostrado antes. Sea entonces m entonces m k el n´ u umero mero esperado de apuesta antes de que termine el juego, en donde el jugador jugador A tiene un capital inicial de k unidades, y y B tiene N k .

− −

18

2.2 2.2.. El probl problema ema del jug jugado ador r

Proposici´ on. on. El n´ umero umero esperado de apuestas antes de la ruina es

mk =

 

  −− k) q/p))k 1 1 − (q/p ) ( k − N q/p))N q − p 1 − (q/p

k (N

si si p p = = q, q,



p = q. si si p

Demostraci´ on. Condicionando sobre el resultado de la primera apuesta se obtiene m k satisface la ecuación que m que on p mk+1 + q mk−1 , mk = 1 + + p válida alida para para k = 1, 2, . . . , N 1. Esta es una ecuación on en diferencias, de segundo orden,, lineal y no homog orden homog´éenea. nea. Las condi condiciones ciones de frontera frontera son ahora ahora m0 = 0 y mN  = 0. Substituyendo ( p m k y agrupa ( p + q )mk por p or m agrupando ndo términos ermino s convenientemente co nvenientemente la ecuacióon n anterior anterior puede reescr reescribirse ibirse del siguie siguiente nte modo

−

− mk =   pq (mk − mk−1) − 1 p . (2.15) q/p)) + · · · + (q/p Recordando la notación on S k = 1 + (q/p ( q/p))k , y substituyendo iterativamente, las primeras k primeras k − 1 ecuaciones son 1 m2 − m1 = (q/p q/p)) m1 − S 0 , p 1 q/p))2 m1 − S 1 , m3 − m2 = (q/p p mk+1

mk

− mk−1

. . q/p))k−1 m1 = (q/p

− 1 p S k−2.

Aqu´ı se ha hecho uso de la condici´ Aqu´ oon n de frontera m0 = 0. Sumando todas estas ecuaciones se obtiene mk

− m1 = m = m1 (S k−1 − 1) −

1 p

Es decir, mk = m1 S k−1

− 1 p

−

−

k 2



S i .

i=0

k 2

 i=0

S i .

(2.16)

Cap´ ıtulo 2. Caminat Caminatas alea aleatoria torias s

19

En particular, sumando todas las ecuaciones de (2.15) se obtiene mN   = m1 S N N  −1

− 1 p

−

N 2



S i .

i=0

Ahora se hace uso de la condición m on m N  = 0, y se obtiene 1 1 m1 = S N N  −1 p

−

k 2



S i .

i=0

Substituyendo en (2.16), mk =

−

S k−1 1

N 2

− p



S N 1

k 2

− p



S i

i=0

−

1

S i .

(2.17)

i=0

Nuevamente se deben distinguir los siguientes dos casos: S k = 1 + (q/p (q/p)) +

k

· · · + (q/p (q/p))

=

 

k + 1 1

− (q/p q/p))k+1 q/p)) 1 − (q/p

p = q, si p = q,



p = q. si si p

Substituyendo en (2.17) y simplificando, después es de algunos c´ alculos alculos se llega a la respuesta enunciada. mk La forma en la que mk cambia al variar el parámetro ametro k se muestra en la 625 p p = = 0.5 N = 50. Figura Fig ura 2.7 cua cuando ndo N   50. La du du-racióon n máxima axima promedio del juego se obtiene cuando el juego es justo, p = 1/2, y ambos jugadores tienen el misN/2. mo capital inicial, es decir, k = N/ 2. p p = = 0.1 p = 0.9 Esto arroja un promedio máximo aximo de 10 20 30 40 N/2)( N N/ N /2 ) = (N/ (N/ 2)(N (N/2) 2)2 apuestas Figura 2.7: antes del fin del juego. En el caso ilustrado, tra do, la duraci duraci´óon n máaxima xima prome promedio dio 2 del juego es de (50/ (50/2) = 625 apuestas.

  −−

50

k

Ejercicio. Ejercicio. Demuest Demuestre re que la duraci duraci´óon n promedio del juego es siempre menor o 2 N/2) igual a (N/ (N/2) 2) , es decir, para cada k = 1, . . . , N , se cumple que mk (N/ 2)2 ,



≤

20

2.2 2.2.. El probl problema ema del jug jugado ador r

tanto en el caso siméetrico trico como no siméetrico. trico .



Notas y referencia referenciass. El tema de caminatas aleatorias puede ser encontrado en la mayor´´ıa de los mayor l os textos tex tos so sobre bre proceso pr ocesoss esto estoc´ cáasticos, sticos , ya sea de una manera expl´ıcita ıcita o como un ejemplo importante de cadena de Markov. En particular el libro de Jones y Smith [17], y el de Basu [1] contienen un cap´ııtulo tulo completo sobre el tema. Como lectura más as avanzada véease ase el texto de Resnick [28], y el de Spitzer [34].

Cap´ ıtulo 2. Caminat Caminatas alea aleatoria torias s

21

Ejercicios Caminatas aleatorias 1. Demuestre que que una caminata aleatoria simple sobre Z cumple la propiedad de Markov, es decir, demuestre que para cualesquiera enteros x 0 , x1 , . . . , xn+1 ,

|

|

P ( P (X n+1 = x P (X n+1 = x = x n+1 X 0 = x = x0 , . . . , Xn = xn ) = P ( = xn+1 X n = x = xn ).

{ }

2. Para una caminata caminata aleatoria aleatoria simple X n sobre P ( P (X n+1 = x) x) = p P ( P (X n = x = x

Z demuestre

que

P ((X n = x 1) + q P = x + 1). 1).

−

3. Una part pa rt´´ıcula rrealiza ealiza una ca caminata minata aleato aleatoria ria si sim´ métrica etrica sobre s obre Z empezando en cero. Encuentre la probabilidad de que llaa part´ part´ıcula se encuentre nuevamente nuevamente en el origen en el sexto paso. 4. Una part´ part´ıcula realiza una caminata aleatoria simétrica etrica sobre Z empezando en cero. ¿Cuál al es la proba probabilidad bilidad de que la part´ part´ıcula regrese al estado estado cero por primera vez en el sexto paso? 5. Considere Considere una caminata aleator aleatoria ia simple sobre Z que empieza en cero y tal que la probabilidad de pasar al estado de la derecha es p y la probabilidad p.. Sea τ de pasar al estado de la izquierda es q  = = 1 p Sea τ n el primer momento en el que la caminata visita el estado estado n 1. Usuando análisis alisis del primer paso (condicionan (cond icionando do sobre si prime primerr paso se efect´ efect´ ua ua a la izquierda o a la derecha) demuestre que

≥

P ( P (τ n <

∞) =



−

( p/q )n 1

p < 1 si si p 1//2, p 1/2. si si p

≥

En particular, la probabilidad de que la caminata se mantenga siempre en el conjunto . . . , 1, 0, 1, . . . , n 1 es 1 ( p/q )n en el caso p caso p < 1 1//2, y con n en el caso p probabilidad uno llegará al estad estadoo n en caso p 1/2. Generalice la fórmula ormula m , menor o mayor a n anterior en el caso cuando el estado inicial es m, a n..

{

−

− }

−

≥

6. Un algoritmo aleatorio de b´ u usqueda squeda del estado cero opera del siguiente modo: si se encuentra en el estado k estado k en alg´ u un n momento, entonces el estado del algoritmo al siguiente paso es aleatorio con distribución on uniforme en el con junto 0, 1, . . . , k 1 . Encuentre el n´ u umero mero esperado de pasos en los que el algoritmo alcanza el estado cero cuando inicia en el estado k estado k..

{

− }

22

2.2 2.2.. El probl problema ema del jug jugado ador r

El problema de la ruina del jugador 7. Siguiendo Siguiendo la notaci´ notaci´ oon n usada en el problema de la ruina del jugador, demuestre la validez de la ecuación on uk = p = p uk+1 + q uk−1 , para k para k = 1, 2, . . . , N 1.

−

8. Para resolver resolver el proble problema ma del jugad jugador or se requie requiere re resolver resolver la ecuaci´ ecuaci´ on on en diferencias uk = p uk+1 + q uk−1 . Resuelva nuevamente esta ecuacióon n siguiendo siguiendo los siguientes siguientes pasos [18]: m constantes a ) Proponga la soluci´ con a y y m constantes distintas de cero, soluci´ on u on u k = a = a mk , con a y que encontraremos a continuacióon. n. b ) Subst Substituy ituyaa la soluci´ oon n propuest propuestaa en la ecuaci´ on on en diferencias y encuen2 m + q + q  = = 0. Esta ecuación on se conoce tre la ecuacióon n cuadrática atica pm como la ecuación on caracte caracterr´ıstica de la ecuación on en diferencias. c ) Suponi p = q , esta ecuacióon Suponiendo endo el ca caso so p n cuadrática atica tiene dos soluciones soluciones q/p.. Dada la linealidad de la ecuación distintas:   m1 = 1 y m2 = q/p distintas: o n en diferencias, la solucióon n general puede escribirse como uk = a1 mk1 + k k a2 m2 = a 1 + a2 (q/p (q/p)) .



−

d ) Use las condicio u 0 = 1 y u N  = 0 para encontrar los vacondiciones nes de front frontera era u lores de las constantes a constantes a 1 y a 2 , y obtener nuevamente la solucióon n (2.14). e ) Cua q  la ecuacióon Cuando ndo   p = q  la n ccaracter´ aracter´ııstica stica tiene una u unica ńi ca ra´ıız: z : m1 = 1. Como segundo valor para m para m se propone propone k veces el valor de la primera solucióon, n, es decir, m2 = k . Proceda como en el inciso anterior para encontrar (2.14) en este caso. 9. Siguiendo Siguiendo la notaci´ notacióon n usada para encontrar el nú umero mero esperado esperado de apuestas apuestas antes de la ruina en el problema del jugador, demuestre la igualdad mk = 1 + p + p mk+1 + q mk−1 , para k para k = 1, 2, . . . , N 1.

−

10. Considere Considere el problema de la ruina del jugad jugador or permitie permitiendo ndo ahora que existan empates en cada una de las apuestas. Las probabilidades de ganar, perder o p,, q  y r empatar para el jugador A jugador A son son p y r,, respectivame r espectivamente, nte, con p con p+ + q + r = 1. Demuestre que la probabilidad de ruina para el jugador A jugador A sigue sigue siendo la misma expresi´ oon n (2.14). Es decir, la posibilid posibilidad ad de empate empate en cada apuesta extiende posiblemente la duracióon n del juego pero no modifica las probabilidades de ruina.

Cap´ ıtulo 3

Cadenas de Markov

Las cadenas de Markov fueron introducidas por el matemático atico ruso Andrey Markov alrededor de 1905. Su intenci´ on on era crear un modelo probabil probabil´´ıstico para analizar la frecuencia frecuencia con la que aparec aparecen en las vocale vocaless en poemas y textos literarios. El éxito exito del modelo propuesto por Markov radica en que es lo suficientemente complejo como para describir ciertas caracter´ıısticas sticas no triviales de algunos sistemas, pero al mismo tiempo es lo suficientemente sencillo para ser analizado matemáaticamente. ticamente. Las cadenas de Markov pueden aplicarse a una amplia gama de fenómenos omenos cient c ient´´ıficos y so sociales ciales,, y se cuenta con una te teor´ or´ııaa matemática atica extensa al respecto. En este cap cap´´ıtulo presentaremos una introducción on a algunos aspectos báasicos sicos de este modelo.

3.1. 3.1.

Andrey Markov (Rusia 1856-1922)

Pro Propi pied edad ad de Mark Marko ov

{ }

Vamos a considerar procesos estocásticos asticos a tiempo discreto X n que cumplen la propiedad de Markov. Para describir a esta propiedad y varias de sus condiciones P ((X n = xn ) se le escriequivalentes de una manera simple, a la probabilidad P sub´´ındice indica tambi´ en en la variable a la que se hace birá como p como p((xn ), es decir, el sub p((xn+1 xn ) es análogo. referencia refe rencia.. El signifi significado cado de la proba probabilidad bilidad condicional condicional p alogo.

|

23

24

3.1. Propied Propiedad ad de Markov Markov

Definici´ on. Una on. Una cadena cadena de Markov  es es un proceso estoc´ astico astico a tiempo discreto n = 0, 1, . . .}, con espacio de estados discreto, y que satisface la propiedad {X n : n = de Markov, esto es, para cualquier entero n ≥ 0, y para cualesquiera estados x0 , . . . , xn+1 , se cumple

|

|

p( p(xn+1 x0 , . . . , xn ) = p( p (xn+1 xn ).

(3.1)

n como Si el tiempo n tiempo n + 1 se considera considera como un tiempo futuro, el tiempo tiempo n como el presente y los tiempos 0, 0, 1, . . . , n 1 como el pasado, eentonces ntonces la condición on (3.1) establece que la distribución on de probabilidad del estado del proceso al tiempo futuro n futuro n+1 +1 depende n,, y no depende de los estados en los u unicamen ´ nicamente te del estad estadoo del proceso al tiempo tiempo n tiempos tiem pos pasado pasadoss 0, 0 , 1, . . . , n 1. Existen otras formas equivalentes de expresar esta propiedad, algunas de ellas se encuentran enunciadas en la sección on de ejercicios. Por ejemplo, es posible demostrar que la condicióon n (3.1) es equivalente a poder calcular la distribución on conjunta de las variables X variables X 0 , X 1 , . . . , Xn de la siguiente forma

−

−

| · · · p p((xn | xn−1).

p( p(x0 , x1 , . . . , xn ) = p p(x1 x0 ) = p((x0 ) p(

Sin pérdida erdida de generalidad tomaremos como espacio de estados de una cadena de Markov al conjunto discreto 0, 1, 2, . . . , o cualquier subconjunto finito que conste de los primeros elementos de este conjunto. Cuando el espacio de estados de una cadena de Markov es un conjunto finito se dice que la cadena es finita .

{

}

Probabilida Probab ilidades des de transic transici´ i´ on. on. A la 0 1 2 ··· P (X n+1 = j X n = i) se 3 probabilidad P ( le denota por pij (n, n + 1), y representa 0 p00 p01 p02 1 p10 p11 p12 la probabilidad de transicióon n del estado estado   i 2 P   P   = 2 p20 p21 p22 en el tiempo n, al estado estado j en el tiempo .. .. .. .. n + 1. Estas probabilidade probabilidadess se conocen co. . . . 1 on en un mo las probabilidades las probabilidades de transici´ 0 1 2 3 4 5 paso.. Cuando los n´ paso umeros p umeros p ij (n, n + 1) no no dependen de n de n se se dice que la cadena es eses esFigura 3.1: tacionaria   u homogénea enea en el tie tiempo mpo.. Por simplicidad se asume tal situacióon n de modo que las probabilidad probabilidades es de transici´ transici´ on on en un paso se escriben simplemente como p como p ij . Variando los ´ındices i y j , por ejemplo sobre el conjunto de estados 0, 1, 2, . . . , se obtiene la matriz de probabilidades de transici´ on on en un paso que aparece en la Figura 3.1. La entrada (i, ( i, j ) de esta matriz es la probabilidad de transición p on pij , es decir, la probabilidad de pasar del estado i estado i al al

|

 

{

}

   ·· ·· ··

 

Cap´ ıtulo ıtu lo 3.

Cad Cadena enas s de Mark Markov ov

25

estado j en estado j en una unidad de tiempo. En general, al escribir estas matrices omitiremos escribir la identificacióon n de los estados en los renglones y columnas como aparece en la Figura 3.1, tal identificacióon n será evidente a partir de conocer el espacio de i se refiere al renglón estados del proceso. El ´ındice ındice i on de la matriz, y el ´ındice j ındice j a la columna. Proposici´ on. on. La matriz de probabilidades de transicióon P n P    = ( p ( pij ) cumple las siguientes dos propiedades.

≥ 0.

a) pij b)



pij = 1.

j

Demostraci´ on. La primera condicióon n es evidente a partir del hecho de que estos n´ umeros umeros son probabilidades. Para la segunda propiedad se tiene que para cualquier i y cualquier entero n estado i estado entero n 0,

≥

1

∈ {0, 1, . . .}) ∈ {0, 1, . . .} | X n = i = i)) j ) | X n = i (X n+1 = j) = i))

P (X n+1 = P ( P (X n+1 = P (

  

P ( = P (

j

= =

|

P ( P (X n+1 = j X n = i i))

j

pij .

j

Esto u ultimo ´ ltimo significa que a partir de cualquier estado i con probabilidad uno la cadena pasa necesariamente a algú un n elemento del espacio de estados al siguiente momento. En general toda matriz cuadrada que cumpla estas dos propiedades se astica . Debido a la propiedad de Markov, esta matriz dice que es una matriz una matriz estoc´ captura la esencia del proceso y determina el comportamiento de la cadena en cualquier tiempo futuro. Si además as la matriz satisface la condicióon n i pij = 1, es decir, cuando cuando la suma por columnas columnas tambi´ een n es uno, entonces entonces se dice que es doblemente estoc´ astica .



26

3.1. Propied Propiedad ad de Markov Markov

Distribuci´ on on de probabilidad inicial. En inicial. En general puede considerarse que una cadena de Markov inicia su evolución on partiendo de un estado i estado i cualquiera, o máass generalmente considerando una distribucióon n de probabilidad inicial sobre el espacio de estados. Una distribución on inicial para una cadena de Markov con espacio de estados 0, 1, 2, . . . es simplemente una distribucióon n de probabilidad sobre este conjunto, es decir, es una coleccióon n de n´ u umeros p meros p 0 , p1 , p2 . . . que son no negativos y que suman uno. El n´ umero umero pi corresponde a la probabilidad de que la cadena inicie en el estado i. En general, la distribución on inicial juega un papel secundario en el estudio de las cadenas de Markov.

{

}

Existencia. Hemos mencionado que la propiedad de Markov es equivalente a la Existencia. Hemos p (x0 ) p( p(x1 x0 ) p p((x0 , x1 , . . . , xn ) = p( p((xn xn−1 ). Esta identidad estableigualdad p igualdad ce que las distribuciones conjuntas p conjuntas p((x0 , x1 , . . . , xn ) se encuentran completamente

|

| ···

especificadas por la matriz de probabilidades de transición on y una distribucióon n inicial. En el texto de Chung [7] puede encontrarse una demostración on del hecho de que dada una matriz estocáastica stica y una distribución on de probabilidad inicial, existe un espacio de probabilidad y una cadena de Markov con matriz de probabilidades de transición on y distribución on inicial las especificadas. Es por ello que a la matriz misma se le llama a veces cadena de Markov.

{ }

Sea X n una cadena de Markov con tres estados: 0,1,2, y con matriz P ((X 2 = 0, X 1 = de probabilidad probabilidades es de transi transici´ ci´ oon n como aparece abajo. Calcule P 0 X 0 = 1) y P y P ((X 3 = 1, X 2 = 1 X 1 = 2).

 Ejercicio. Ejercicio.

|

|

P   P   =



0.4 0.3 0.7

0.3 0.2 0

0.3 0.5 0.3



. 

{ }

Ejerci Ejercicio. cio. Sea X n una cadena de Markov con dos estados 0 y 1, con disP (X 0 = 0) = 0.5, P ( P (X 0 = 1) = 0.5, y con matriz de probabitribuci´ on on inicial P ( P ((X 0 = 0, X 1 = 1, X 2 = 0), lidades de transición on como aparece abajo. Calcule P P P ((X 0 = 0 X 1 = 1), P 1), P ((X 1 = 0), P 0), P ((X 2 = 1) y P y P ((X 0 = 0, X 1 = 0, X 2 = 1, X 3 = 1).



|

P   =



0.4 0.9

0.6 0.1



. 

Cap´ ıtulo ıtu lo 3.

Cad Cadena enas s de Mark Markov ov

27

{ }

Markov con dos estados: 0,1, con distribuci´ oon n Sea X n una cadena de Markov P P ( X P ( P X inicial ( 0 = 0) = 0.2, ( 0 = 1) = 0.8, y con matriz de probabilidades de X 1 , X 2 , transicióon n como aparece abajo. Encuentre la distribucióon n de las variables variables X X 1 y X 2 conjuntamente.  Ejercicio. Ejercicio.

P   P   =



1/2 2/3

1/2 1/3



. 

|

Probabilidades de transici´ on on en n en n pasos. pasos. La probabilidad P P ((X n+m = j = j X m = i) corresponde a la probabilidad de pasar del estado i al tiempo tiempo m, al estado estado j al n . Dado que hemos supuesto la condicióon tiempo m + n. n de homogeneidad en el tiempo, esta probabilidad no depende realmente de m, por lo tanto coincide con P P ((X n = j X 0 = i), i ), y se le denota por pij (n). A esta probabilidad tambi´ en en se le (n) n se escrib denota como p como p ij , en donde el nú umero mero de pasos pasos n e scribee entre paréntesis entesis para on en distinguirlo disti nguirlo de alg´ un un posible exponente, y se le llama probabilidad llama probabilidad de transici´ n pasos . Cuando n Cuando n = 1 simplemente se omite su escritura, a menos que se quiera n = 0 es natural definir hacerr énfasis hace enfa sis en ello. ell o. Tambiéen n cuando cuan do n

|

pij (0) = δ = δ iijj =





i = j, 0 si si i i = j. 1 si si i = j.

Es decir, decir, despu´ después es de realiza realizarr cero pasos la caden cadenaa no puede estar en otro estado mas que en su lugar de origen. Esta es la funcióon delta n delta de Kronecker .

3. 3.2. 2.

Ej Ejem empl plos os

Revisaremos a continuación on algunos ejemplos particulares cláasicos sicos de cadenas de Markov. Retomaremos más as adelante varios de estos ejemplos para ilustrar otros conceptos y resultados generales de la teor teor´´ıa general. Cadena de dos estados. Considere estados. Considere una cadena de Markov con espacio de estados 0, 1 , con matriz y diagrama de transicióon n como aparece en la Figura 3.2, en donde 0 a 1, y 0 b 1. Suponga que la distribucióon n inicial está dada por p0 = P P (X 0 = 1). = P ((X 0 = 0) y p y p 1 = P (

{ }

≤ ≤

≤ ≤

Aunque de aspecto sencillo, esta cadena es susceptible de muchas aplicaciones pues es com´ un un encontrar situaciones en donde se presenta siempre la dualidad de ser o

28

3.2. 3.2. Ejempl Ejemplos os

0 P P    =

0 1

 1

a

1 a

−a

b 1−b



1−a

0

1−b

1

b

Figura 3.2: no ser, estar o no estar, tener o no tener, siempre en una constante alternancia entre . son independientes un estado y el otro. Cuando a Cuando a = = 1 b, las variables X variables X 1 , X 2 , . . . son P ((X n = 0) = 1 a y P ( P (X n = 1) = a e idénticamente enticamente distribuidas distri buidas con con P = a,, para cada n 1. Cuando a Cuando a = 1 b, X n depende de X de X n−1 . Mas adelante demostraremos que n pasos son, para a las probabilidades de transicióon n en en n para a + b > 0,

≥

−

 −





p00 (n) p01 (n) p10 (n) p11 (n)

1 = a + b

−

  b a b a

+

(1

− a − b)n a+b



a b

−

−a b



.

Ejercicio. Ejercicio. Para la cadena de Markov Markov de dos estados, comp compruebe ruebe direct directamen amente te que



P ((X 0 = 0, X 1 = 1, X 2 = 0) = ab a) P = ab p0 . P ((X 0 = 0, X 2 = 1) = (ab b) P (ab + (1

− a)a) p0.

a)2 + ab) ab) p0 + ((1

P ((X 2 = 0) = ((1 c) P

−

b)b + b(1

−

a)) p1 . )) p

−



Cadena de variables Cadena ariables aleatorias aleatorias independie independiente ntes. s.   Sea . una sucesióon Sea ξ 1 , ξ 2 , . . . una n de variables aleatorias independientes con valores en el conjunto 0, 1, . . . , y con a 0 , a1 , . . . Definiremos . Definiremos varias caidéentica ntic a di distr stribu ibuci´ cióon n dada por las probabilidades probabilidades a denas de Markov a partir de esta sucesión. on.

{

}

a) La sucesión on X n = ξ n es una cadena de Markov con probabilidades de tranP (X n = j X n−1 = i) = P ( P (X n = j ) = aj , es decir, la matriz de sicióon n pij = P (

|

Cap´ ıtulo ıtu lo 3.

Cad Cadena enas s de Mark Markov ov

29

probabilidades de transición on es de la siguiente forma P   P   =

 

a0 a1 a2 a0 a1 a2 .. .. .. . . .

··· ···

 

.

Esta cadena tiene tiene la cualid cualidad ad de poder pasar a un estado cualquie cualquiera ra siempre con la misma probabilidad, sin importar el estado de partida. Puede modelar, por ejemplo, una sucesión on de lanzamientos de una moneda.

{

}

b) El proceso X proceso X n = m´ ax ax ξ 1 , . . . , ξn es una cadena de Markov con matriz

= P

a0 a1 0 a0 + a1

a2 a2

a3 a3

··· ··· ···

0. ..



c) El proceso X proceso X n = ξ 1 +

0. ..

a0 + a.1 + a2 a.3 .. ..



.

· · · + ξ n es una cadena de Markov con matriz P   P   =

 

a0 a1 a2 0 a0 a1 0 0 a0 .. .. .. . . .

{

··· ··· ···

 

.

}

Ejercic Ejercicio. io. ¿Es eell proc proceso eso   X n = m´ın ξ 1 , . . . , ξn una cadena de Markov? En  caso afirmativo encuentre la matriz de probabilidades de transición. on.



1 , ξ 2 , . . . una CadenaBernoulli de rachas de ´ e exitos. xitos. Sea ξ xito Sea sucesión on de de fracaso q ensayos q indepen p,, y. una p.. dientes B ernoulli con probabilidad de éexito p probabilidad fracaso = = 1 p X n el n´ n,, incluyendo el tiempo Sea X Sea u umero mero d dee éexitos xitos consecutivos consecu tivos pre previos vios al a l tiempo tiemp o n n. Se dice que una racha ex itos os  de una racha de éxit de longitud r longitud r ocurre al tiempo n tiempo n si en el ensayo n r se obtiene un fracaso y los resultados de los ensayos n r + 1 al al n son todos éxito exi tos. s. Gr´ Gr áaficamente ficamente esta situación on se ilustra en la Figura 3.3.

−

−

−

{

}

La colección on de variables aleatorias X n : n = 1, 2, . . . es una cadena de Markov con espaci espacioo de estado estadoss 0, 1, . . . . Las probabilidades de transicióon n y la matriz correspondien corres pondiente te se mue muestran stran en la Figura 3.4.

{

}

Las posibles transiciones de un estado a otro para esta cadena de Markov se pueden observar en la Figura 3.5.

30

3.2. 3.2. Ejempl Ejemplos os

r ´ exit itos os −

−

F

E

E

1

2

n−r

n − r + 1

n

Figura 3.3:

0 0 1 2 .. .

p si j si j = i + 1, 1, pij =



q si j si j = 0, 0 otro otro ca caso so..

P   P   =

Figura 3.4:



q q q .. .

1

2

3

p 0 0 0 p 0 0 0 p .. .. . .

···

··· ···



.

q

0 p

q

1

q

p

q

2

q

3

p

p

r

p

Figura 3.5: Cadena de la caminata aleatoria. Una aleatoria. Una caminata aleatoria simple sobre el con junto de números umeros enteros constituye una cadena de Markov con espacio de estados el conjunto Z, y con probabilidades de transicióon n

pij =

 

p si j si j = i + 1, 1, q si j si j = i 1, 0 otro caso,

−

Cap´ ıtulo ıtu lo 3.

Cad Cadena enas s de Mark Markov ov

31

en donde p donde p+ + q  = = 1. Hemos H emos demos demostrado trado en el ccap ap´´ıtulo anteri anterior or que las probabil pr obabilidades idades de transición on en n en n pasos son las siguientes: Si n Si n + j i es par con n j i n, entonces n p(n+j −i)/2 q (n−j+i)/2 . pij (n) = 1 n + j i) 2 ( + j

−



−

− ≤ − ≤



n = 0 e i i = j.. M´ En otro caso p caso pij (n) = 0, excepto cuando cuando n = = j as as adelante usaremos este modelo para ilustrar algunos algunos conce conceptos ptos generales de caden cadenas as de Markov. Markov. Cadena del jugador. El jugador. El modelo usado para el problema del jugador estudiado en el primer cap´ cap´ıtulo es una caminata aleatoria sobre el conjunto de n´ n umeros u ´meros enteros N   son absorbentes. Las probabilidades 0, 1, , . . . , N , en donde los estados 0 y N   de transición on son como las de la caminata aleatoria simple sólo olo que ahora p00 = p 1 y NN = 1. Este proceso es otro ejemplo de cadena de Markov con espacio de estados finito. Hemos demostrado antes que con probabilidad uno la cadena eventualmente event ualmente se absorbe en alguno de los dos estados absorbentes, hemos calculado la probabilidad de ruina, es decir, la probabilidad de que la absorción on se observe en el estado 0, y hemos ademáass encontrado el tiempo medio de absorción. on.

{

}

Cadena de Ehrenfest. Sean Ehrenfest. Sean A A y B dos urnas dentro de las cuales se encuentran N  bolas distribuidas N  bolas de acuerdo a cierta configuracióon distribuidas n inicial. En cada unidad de tiempo se escoge una bola al azar y se cambia de urna. Para tal efecto puede considerarse que las bolas se encuentran numeradas y que se escoge un n´ u umero mero al azar, se busca la bola con ese nú umero mero y se cambia de urna. Véase ease la Figura 3.6. Sea X n el n´ Sea u umero mero de bolas en la urna A desp de spu´ ués es de n de n extracciones. Entonces n = 0, 1, . . . constila colección on X n : n = tuye una cadena de Markov con espa... ... cio de estados finito 0, 1, . . . , N . Es claro que a partir del estado i la caN   − i bolas i bolas dena sólo olo puede pasar al estadio i 1 o al estado i + 1 al siguiente momenUrna A Urna A Urna B Urna B to, de modo que las probabilidade probabilidadess son pi,i−1 = i/N , y pi,i i )/N , Figura 3.6: i,i+1 +1 = (N i) válidas alidas para i = 1, 2, . . . , N 1. Naturalmente p01 = 1 y pN,N −1 = 1. En N   son este caso se dice que los estados 0 y N   son   reflejantes . La matriz de probabilidad probabilidades es de transición on aparece máass abajo. Este modelo fue propuesto por Ehrenfest para describir el intercambio intercambio aleatorio al eatorio de moléeculas culas (bolas) en dos regiones separadas por una membrana porosa. La regióon n con mayor n´ umero umero de moléculas eculas tenderá a

{

}

{

}

−

  −− −

32

3.2. 3.2. Ejempl Ejemplos os

liberar liber ar mas moléeculas. culas .

P   P   =

  

0 1 0 0 1/N 0 (N   − 1)/N 1)/N 0 0 2/N 0 (N   − 2) 2)/N /N .. .. .. .. . . . . 0 0 0 0 0 0 0 0

··· ··· ···

··· ···

0 0 0 .. . 0 1

0 0 0 .. . 1/N 0

  

.

Cadena de ramificaci´ on. Considere on. Considere una part part´´ıcula u objeto que es capaz de generar otras part´ıculas ıculas del mismo tipo al final de un periodo establecido de tiempo. El conjunto de part´ part´ıculas iiniciales niciales constituye la generación on 0. Cada una de estas partt´ıcu par ıculas las simult´ simu ltáaneamente neamente y de manera independiente genera un n´ umero umero de des, , . . . cendientes dentro del conjunto 0 1 , y el total de estos descendientes pertenece a la generación on 1, éstos a su vez son los progen progenitores itores de la generaci´ generaci´ oon n 2, y as´ı sucesivamente. Una posible sucesión on de generaciones se muestra en la Figura 3.7. El posible evento cuando una part part´´ıcula no genera ning ning´ un u ń descendiente se interpreta en el sentido de que la part´ part´ıcula se ha muerto o extinguido.

{

}

Generaci´ on on 0

1



2 3



4



1





X n

2



 







3 3 2



Figura 3.7: Sea ξ k la variable aleatoria que modela el nú Sea umero mero de descendientes de la k -éesi s ima partt´ıcu par ıcula. la. Para cad cadaa n 0 defina X defina X n como el n´ u umero mero d dee part par t´ıculas ıcula s en la l a generaci´ gene racióon n n. Entonces X n : n = 0, 1, . . . es una cadena de Markov con espacio de estados P ((ξ 1 + 0, 1, . . . , y probabilidades de transición on pij = P + ξ i = j ), para para i 1. Si en alg´ un un momento momento X n = 0, entonces se dice que la poblacióon n de part´ıculas ıculas se ha extinguido. Naturalmente el estado 0 es un estado absorbente. Este modelo ha

{

}

{

≥

}

···

≥

Libro Introduccion A Los Procesos Estocasticos

Short Description

Description

Comments

We need your help!