Ejercicios Stata Portal

1

Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada (CC-IGO BY-NC-ND 3.0 IGO) (http://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode) y puede ser reproducida para cualquier uso no-comercial otorgando crédito al BID. No se permiten obras derivadas. Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI. El uso del nombre del BID para cualquier fin que no sea para la atribución y el uso del logotipo del BID, estará sujeta a un acuerdo de licencia por separado y no está autorizado como parte de esta licencia CC-IGO. Notar que el enlace URL incluye términos y condicionales adicionales de esta licencia. Las opiniones expresadas en esta publicación son de los autores y no necesariamente reflejan el punto de vista del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representa.

2 Programación Estadística para Evaluaciones de Impacto Ejercicios Aplicados de STATA Instrucciones: Este conjunto de problemas revisa la aplicación empírica de un grupo de métodos centrales de evaluación de impacto. Animamos a los participantes a que revisen tantas secciones de los ejercicios como sea posible antes de venir al taller. Para realizar los problemas se requiere acceso a una computadora con STATA o algún otro paquete estadístico (los instructores no les proporcionarán computadoras ni el programa estadístico1). Contexto: Este ejercicio analiza el impacto de un programa de seguro de salud para los pobres. Uno de los objetivos principales del programa es reducir la carga de costos relacionados con la salud para hogares pobres en zonas rurales. Un piloto del programa ha sido ejecutado en un grupo de comunidades, y usted ha sido asignado para llevar a cabo una evaluación de los impactos del programa en los gastos directos en salud (representados por la variable “ophe”, que proviene de la expresión en ingles de “out of pocket expenditure”) por parte de los hogares. Para hacer el análisis Ud. utilizará la base de datos “evaluation.dta”. La base incluye datos de hogares que viven en comunidades de tratamiento, es decir comunidades en que el programa fue ofrecido, y comunidades de control, o comunidades en que el programa no fue ofrecido. La variable “treatcom” (que proviene de la combinación de palabras “treatment communities” en inglés, que significa “comunidades tratadas”) identifica las comunidades de tratamiento, con treatcom = 1 para las comunidades de tratamiento y treatcom = 0 para las comunidades de control. Una descripción más detallada de los datos está incluida en el apéndice. Para empezar: 1. Crear un documento para realizar su análisis (.do file, o archivo ‘do’) y llamarlo “solution.do”. 2. Describir y explorar la base de datos para conocer las variables y su estructura. Mientras vaya completando su ejercicio utilice la siguiente tabla: en la primera fila, ponga el impacto estimado. En la segunda, ponga el “t stat” algo que se explicará más adelante. CASO 0

CASO 1

CASO 2

CASO 3

CASO 4

CASO 5

CASO 6

Antes y Después

Auto Selección

Diferencia de Diferencias

Variables Instrumentales

Diseño de Regresión Discontinua

Pareamiento

Asignación Aleatoria

Evaluación de Impacto Caso 0: Comparación antes y después (Pre-Post) 1

Los comandos utilizados en este documento son comandos de STATA.

3 Usted tiene a su disposición una encuesta de línea de base que fue recogida antes de que el programa de seguro médico se implementara (esto viene recogido en la variable “round”, que significa “ronda”) (round=0), y una encuesta de seguimiento que se hizo 12 meses después de que iniciara el programa (round= 1). Usted decide que como primera aproximación del impacto, usted estimará el cambio de los gastos de salud de los hogares que participan en el programa. Para este caso, analice solamente las comunidades en las que el programa piloto fue ofrecido (keep if treatcom = = 1). 1. Describa el número de observaciones, el promedio, la desviación estándar y los intervalos de confianza de las variables en la base de datos de la encuesta de línea de base. 2. Verifique si OPHE para los hogares que se inscriben en el programa (que viene recogido por la variable “takeup” que significa “aceptar”, en este caso, aceptar el tratamiento o inscribirse) (takeup=1) ha cambiado a través del tiempo: a. Comparando las medias b. Usando el comando ttest 3. Ahora estime el cambio en OPHE con una regresión lineal de Mínimos Cuadrados Ordinarios (MCO), usando el comando “reg”. a. Sin agrupar los errores estándar b. Agrupando los errores estándar a nivel de localidad con la opción, cl(local) “cl (local)”. ¿Observa alguna diferencia? ¿Por qué? 4. ¿Cuál es el cambio medio en OPHE durante este período? ¿Es este el impacto del programa? Evaluación de Impacto Caso 1: Tratamiento de autoselección En este escenario, la inscripción al programa de seguro médico es voluntaria y todos los hogares en las comunidades del piloto son elegibles para inscribirse. En su análisis sólo incluya los hogares que están en las comunidades del piloto (treatcom =1). 1. Para la línea de base, compare los gastos promedio mensuales per cápita (ophe) y otras características de los hogares (edad y educación del jefe del hogar y del cónyuge; tamaño del hogar; tipo del suelo del hogar; etc…) entre los hogares que se inscriben al programa (takeup =1) y los que no se inscriben. ¿En promedio, son los dos grupos de hogares similares en la línea de base? 2. Su amigo sugiere que usted utilice análisis de regresión para controlar cualquier diferencia que exista entre los hogares inscritos al programa y los hogares no inscritos para aislar el efecto del programa. Estime el impacto del programa en los gastos de salud de los hogares en el período de tratamiento (round =1). Corra dos regresiones de Mínimos Cuadrados Ordinarios (MCO):

4

i. Sin variables de control ii. Incluyendo las características del jefe de hogar y su cónyuge y otras características del hogar 3. ¿Cuál es el impacto estimado del programa en los gastos de salud de los beneficiarios? 4. ¿Usted piensa que el coeficiente estimado de la regresión (i) o (ii) es el impacto verdadero del programa? ¿Por qué los impactos estimados cambian tanto entre los dos modelos? Evaluación de Impacto Caso 2: Diferencias en Diferencias (“dif in dif”) No está muy satisfecho con su análisis en el Caso 1. Pensándolo mejor se da cuenta de que ya que tiene datos en dos periodos de tiempo para cada hogar de la muestra, puede usar esos datos para resolver algunas de las limitaciones encontradas en el caso anterior. Por tanto ahora decide comparar el cambio (en el tiempo) del gasto directo en salud de aquellos que se apuntaron al programa y aquellos que no. Incluya sólo hogares en las comunidades piloteadas (treatcom=1). 1. Genere una nueva variable que sea la diferencia del gasto directo en salud entre el periodo de línea de base (round=0) y la primera ronda de seguimiento (round=1). Llame a la nueva variable “delta_ophe”. 2. Estime el impacto del programa aplicando una diferencia simple, esto es, calculando la diferencia del cambio del gasto en salud entre los hogares que se inscribieron al programa y aquellos que no lo hicieron mediante el comando “ttest”. 3. Realice una regresión de Mínimos Cuadrados Ordinarios para estimar el efecto del programa usando la especificación de diferencias en diferencias. Haga la regresión utilizando como variable dependiente el gasto en salud (ophe) y como regresores los hogares que participaron (takeup), ronda (round) y la interacción entre las dos. Estime las regresiones: i. Sin controles ii. Incluyendo controles 4. ¿Cuál es el efecto del programa en los gastos directos en salud? 5. ¿Cómo mejora este método las estimaciones que obtuvo en el Caso 1?, ¿Existe todavía algún posible sesgo que le preocupe? 6.

Resulta que en la base de datos evaluation_extended.dta contiene información de la variable de gastos en salud para dos periodos de tiempo anteriores a la línea de base (periodo -1 y -2). ¿Cómo podría utilizar esta nueva información?

5

7. Las variables ophe_med_t y ophe_med_c contienen los valores medios del gasto en salud del grupo de tratamiento y de control, respectivamente. Dibuje un gráfico donde pueda ver los valores medios de dichas variables en cada una de las rondas. ¿Qué se observa gráficamente? 8. ¿Cómo se le ocurriría hacer un test de consistencia? Evaluación de Impacto Caso 3: Diseño de Regresión Discontinua Después de investigar más el programa de seguro de salud, usted descubrió que las autoridades decidieron dirigir el programa a los hogares más pobres. Es decir, sólo los hogares por debajo de la línea de pobreza pueden participar en el programa. La línea de pobreza fue construida mediante una evaluación de recursos económicos que asignó un puntaje (score) entre 0 y 1500 a cada hogar. Un hogar con un puntaje igual o menos de 750 cuenta como pobre y por eso fue elegible para participar en el programa de seguro de salud. Todos los hogares con puntajes por encima de 750 fueron declarados no elegibles para el programa. La variable “elegible” identifica los hogares que califican como pobre (elegible = 1) y los hogares que no califican así (elegible = 0). Solo debe incluir los hogares dentro de las zonas de tratamiento en su análisis (treatcom=1). 1. Estime el efecto de ser elegible para participar en el programa en gastos en salud en efectivo utilizando una regresión MCO que incluye una variable binaria para definir elegibilidad y el índice de pobreza (score). 2. Cree un gráfico de los valores predichos de gastos en salud estimados en paso 1 contra el puntaje de pobreza (Nota: se puede generar los valores predichos con el comando “predict” y crear el gráfico utilizando “graph7”). 3. Estime la regresión del paso 1 nuevamente, pero limite la ventana alrededor del índice de pobreza a 100 puntos en cada lado de 750. ¿Cómo se pueden explicar los cambios que ocurren en los resultados? 4. Estime la regresión utilizando diferentes límites alrededor del punto de corte de 750. ¿Qué ocurre a medida que los intervalos son mayores? ¿A qué se debe? ¿Qué intervalos nos van a permitir estimar el impacto de manera de más precisa? ¿Qué ventajas y limitaciones tiene?

Evaluación de Impacto Caso 4: Variables Instrumentales En el caso anterior, analizó el impacto de ser elegible para el programa comparando la población elegible dentro de las comunidades de tratamiento. Sin embargo, lo que Ud. realmente quiere

6 estimar es el impacto del programa en los participantes. Descubre que no toda la población elegible participó en el programa de seguro de salud. Es decir, algunos hogares por debajo de la línea de pobreza no participaron. Se puede aprovechar esta característica del programa para estimar el impacto del programa mediante variables instrumentales. Participar en el programa de salud es una decisión que cada individuo toma en función de ciertas características personales. Estas características personales, que hacen que el individuo decida apuntarse al programa de salud, también pueden determinar el nivel de gasto que el individuo tiene. Si esto es así, mediante la comparación de los que toman el programa y los que no, no vamos a poder determinar el impacto del programa, pues ser verá afectado por variables personales que no tienen que ver con el programa. Para determinar el impacto, hay que corregir por la selección endógena al tratamiento utilizando un instrumento válido. Un instrumento válido es una variable exógena que afecta la probabilidad de ser beneficiario de un programa, pero no tiene ningún efecto directo en la variable dependiente. En este caso, treatcom puede servir como un instrumento si pensamos que treatcom fue asignado aleatoriamente. En este escenario treatcom determina elegibilidad para participar en el programa (junto con el puntaje de pobreza score), pero no debe tener ningún efecto adicional en los gastos en salud pagados por los hogares. Para usar el método de variables instrumentales con “treatcom” como instrumento, haga lo que sigue: 1. Estime una regresión de mínimos cuadrados en dos etapas “two stage least squares” (comando “ivreg” en Stata) del efecto del programa en gastos en salud para los hogares por debajo de la línea de pobreza, utilizando “treatcom” como su instrumento. Estimar el modelo: a. Sin otras variables de control b. Incluyendo otras características del jefe del hogar y cónyuge. c. Incluyendo características de la línea de base 2. ¿Cómo interpretaría Ud. este nuevo coeficiente estimado? Evaluación de Impacto Caso 5: Pareamiento (Matching) Queriendo mejorar sus estimaciones anteriores usted decide utilizar técnicas de pareamiento para comparar hogares que participan en el programa y que no participan en el programa, y que parecen similares dadas ciertas características observables. Incluya solamente en su análisis los hogares que están en las comunidades piloto (treatcom =1). 1. Estime la probabilidad de participar en el programa (pscore) dadas las covariables observables de los hogares que participan y de los que no participan (utilice una regresión probit y despúes “predict“).

7 2. Trace las distribuciones de las probabilidades de participar en el programa (pscores) con el comando “kdensity” para los hogares participantes y no participantes, y después trasponga los diagramas con el comando “twoway”. ¿Le parece que existe una región de soporte común? 3. Utilice el comando “psmatch2” para estimar el efecto del programa de gastos de salud usando el método de pareamiento. (Nota: es posible que usted necesite instalar psmatch2)2. 4. ¿Qué nos dice el resultado del método de pareamiento sobre el efecto del programa en gastos de salud? 5. ¿Hay desviaciones potenciales que aún le preocupen? Evaluación de Impacto Caso 6: Aleatorización Resulta ser que cuando las comunidades estaban siendo seleccionadas para ser incluidas en el piloto de seguro de salud, había muchas más comunidades elegibles de las que podrían ser cubiertas con el presupuesto disponible. Por tal motivo, las autoridades provinciales decidieron hacer una lotería para seleccionar a las comunidades que participarían en el esquema del seguro en el año 1, así daban a todas las comunidades una oportunidad justa de comenzar en el primer programa. Sus datos contienen información sobre las comunidades seleccionadas al azar para la participación en el año 1, como de las comunidades que se incorporarían al programa en años subsecuentes. La variable “treatcom” indica las comunidades de tratamiento (treatcom = 1) y las comunidades de no-tratamiento o de control (treatcom = 0). Para este caso, utilice ambas comunidades, las de tratamiento y las de control, en su análisis. La muestra se estructura de la siguiente forma: Elegibles No elegibles

Comunidades Tratamiento 4,670 3,105

Comunidades Control 2,727 2,334

1. Compare gastos en salud en la línea de base y otras covariables entre los hogares elegibles en el tratamiento y las comunidades en el grupo de control. ¿La muestra está balanceada en términos de variables observables? ¿Es esto lo qué usted esperaría, por qué sí o por qué no? 2. En el período de tratamiento (round =1), compare el promedio de gastos en salud para la población elegible en las comunidades de tratamiento y las comunidades de control. ¿Es éste el impacto del programa de seguro médico? 3.

2

Ahora utilice una regresión de Mínimos Cuadrados Ordinarios (OLS) para estimar el efecto en los hogares elegibles:

Para instalar psmatch2 en la ventana COMMAND en STATA teclee: ssc install psmatch2

8 a. Sin variables de control b. Incluyendo las características del jefe de hogar y del cónyuge c. Incluyendo otras covariables de línea de base 4. ¿Cuál es el impacto del programa en los gastos en salud? 5.

Replique el análisis (paso 3) en la población no elegible como prueba de validez. ¿Estos resultados ayudan a confirmar su confianza en la validez de los impactos del programa?

9 Apéndice de Datos 1. La base de datos para el análisis (en formato STATA) es “evaluation.dta” 2. Variable de resultado: a. ophe = gastos directos en salud (per cápita mensuales) 3. Variables de Control (covariables): a. Características del jefe del hogar y su cónyuge: i. age_hh = edad del jefe (años) ii. age_sp = edad del cónyuge (años) iii. educ_hh = educación del jefe (años completos de educación) iv. educ_sp = educación del cónyuge (años completos de educación) v. ethnicity_hh = 1 si el jefe habla una lengua indígena vi. female_hh = 1 si el jefe es mujer b. Características en línea de base i. hhsize_basal = tamaño del hogar en línea de base ii. dirtfloor_basal = hogar con piso de tierra en línea de base = 1 iii. bathroom_basal = hogar con cuarto de baño privado en línea de base = 1 iv. landhectars_basal = número de hectáreas de tierra en línea de base v. min_dist = distancia entre la comunidad y el hospital más cercano. 4. Otras variables: a. local = identificador de localidad b. hhid = identificador único del hogar c. round = periodo de la encuesta (0= línea de base; 1 = periodo 1) d. takeup = hogar que participó en el programa = 1 e. eligible = hogar elegible para participar en el programa = 1 f. treatcom = comunidad en grupo de tratamiento = 1 g. score = índice de pobreza (eligible