Regresion Lineal Simple

REGRESION LINEAL SIMPLE Con frecuencia, nos encontramos en economía con modelos en los que el comportamiento de una variable, Y, se puede explicar a través de una variable X; lo que representamos r epresentamos mediante Y = f (X) (1) Si consideramos que la relación f, que liga Y con X, es lineal, entonces (1) se puede escribir así: t 1 2 t Y = β + β X (2) Como quiera que las relaciones del tipo anterior raramente son exactas, sino que más bien son aproximaciones en las que se han omitido muchas variables de importancia secundaria, debemos incluir un término de perturbación aleatoria ε, que refleja todos los factores  – distintos de X -que influyen sobre la variable endógena, pero que ninguno de ellos es relevante individualmente. Con ello, laCuando se quiere saber en qué medida están relacionadas dos variables en estudio estudio se utiliza el modelo de regresión lineal simple, simple, expresado de la forma:

Y = β0 + β1X + ε

Y:

Variable dependiente

β0 y β1:

Parámetros del modelo

X:

Variable independiente

ε:

Error del modelo

ECUACION DE REGRESION LINEAL SIMPLE Cuando tenemos varias distribuciones de datos con su propia media o valor esperado

E (Y) = β0 + β1X

La relación lineal entre las dos variable puede ser: E(Y) Relación lineal positiva

Si β1 > 0 X E(Y)

Relación lineal negativa

Si β1 < 0 X E(Y)

No hay relación

Si β1 = 0 X

Ahora bien, cuando no se conocen los valores poblacionales se utiliza la

ECUACION DE REGRESION LINEAL SIMPLE ESTIMADA:

y = b0 + b1x

y : es el estimador puntual de E(Y) b0 , b1: estimadores de β0 y β1 respectivamente Para hallar la recta de regresión lineal simple estimada, a través de los datos muestrales, se utilizara el METODO DE LOS MINIMOS CUADRADOS, criterio consiste en encontrar los valores de b 0 y b 1 que hacen mínima la suma de los cuadrados de las desviaciones entre los valores observados de la variable dependiente y los valores estimados de la misma.

Ejemplo: Suponemos una muestra de 10 restaurantes que presenta el número de clientes y las ventas trimestrales: Restaurant Clientes (miles) Ventas (miles BF)

1

2

3

4

5

6

7

8

9

10

2

6

8

8

12

16

20

20

22

26

58

105

88

118

117

137

157

169

149

202

DIAGRAMA DE DISPERSION: Se obtiene de graficar los valores de las variables, en este caso clientes (que será X) contra ventas (Y)

Yi 250

200

150

100

50

0 0

5

10

15

20

25

30

Xi

Para predecir las ventas del restaurante se utilizará la recta de regresión lineal de la forma:

yi = b0 + b1xi yi

: valor estimado de las ventas del restaurante

b0 : intersección de la recta con el eje Y b1 : pendiente de la recta xi : número de clientes por restaurant

CRITERIO DE LOS MINIMOS CUADRADOS Consiste en encontrar los valores de b0 y b1 que hacen mínima la suma de los cuadrados de las desviaciones entre los valores observados y los valores estimados de la misma variable. Se utilizan los datos muestrales. Entonces la notación del criterio es: minΣ(yi – yi)2

yi : valores observados de la variable dependiente yi : valores estimados de la variable dependiente

Siguendo con el ejemplo

         ∑      ∑    

    -12 -8 -6 -6 -2 2 6 6 8 12

-72 -25 -42 -12 -13 7 27 39 19 72

 864 200 252 72 26 14 162 234 152 864 2840

)

 144 64 36 36 4 4 36 36 64 144 568

        

Luego:

yi = 60 + 5xi 250

200

150 Series1 100

50

0 0

5

10

15

20

25

30

La pendiente b1 es positiva lo que indica que la relación lineal entre las dos variables, número de clientes y venta trimestral es directamente proporcional. Podemos predecir con la recta obtenida las ventas para cualquier número de clientes, por ejemplo, para un restaurant con 16.000 clientes las ventas serán de

yi = 60 + 5Xi = 60 +5*16 = 60 + 80 = 140

Es decir, 140.000 Bs

SUMA DEL CUADRADO DE LOS ERRORES:

SCE :

SUMA DE CUADRADOS TOTAL:

STC :

SUMA DE CUADRADOS DE LA REGRESION:

SCR :

Se demuestra que: SCT = SCR + SCE

 ̅̂   ̂̅ 

Para el ejemplo:

̂

̂

y-

̂ ̅  ̂̅ 

(yi - )

2

70

-12

144

5184

3600

90

15

225

625

1600

100

-12

144

1764

900

100

18

324

144

900

120

-3

9

169

100

140

-3

9

49

100

160

-3

9

729

900

160

9

81

1521

900

170

-21

441

361

1600

190

12

144

5184

3600

1530

15730

14200

COEFICIENTE DE DETERMINACION:

  

* 100

Se expresa en forma de porcentaje, en el caso del ejemplo, r2 = 14200/15730 = 0.9027*100, se entiende que el 90.27 % de la variabilidad en las ventas es explicado por la relación lineal entre los clientes y las ventas.

COEFICIENTE DE CORRELACION MUESTRAL:

         1

Si

 

tiende a 1 hay mayor correlación positiva tiende a 1 hay mayor correlación negativa tiende a 0 no hay correlación

  √  

Para el ejemplo Luego, como

=+

= + 0.9051

tiende a 1 se puede decir que hay fuerte correlación positiva.

ERROR ESTANDAR DE ESTIMACION

    TABLA ANOVA. EL CONTRASTE DE REGRESIÓN. En este apartado se descompone la variabilidad de la variable respuesta en variabilidad explicada por el modelo más variabilidad no explicada o residual, esto permitirá contrastar si el modelo es significativo o no. Bajo la hipótesis de que existe una relación lineal entre la variable predicción y predictora, se quiere realizar el siguiente contraste de hipótesis,

frente a la alternativa

por tanto, si se acepta H0, la variable predictora no influye y no hay relación lineal entre ambas variables. En caso contrario, si existe una dependencia lineal de la variable respuesta respecto a la predictora. Para todos los datos muestrales se hace la siguiente descomposición

elevando al cuadrado y sumando se obtiene,

en base a la ortagonalidad de los vectores se obtiene que los productos cruzados son cero, de donde se sigue la siguiente igualdad (Teorema de Pitágoras) que permite descomponer la variabilidad de la variable respuesta en la variabilidad explicada por la recta de regresión

más la variabilidad residual o no explicada por el modelo ajustado

Global o Total

,

del Error

de la Regresión

Ahora se puede construir la siguiente tabla ANOVA Tabla ANOVA del modelo de regresión simple Fuente de Variación

Suma de Cuadrados

Grados de Libertad

ERROR

SCE =

2

1

REGRESION

SCR =

2

n-2

TOTAL

SCT =

2

n-1

Varianzas

  

     

Para probar si la regresión efectuada es significativa se utilizan tres tipos de pruebas de significación: Prueba t Intervalo de confianza para β1 Prueba F PRUEBA T: Se elabora el contraste para la no relación entre las variables, es decir que la pendiente de la recta de regresión β1 es cero contra la pendiente diferente de cero. H0: β1 = 0 Ha: β1 ≠ 0 Si se rechaza H0 es porque hay una relación estadísticamente significativa entre las variables. El estadístico de prueba para este contraste es:

 

En donde

    

Criterios de rechazo: p-Valor: RECHAZO si p-valor ≤ α Valor crítico: RECHAZO si t ≤ -t α/2 RECHAZO si t ≥ t α/2 INTERVALO DE CONFIANZA PARA β1 b1 ± ME ME= t α/2 * sb1

Donde t tiene n-2 grados de libertad