Analisis de Regresion

1. ¿Cuál es el propósito general del análisis de regresión?

En términos generales, el análisis de Regresión trata sobre el estudio de la dependencia de un fenómeno económico respecto de una o varias variables explicativas, con el objetivo de explorar o cuantificar la media o valor promedio poblacional de la primera a partir de un conjunto de valores conocidos o fijos de la/s segunda/s. Utiliza el método de los "mínimos cuadrados" para ajustar una línea a una serie de observaciones. Puede utilizar esta herramienta para analizar la forma en que los valores de una o más variables independientes afectan a una variable dependiente; por ejemplo, en el rendimiento de un atleta inciden varios factores: la edad, la estatura y el peso entre otros. Basándose en un conjunto de datos de rendimiento, la regresión determinará la incidencia de cada uno de los factores en la medición del rendimiento y podrán utilizarse estos resultados para predecir el rendimiento de un atleta nuevo no sometido a ninguna prueba. 2. En el análisis de regresión intervienen dos tipos de variables: las independientes y las dependientes. Explique con sus palabras y a través de ejemplos, las características de estos dos tipos de variables.

En un Análisis de Regresión simple existe una variable respuesta o dependiente (y ) que puede ser el número de especies, la abundancia o la presencia-ausencia presencia-ausencia de una sola especie y una variable explicativa o independiente (x ). ). La variable independiente aquella que produce modificaciones en otra variable con la cual está relacionada. Suele designársele, por ello, como variable causal. La variable dependiente, por su lado, experimenta modificaciones siempre que la variable independiente cambia de valor o modalidad de darse. Por ello, también recibe el nombre de variable efecto. Es importante señalar que una variable independiente en una cierta relación puede ser dependiente en otra, o viceversa. De manera general, pero simplificada, podemos decir que entre una variable independiente y su correspondiente variable dependiente se puede dar una variable interviniente, que actúa como puente entre las dos primeras. 4.- Considere el modelo de regresión lineal simple yi=β0 + β1xi + εi, conteste: a) Formule las hipótesis que se hacen sobre los parámetros del modelo y explique la consecuencia de aceptar o rechazar cada una de éstas.

➢

Prueba de hipótesis para el parámetro β0 (que indica la intersección con el eje y).

H0: β0 = 0 HA: β0 ≠ 0 Al aceptar la H0: β0 = 0, nos indica que nuestra ecuación nos quedaría de la siguiente manera: yi= β1xi y por lo tanto, al graficar nuestra recta de regresión ésta pasa por el origen formando respecto al eje de las abscisas, un ángulo de 45°.

Con este resultado, no podemos considerar que nuestro modelo de regresión sea confiable para predecir resultados debido debido a que no nos esta mostrando una relación de significancia entre nuestros parámetros. Prueba de hipótesis para el parámetro β1 (que indica la pendiente de la recta, es decir, el incremento o decremento de la variable y por cada incremento de x). H0: β1 = 0 ➢

HA: β1 ≠ 0 Al aceptar nuestra H0: β1 = 0, estamos considerando un valor nulo para nuestra pendiente, y la ecuación de regresión toma la siguiente forma: yi= β0 + (0) xi es decir, el último término queda eliminado y por lo tanto, a la hora de graficarlo nos queda de la siguiente manera:

El resultado de la variable dependiente toma el valor constante de nuestro parámetro β0 y lo que nos queda no es una recta de regresión lineal, ya que como en el caso anterior, no nos plantea una relación para podre predecir con cierta confianza valores para nuestra variable dependiente y. a) Anote en forma detallada el estadístico de prueba, t0, para

cada una de las hipótesis y dé una explicación de por qué sirven para probar las hipótesis. Es decir, determine cuándo estos estadísticos tienen valores pequeños o grandes, y la decisión que se tomaría con respecto a su hipótesis correspondiente.

Un estadístico de prueba es aquel calculado de una sola muestra aleatoria simple tomada de la población de interés, en una prueba de hipótesis para establecer la verdad o falsedad de la hipótesis nula. Para el parámetro β1 tenemos que: t0=β1CMε/Sxx

Para obtener la fórmula de éste estadístico, se hace un análisis respecto a la media y varianza del parámetro β1 y se considera que tienen una distribución distribución normal. Para calcular la desviación estándar del estimador se hace una estimación dada por: √Vβ1=CMεSxx

Y recibe el nombre de error estándar de β1. Nótese que esta igualdad se toma en cuenta para el cálculo del estadístico. estadístico. La distribución t-student se utiliza para muestras de n≤30. También es importante mencionar que como nuestra H A contiene desviaciones desde la hipótesis nula en cualquier dirección (por lo de β 1≠0) se denomina hipótesis de dos colas, y he aquí donde se aplica la distribución distribución t-student. Para el parámetro β0 tenemos que: t0=β0CMε1n+x2Sxx

Como en el caso anterior, para formular el estadístico de prueba se tomo en cuenta que el parámetro de β 0 sigue una distribución normal considerando su media y varianza. Entonces una estimación de esta última es: Vβ0= σ21n+x2Sxx=CMε1n+x2Sxx σ21n+x2Sxx=CMε1n+x2Sxx

De igual manera notamos que esto se toma en cuenta en la estructura del estadístico de prueba. En ambos casos para saber si aceptamos o rechazamos nuestra H0, representamos nuestro criterio de rechazo de la siguiente manera: t0 >t(∝/2, n/2)

Si el valor de nuestro estadístico de prueba es grande o pequeño, podemos decir que es respecto a los datos que se estén manejando para el análisis del problema, obviamente para saber si se rechaza nuestra H0, el valor del estadístico debe satisfacer la expresión anterior, por lo tanto estaremos aceptando la HA, esto quiere decir que el valor del estadístico si es mayor que el área de rechazo (expresada con el valor que se obtiene de las tabla de distribución t-student, con cierto nivel de significancia), entonces se encuentra en el área de aceptación y como todo esto esta en función de la H0 podemos sacar conclusiones respecto de lo que estamos afirmando. b) Con respecto al análisis de varianza para el modelo, escriba

y explique la hipótesis correspondiente. Además, anote con detalle el estadístico de prueba, F0, y dé una justificación de por qué tal estadístico sirve para probar tal hipótesis.

En este caso, se plantea un análisis enfocado hacia la variabilidad total observada en la variable de respuesta (Syy), la variabilidad explicada por la recta de regresión (SCR)y la variabilidad no explicada por la recta de regresión (SCE), obteniendo consecuentemente el Cuadrado Medio del Error, considerando los grados de libertad. Todo esto se utiliza para generar otra forma de probar la hipótesis sobre la significancia de la regresión. Para el análisis de varianza, sólo utilizamos la prueba de hipótesis para el estimador β1, como ya sabemos, la pendiente. H0: β1 = 0 HA: β1 ≠ 0

El estadístico de prueba respecto la hipótesis nula es: F0 = SCR/1SCE/(n-2) = CMRCME

En realidad, esta forma de probar la significancia de la regresión, es equivalente a la que se estableció a través del estadístico t0, ya que al elevar éste al cuadrado obtenemos:

t02 = β12 SxxCME = β1SxyCME =CMRCME = F0

La distribución Fisher, se utiliza para probar si dos muestras provienen de poblaciones que poseen varianzas iguales. Esta prueba es útil para determinar si una población normal tiene una mayor variación que la otra. Y como al principio se menciona que los datos del problema están sometidos a un análisis de varianza, es por eso que debemos utilizar este estadístico de prueba.

5.-Con respecto a los intervalos de confianza para la recta y los intervalos de predicción, señale ¿Cómo se obtienen y para que se aplica cada uno de ellos?

Intervalo de confianza de la recta y0 - t(α2,n-2) CME [1n+ ( x0 - x )2Sxx )2Sxx ]≤Eyx≤ ]≤Eyx≤ - x )2Sxx ]

y0 - t(α2,n-2) CME [1n+ ( x0

Un intervalo de confianza está definido por dos valores entre los cuales se encuentra el valor del parámetro con un determinado nivel de confianza que se denota (1 –α) y que se aplica aplica para mostrar mostrar los valores valores entre los cuales se puede encontrar nuestro estimador puntual, para dar una idea de la confiabilidad de nuestro estimador. Los intervalos de predicción y0 - t(α2,n-2) CME [ 1+1n+ ( x0 - x )2Sxx ]≤Eyx≤ [1+1n+ ( x0 - x )2Sxx ]

y0 - t(α2,n-2) CME

Se utilizan para predecir predecir o pronosticar pronosticar nuevas o futuras observaciones observaciones de Y. Para predecir por intervalos la nueva observación observación es independiente de las observaciones utilizadas para ajustar el modelo de regresión lineal por tal motivo el intervalo anterior no es adecuado. Este intervalo depende

tanto del error del modelo como del error asociada a sociada las predicciones futuras. Entre más alejado del valor medio es x i, mayores son los intervalos de confianza y de predicción. Los intervalos tienen la propiedad de ser de diferente ancho, según el valor de X, siendo más angostos cuando X es igual al promedio, ensanchándose a medida que nos alejamos del promedio. Cuando se sale del rango de los datos, se ensanchan más fuertemente. Esto significa que mientras más nos alejamos del centro de los valores de la variable X , más imprecisas serán nuestras estimaciones del valor de la variable Y , lo que parece razonable.

15. ¿por qué se requiere la regresión lineal múltiple?

Porque en muchas situaciones situaciones practicas practicas existen varias varias variables variables independientes que se cree que influyen o están relacionadas con una variable de respuesta Y, y por lo tanto será necesario tomar en cuenta si se quiere predecir o entender mejor el comportamiento de Y. 17. Considere un modelo de regresión lineal múltiple con cuatro variables: yi = 0 + 1 x1i + 2 x2i + ……..+ 4 x4 + i ; i = 1,2, …,n, y suponga que para estimar los parámetros se utilizaron un total de 12 observaciones, es decir, n = 12. Conteste las siguientes preguntas: 









a) Explique en forma esquemática el procedimiento matemático para estimar los parámetros que minimizan los errores por mínimos cuadrados.

Generalmente, para el caso de k variables independientes X1, X2,....,Xk, la media de Y| X1, X2,....,XK  está dada por el modelo de regresión lineal múltiple µ

Y

|x1, x2 ,………, xk = β

0

+β

1

x1 +……..+ β

k

xk

y la respuesta estimada se obtiene de la ecuación de regresión de la muestra

Donde cada coeficiente de regresión i se estima por bi de los datos de la muestra con el uso del método de mínimos cuadrados. 

Con 4 variables (x1, x2, x3, x4) y 12 observaciones (n=12) El procedimiento matemático es mediante el ajuste del modelo de regresión lineal múltiple: µ

|x1 , x2, x3 , x4 = β

Y

0

+β

A los puntos de datos

x+β

1 1

x+β

2 2

x +β

3 3

x

4 4

i= 1,2,....,12 y 12 >4 },

Al utilizar el concepto de mínimos cuadrados para llegar a las estimaciones 0, 1, 2, 3, 4, minimizamos la expresión: 









Al diferenciar SSE a su vez con respecto a β

0,

β

1,

β

2,

β

3,

β

, e igualar a cero:

4

Sustituyendo n con 12 y k con 4, estas ecuaciones se pueden resolver para a β 0, β 1, β 2, β 3, β 4 mediante cualquier método apropiado para resolver sistemas de ecuaciones lineales. b) Denote el modelo en forma matricial: y=X + todas las matrices involucradas en el modelo.

exprese con precisión

De manera resumida: y1y2y3:y12 X = 1x11x12x13x141x21x22x23x241x32x32x33x34:1x121x122x123x124 b0b1b2b3b4 e1e2e3:e12 ε Y=

=

La matriz de datos Y es el conjunto de todas las observaciones en cuanto a la variable dependiente se observaron en el experimento, de aquí que va de y1 hasta y12 con respecto a la totalidad de observaciones n = 12. La matriz de datos X representa en realidad los valores de las variables independientes ya sean en cuadrados, cubos, productos cruzados u otras funciones de las variables de predicción. Se observa que la primera columna de la matriz X es una columna de unos, por tanto, estamos insertando un valor de x, específicamente x0, como coeficiente de b0. Donde x0 siempre es igual a 1.

La siguiente matriz representa los estimadores del modelo, para cada parámetro de la matriz hay una columna en la matriz X. La ultima matriz representa el error aleatorio regresión.

inherente a todo modelo de

c) Proporcione la expresión matricial para los estimadores estimadores de mínimos mínimos cuadrados. Entonces la solución de mínimos cuadrados para la estimación de β β 4 , implica encontrar b para la que

0,

β

1,

β

2,

β

3,

SSE = (y - Xb)'(y - Xb) se minimiza. Este proceso de minimización implica resolver para b en la ecuación

El resultado se reduce a la solución de b en

(X'X)

= X'Y

Podemos escribir la solución para el coeficiente de regresión como =(X’X)-1 X’Y De esta forma se puede obtener la ecuación de predicción o la ecuación de regresión al resolver un conjunto de k + 1 ecuaciones con un número igual de incógnitas. Esto implica la inversión de la matriz X'X de k + 1 por k + 1.

d) Especifique la hipótesis hipótesis de significancia del del modelo y lo que que significa aceptar o rechazar esta hipótesis. La hipótesis más importante sobre un modelo de regresión múltiple consiste en ver si la regresión es significativa: H0 : β 1 = β HA : β j ≠ 0

2

= β

3

= β

4

=0 Para al menos un j = 1, 2, 3, 4

✔

Aceptar H0 indica que ningún término en el modelo tiene una contribución significativa al explicar la variable de respuesta, Y.

✔

Rechazar H0 implica que por lo menos un término en el modelo contribuye de manera significativa a explicar Y.

a) De la expresión del estadístico de prueba, F 0, para la hipótesis anterior, así como una explicación racional de por qué funciona como estadístico de prueba, es decir, vea cuando este estadístico tiene valores grandes o pequeños, y lo que eso significa en términos de calidad de ajuste. F0 = CMR /CME

La hipótesis nula anterior se rechaza si:

F0 > F (α, 4, 7)

Dado que un estadístico es una medida cuantitativa, derivada de un conjunto de datos de una muestra, muestra, con el objetivo de estimar o contrastar características de una población o modelo estadístico, estadístico, en este caso nos permite aceptar o rechazar la hipótesis, cuando el valor de F0 es mayor que el valor F(α, 4, 7) implica que debemos descartar la F0 es notablemente grande refiere a una hipótesis nula y aceptar la alternativa que nos habla de una significación del modelo, además si mayor significancia dado que se aleja del criterio de rechazo establecido.

b) Formule las hipótesis hipótesis sobre los parámetros individuales del modelo modelo y comente que significa aceptar o rechazar r echazar cada una de estas. H0 : β j = 0 HA : β j ≠ 0

j = 1, 2, 3, 4

Aceptar la hipótesis nula, para cualquier estimador, indica que el mismo no contribuye esencialmente a predecir Y en general, en caso contrario, rechazar  hipótesis nula y por consiguiente aceptar la hipótesis alternativa, indica que el parámetro Bj es significativo. c) Proporcione la expresión para el estadístico de prueba para el caso anterior y comente por que estos estadísticos funcionan como criterio de aceptación o rechazo.

t0 = BjCMe Cj+1, j+1 La hipótesis nula anterior se rechaza rechaza si: t0 > t (α/2, 7 ) La prueba t de Student como todos los estadísticos de contraste se basa en el cálculo de estadísticos descriptivos previos: el número de observaciones, la media y la desviación típica en cada grupo. A través de estos estadísticos previos se calcula el estadístico de contraste experimental. Por lo tanto el criterio de rechazo anterior  funciona perfectamente con cada estimador  β j d) ¿Cuáles son los los riesgos de hacer hacer predicciones fuera de de la región de los los datos originales? Fuera de la región, los aspectos físicos o sociales que están atrás de todo modelo de regresión pueden empezar a actuar de otra forma, muy fuera de la región de región de los datos originales empiecen a actuar otros fenómenos no considerados en el modelo original. Este riesgo es más grande en el análisis de regresión múltiple, ya que se trabaja con regiones multidimensionales.

Problema 7 En un proceso de extracción se estudia la relación entre tiempo de extracción y rendimiento. Los datos obtenidos se encuentran en la siguiente tabla.

Tiempo (min)

Rendimient o (%)

10

64

15

81.7

20

76.2

8

68.5

12

66.6

13

77.9

15

82.2

12

74.2

14

70

20

76

19

83.2

18

85.3

a) ¿En este problema cual variable se considera independiente y cual independiente? – Se debe debe considerar considerar el tiempo tiempo de extracción como variable independiente (x) y al rendimiento como la variable dependiente (y), dado que el rendimiento siempre va a variar conforme el tiempo y no viceversa. a) Mediante un diagrama de dispersión analice la relación entre estas dos variables. ¿Qué tipo de relación observa y cuales son algunos hechos especiales?

Existe correlación lineal positiva ya que conforme aumenta el tiempo de extracción también aumenta el rendimiento, es razonable suponer que la relación entre estas variables la explique un modelo de regresión lineal simple. b) Haga un análisis de regresión (ajuste una línea recta a estos datos, aplique pruebas de hipótesis y verifique residuos)

Para ajustar la mejor recta que pasa más cerca de todos los puntos y para calcular estimadores, se usa método de mínimos cuadrados, se resumen los cálculos en la hoja de Excel: X

y

Tiempo (min)

X2

Y2

Xy

Y estima do

e

E2

Rendimiento (%) 10

64

100

4096

640

69.93

5.93

35.164 9

15

81.7

225

6 6 7 4 .8 9

1225 .5

75.8 75.88 8

5.82 5.82

33.8 33.872 72 4

20

76.2

400

5 8 0 6 .4 4

1524

81.83

5.63

31.696 9

8

68.5

64

4 6 9 2 .2 5

548

67.55

0.95

0.9 0 2 5

12

66.6

144

4 4 3 5 .5 6

799. 2

72.31

5.71

32.604 1

13

77.9

169

6 0 6 8 .4 1

1012 .7

73.5

4.4

19.36

15

82.2

225

6 7 5 6 .8 4

1233

75.88

6.32

3 9 .9 4 2 4

12

74.2

144

5 5 0 5 .6 4

890. 4

72.3 72.31 1

1.89 1.89

3.57 3.5721 21

14

70

196

4900

980

74.69

4.69

21.996 1

20

76

400

5776

1520

81.83

5.83

33.988 9

19

83.2

361

6 9 2 2 .2 4

1580 .8

80.6 80.64 4

2.56 2.56

6.55 6.5536 36

18

85.3

324

7 2 7 6 .0 9

1535 .4

79.4 79.45 5

5.85 5.85

34.2 34.222 22 5

Suma 176

905.8

275 2

68910. 36

1348 9

293.87 64

Para ajustar la recta, se calcula: Ey I x=β0+β1x ) Sxy=i=1nxiyi-i=1nxii=1nyin = 13489 – [(176) (905.8) /12] = 203.93 Sxx=i=1nxi2-i=1nxi2n = 2752 – [(176)2/12] = 170.66 Syy=i=1nyi2-i=1nyi2n = 68910.36 – [(905.8)2/12] = 537.55 Para encontrar los estimadores: β1=SxySxx = 203.93 / 170.66 = 1.19492187 β0=y-β1x = 75.48333333 - 1.19492187 (14.66666667) = 57.9578125

Por lo tanto, la línea recta ajustada aju stada está dada por: y=57.9578125+1.19492187 x

Con esta ecuación podemos graficar la recta de regresión lineal:

Por lo que se observa, se concluye que los errores están distribuidos distribuidos aleatoriamente, la prueba de hipótesis de interés plantea que la pendiente es significativamente diferente de 0. Hipótesis a Establecer  Análisis de Regresión

En ambos casos H0 se rechaza si to> t ( ∝ / 2 , n -2 )

Para β1 H0 = β1 = 0 HA = β1≠ 0

Hipótesis a Establecer  Análisis de Varianza

CME/Sxx t 0 = β1 / CME/Sxx Para β0 H0 = β0= 0 HA = β0≠ 0

H0 = β1 = 0 HA = β1≠ 0

F0= CMR / CME H0 se rechaza si

t 0 =β0/ √CME 1n+x2Sxx

Fo> F( ∝, 1 , n -2 )

Estadísticos obtenidos, Minitab: Con 5% de significancia para el análisis de regresión, es obvio que para los dos estimadores el estadísticos son mayores (9.22; 2.88) que el del criterio de rechazo (2.2281) Para el análisis de Varianza es lo mismo 8.29 > 4.965 Por lo tanto se rechazan las hipótesis nulas establecidas y se aceptan las alternativas, las cuales indican que el modelo es significativo c) ¿La calidad del ajuste es satisfactoria? Argumente

Determinemos si el modelo permite hacer estimaciones con una precisión aceptable: Coeficiente de determinación

R2 = SCR / Syy = 243.68 / 537.55 = 0.4533 El 45 % de la variación va riación observada en el rendimiento es explicada por el modelo, la calidad de ajuste no es satisfactorio, veamos su ajuste… Coeficiente de determinación ajustado

R2 aj = CMtotal - CME / CMtotal =48.8681 – 29.38 / 48.8681 = 0.3987 Para fines de predicción se recomienda un coeficiente de determinación ajustado de 0.7 este es otro indicador de que nuestro modelo no hace estimaciones con precisión. Coeficiente de Correlación

r = Sxy / √SxxSyy = 203.93 / √ (170.66) (537.55) = 0.6732 Observemos las gráficas 4 en uno del modelo de regresión:

Se observa que en la gráfica de probabilidad normal la mayor parte de los puntos tienden a ajustarse a la línea recta pero en la de residuo contra valor ajustado hay cierto patrón, el modelo registra falla. Se concluye que aunque el modelo es significativo, la intensidad de la relación lineal entre las variables no es muy fuerte

d) Destaque el valor de la pendiente de la recta e interprételo en términos prácticos

El valor de la pendiente de la recta es: 1.1949, en términos prácticos, tan solo es la cantidad que se s e incrementa o disminuye la variable Y para cada unidad que se incrementa X. e) Estime el rendimiento promedio que se espera a un tiempo de extracción de 25 minutos y obtenga un intervalo de confianza para esta estimación.

El intervalo de confianza está dado por: Y 0 - t ( ( ∝ / 2 , n -2 ) CME1n+(x0- x)2Sxx

EyI25