Problemas Psicometría

PROBLEMAS I.

Fiabilidad y Teoría Clásica de los Tests.

1. Cuál es el valor del coeficiente de fiabilidad de un test en el que la varianza de los errores y la varianza de las puntuaciones verdaderas son iguales? Sol. 0,50 2. ¿Cuántos ítems tenemos que añadir a un test que tiene 120 ítems y un coeficiente

de fiabilidad de 0,65 para alcanzar un coeficiente de fiabilidad igual a 0,65?. Sol. 138. 3. Se ha aplicado un test de razonamiento compuesto por 30 ítems. El coeficiente de fiabilidad del test vale 0,80. ¿Cuál es el porcentaje de varianza verdadera de las puntuaciones?. Sol. 90%. 4. El coeficiente de fiabilidad de un test vale 0.75. La desviación típica de las puntuaciones observadas es 10. Calcular el error típico de medida. Sol. 5 5. La pendiente de la recta de regresión de V sobre X es 0. ¿Qué puntuación directa de pronosticará a cualquier sujeto del grupo? Sol. La media de las puntuaciones observadas de los sujetos del grupo. 6. Calcular la razón del error típico de estimación sobre el error típico de medida para  xx '  0,50 y  xx '  0,90 e interpretar el resultado. Para los dos casos calcular el estimador de Kelley de la puntuación verdadera para una puntuación observada X = 30, sabiendo que la media de las puntuaciones observadas es 40. 7. Se sabe que la varianza de las puntuaciones verdaderas de un test es 190 y que la varianza de las puntuaciones observadas es 225. ¿Cuánto vale el coeficiente de fiabilidad de las puntuaciones? Sol. 0,84. 8. El error típico de medida de un test representa 1/3 de la desviación típica de las puntuaciones verdaderas. ¿Cuál es el valor del coeficiente de fiabilidad del test? Sol. 0,90. 9. Sea la siguiente matriz de varianzas y covarianzas para un test compuesto de cuatro partes. Calcular y comparar las estimaciones de la fiabilidad L1, L2 y L3. 10. Cuánto vale el coeficiente de fiabilidad de un test que se ha dividido en dos mitades si la varianza de las puntuaciones de la primera mitad es 20, la varianza de las puntuaciones de la segunda mitad es 25 y la varianza de las puntuaciones del tes total es 60. ¿Cuál es la correlación entre las dos mitades del test? Sol. Coeficiente de fiabilidad = 0,50; Correlación entre las dos mitades = 0,3354. 11. Un test se ha dividido en dos mitades. Las puntuaciones de la primera mitad tienen una varianza de 10; las de la segunda mitad de 15. La correlación entre las puntuaciones de las dos mitades es 0,50 y la varianza de las puntuaciones del test total es 37.2: a. Calcular el coeficiente de fiabilidad con un procedimiento distinto de Spearman-Brown. Sol. 0,66 1

b. Calcular el coeficiente de fiabilidad mediante la corrección de SpearmanBrown. Sol. 0,67 c. Comparar los resultados de a y b, explicando las discrepancias. Sol. La falta de paralelismo entre las mitades. 12. Un test compuesto por 20 ítems todos con la misma dificultad, tiene una media de 12 y una varianza de las puntuaciones observadas de 10. ¿Cuál es el valor del coeficiente KR-21 para este test? Sol. 0,55. 13. Un cuestionario de actitudes formado por 8 ítems puntuados de forma dicotómica fue administrado a 10 sujetos. A continuación se presenta la matriz de puntuaciones Sujeto x Item

Items 1 2 3 4 5 6 7 8 9 10

1 1 1 1 0 1 1 0 1 1 1

2 1 1 1 0 1 1 1 1 1 1

3 1 1 0 0 1 1 1 1 0 1

4 1 0 1 0 1 1 1 1 0 1

5 1 0 0 1 1 1 1 1 0 1

6 1 1 0 0 1 0 0 1 0 0

7 0 0 0 1 1 0 0 1 0 1

8 0 0 0 1 1 0 1 0 0 1

Total 6 4 3 3 8 5 5 7 2 7

Calcular las correlaciones entre las puntuaciones de las dos mitades pares e impares. Sol. 0,74 a. Calcular el valor del coeficiente de fiabilidad utilizando el procedimiento de dos mitades basado en la división entre pares e impares. Sol. 0,85. b. Calcular el valor del coeficiente KR-20. Sol. 0,63 c. Calcular el valor del coeficiente de fiabilidad por medio de ANOVA. Sol. 0,63. 14. En la tabla adjunta se presentan los estadístico descriptivos y coeficientes de fiabilidad de dos formas alternativas de Matemáticas A y B. Cada una de ellas tiene dos partes, Cálculo y Solución de problemas. Formas del Test

Cálculo

Solución de Problemas

22 8 35 0,83

25 12 40 0,85

22 7 35 0,80

24 12 40 0,84

Forma A Media Desviación Típica Nº de ítems KR-20 Forma B Media Desviación Típica Nº de ítems KR-20

2

Responde a las siguientes preguntas: a. Error típico de medida de cada una de las formas del test. Sol. Forma ACálculo, 3,30; Forma A-Solución de problemas: 4,65; Forma B-Cálculo: 3,13; Forma B- Solución de problemas: 4,65. b. Coeficientes de fiabilidad de los subtests de Solución de problemas en las dos formas si se eliminan 5 ítems en cada uno de ellos. Sol. 0,8332 en los dos casos. c. La correlación entre los dos subtests de la forma A es de 0,80 y entre los de la forma B de 0,70. Teniendo en cuenta esta información calcule el coeficiente de fiabilidad de las puntuaciones diferencia (Cálculo – Solución de Problemas) en puntuaciones típicas para cada una de las formas. Sol. Forma A: 0,4029; Forma B: 0,5835. 15. Se desea construir un test de inteligencia que tenga un coeficiente de fiabilidad de 0,94. Para ello se dispone como punto de partida de dos tests alternativos, A que tiene 6 ítems y un coeficiente de fiabilidad de 0,50 y otro con 12 ítems y B coeficiente de fiabilidad de 0,65. ¿Cuál de ellos se elegirá de modo que se alcance el coeficiente de fiabilidad deseado y que el test tenga el menor número de ítems? Sol. A requiere 91 ítems y B, 101, por lo que es preferible A. 16. Un equipo de investigación desarrolló dos tests de Razonamiento, el primero de Razonamiento Inductivo (RI) y el segundo de Razonamiento Deductivo (RD). Ambos tests fueron aplicados a una muestra representativa de N=400 sujetos. En el test de RI la varianza de las puntuaciones verdaderas representó el 80% de la varianza de las puntuaciones observadas y en el de RD el 90%. La desviación típica de las puntuaciones observadas en RI fue 8 y en RD 10. Responda a las siguientes preguntas: a. El test de RI tenía 100 ítems y resultaba excesivamente fatigoso para los sujetos y se redujo a 60 ítems. ¿Cuánto vale el coeficiente de fiabilidad del test acortado?. Sol. 0,7059 b. ¿Cuántos ítems habría que eliminar del test de RD, que consta de 120 ítems si se considera que es suficiente un coeficiente de fiabilidad de 0,80? Sol. 66 ítems c. Cuál de los dos tests sería más fiable si ambos tuviesen 60 ítems?. Sol. El test RD. 17. Se aplicó una batería formada por tres tests a una muestra 500 sujetos. Los tres tests fueron: Ortografía (A), Comprensión Lectora (B) y Estructuras Sintácticas (C). La puntuación media obtenida en el test total, T, sumando las puntuaciones de los tres subtests : T = A +B + C fue 100 y la varianza 25. Calcular: a. El coeficiente de fiabilidad del test A sabiendo que la varianza de las puntuaciones observadas es 1,25 veces la varianza de las puntuaciones verdaderas. Sol. 0,80. b. Elementos paralelos que habría que añadir a los 60 que tiene el test B de modo que su coeficiente de fiabilidad sea de 0,80, sabiendo que la correlación entre las puntuaciones pares e impares fue 0,40. Sol. 120. c. El coeficiente de fiabilidad de C, sabiendo que en una muestra con una varianza igual a la mitad de la de la muestra original su valor fue de 0,36. Sol. 0,68.

3

18. El coeficiente de fiabilidad de un test es 0,50. Calcule el coeficiente de fiabilidad si fuese alargado multiplicando por diversos valores de k (k= 2, 4, 10). Sol. 0,67; 080; 091. 19. El coeficiente de fiabilidad de un test X es 0,49. ¿Cuál sería la máxima correlación que se podría obtener entre este test y un criterio? Justifique la respuesta. Sol. 0,70 20. El coeficiente de fiabilidad de un test de comprensión verbal fue 0,70 y el de otra forma alternativa de 0,60. Se aplicaron los dos tests a una muestra de 1000 sujetos, encontrándose una correlación entre sus puntuaciones de 0,50. ¿Cuánto vale el coeficiente de fiabilidad de las diferencias en puntuaciones típicas entre estos dos tests? Sol. 0,30. 21. Un test de lectura consta de tres partes: Documentos (D), Expositiva (E) y Narrativa (N). El test fue aplicado a una muestra de 1000 sujetos con cuyos datos se calcularon los coeficientes de validez que fueron 0,90 en el test D, 0,80 en el test E y 0,70 en el test N. Las medias fueron 5, 8 y 3 para D, E y N, respectivamente. En la matriz adjunta se presentan las varianzas y covarianzas entre los tres subtests, presentadas en el orden D, E y N.

 4 2 3    2 9 1  3 1 5   Combinando los tres tests mediante la fórmula siguiente : T = 3D + E + 2N se obtiene una puntuación total. Calcular: a. Coeficiente de fiabilidad de las puntuaciones totales T. Sol. 0,90. b. Media y varianzas observada, verdadera y error de las puntuaciones T. Sol. Media = 29; Varianza de las puntuaciones observadas = 117; Varianza de las puntuaciones verdaderas = 105,30; Varianza de los errores = 11,70 c. Error típico de medida de las puntuaciones T. Sol. 3,42. d. Intervalo de confianza para la puntuación total verdadera de un sujeto que obtuvo las siguientes puntuaciones observadas en cada uno de los tests: D= 3, E = 7 y N = 5. Utilice el nivel de confianza de 0,98 y la aproximación de Kelley. Sol. [18,75-33,85]. 22. La media de un test de 80 ítems calculada en una muestra de 500 sujetos fue 40, la desviación típica 12 y la covarianza entre las dos mitades paralelas en las que se dividió el test de 25,4. Calcular: a. La correlación entre las dos mitades. Sol. 0,545 b. La varianza de cada una de las mitades. Sol. 46,6. c. El coeficiente de fiabilidad del test. Sol. 0,7055.

4

23. Se aplicó un test de visualización espacial a una muestra de 500 sujetos. La desviación típica del test fue 4 y la media 8. Se sabe que a un sujeto con una puntuación típica de 1 se le pronosticó una puntuación diferencial verdadera (v’) que se encontró en el intervalo de confianza del 95% [-0,39 – 6,39]. Calcular: a. Pendiente de la recta de regresión de V sobre X. Sol. 0,75. b. Coeficiente de fiabilidad del test. Sol. 0,75. c. Error típico de medida. Sol. 2. 24. En la tabla adjunta se presentan las puntuaciones obtenidas por 10 sujetos en dos formas paralelas de un test de 5 ítems, X y X’. Sujetos 1 2 3 4 5 6 7 8 9 10

Forma X 5 4 4 4 2 3 5 2 1 1

Forma X’ 5 5 5 4 3 4 4 2 0 1

Calcular: a. Coeficiente de fiabilidad del test como correlación entre formas paralelas, Sol. 0,8954. b. Coeficiente de fiabilidad mediante ANOVA. Sol. 0,8896. 25. Un psicólogo está analizando las propiedades psicométricas de un test de Rapidez Perceptiva cuyos ítems están formados por tres caras de las cuales una es diferente de las otras dos y la tarea del sujeto es encontrar la diferente. La puntuación total es el número de caras correctamente identificadas. Responda a las siguientes preguntas: a. ¿Qué procedimientos de cálculo del coeficiente de fiabilidad serían adecuados para este test? Sol. Test-retest. b. Sería adecuado calcular un coeficiente de consistencia interna? ¿Por qué? Sol. No. 26. En un test de matemáticas se obtuvo una media de 40 y una desviación típica de 10. Se sabe que la desviación típica de los errores representa el 20% de la desviación típica de las puntuaciones verdaderas. Calcular: a. Coeficiente de fiabilidad. Sol. 0,96. b. Índice de fiabilidad. Sol. 0,98. 27. En una muestra de 500 sujetos de educación primaria se aplicó un test de “Competencia Lectora” alcanzándose una media de 14 y una desviación típica de 5. La varianza de los errores representa el 15% de la varianza de las puntuaciones verdaderas. Calcular: a. Error típico de medida del test. Sol. 1,80. b. La desviación típica de las puntuaciones verdaderas. Sol. 4,66. c. Coeficiente de fiabilidad del test. Sol. 0,87.

5

d. Coeficiente de fiabilidad del test que se obtendría si se calculase en una muestra en la que la varianza de las puntuaciones observadas fuese 49. Sol. 0,93. 28. Una psicóloga social aplicó una escala de conservadurismo a una muestra de 500 estudiantes universitarios. La escala está formada por 30 ítems y en este grupo la media fue 10 y la desviación típica 2. La varianza de los errores representó el 30% de la varianza de las puntuaciones verdaderas. Calcular: a. El coeficiente de fiabilidad de la escala en este grupo. Sol. 0,77. b. Coeficiente de fiabilidad en una muestra de la población general de la que se conoce que la desviación típica vale 10. Sol. 0,99. c. Media y varianzas observada, verdadera y error si se añadiesen 15 elementos paralelos a los que ya tiene la escala. Sol. 15; 8,31; 6,93; 1,38. d. Coeficiente de fiabilidad bajo el supuesto (c). Sol. 0,83. 29. Sean X e Y dos formas paralelas de un test y sean V y W dos nuevos tests tales que: V  X Y W  X Y sv2  400 sw2  30

Calcular: a. b. c. d.

Covarianza entre X e Y. Sol. 92,5. Varianzas de X e Y. Sol. 107,5 en las dos formas. Coeficientes de fiabilidad de X e Y. Sol. 0,86 en las dos formas. Coeficiente de fiabilidad de V. Sol. 0,9247

30. La desviación típica de las puntuaciones observadas de un test es 45,3 y la desviación típica de las diferencias entre las puntuaciones de la parte par y la impar es 12,1. ¿Cuánto vale el coeficiente de fiabilidad del test bajo el supuesto de que las mitades par e impar son paralelas? Sol. 0,9286. 31. Utilice la tabla adjunta para responder a las preguntas que se formulan a continuación. Test A B C D

Nº de ítems 50 100 80 200

Media 100 211,6 57,4 127,4

Desv. típica 15 25,7 11,3 21,9

Coef. Fiabilidad 0,91 0,84 0,78 0,76

a. Calcular la desviación típica de las puntuaciones verdaderas, la correlación entre puntuaciones observadas y errores, índice de fiabilidad y error típico de medida para cada uno de los tests.

6

Solución: Test

Desv.Típica Verdaderas

A B C D

14,31 23,55 9,98 19,09

Correlación P.observadasError 0,30 0,40 0,47 0,49

Índice de fiabilidad

Error típico de medida

0,95 0,92 0,88 0,87

4,50 10,28 5,30 10,73

b. Asumiendo una distribución normal de los errores construya los intervalos de confianza (1-α = 0,96) para las puntuaciones verdaderas de cada uno de los siguientes sujetos (Utilice la aproximación de Kelley): -

Un sujeto con una puntuación de 115 en el test A. [ 104,86122,44] Un sujeto con una puntuación de 211 en el test B. [191,79230,41] Un sujeto con una puntuación de 31 en el test C. [27,22-46,40] Un sujeto con una puntuación de 100 en el test D. [87,41125,75]

32. Un test X está formado por tres subtests, X1, X2 y X3. A continuación se presenta la matriz de varianzas y covarianzas de los tres subtests. X1 X2 X3 X1 8,0 6,0 8,0 X2 6,0 12,0 12,0 X3 8,0 12,0 17,0 Estimar el valor del coeficiente alpha utilizando los datos de la matriz. Sol. 0,88 33. Conocemos los siguientes datos de dos test X e Y:

 x2  16,  Y2  16,  xx '   yy '  0,80,  xy  0,70 Calcular: a. Varianzas observada y verdadera de las diferencias X-Y. Sol. 9,6; 3,2 b. Fiabilidad de las diferencias X-Y. Sol. 0,33 34. Se dispone de dos tests X e Y cuyos coeficientes de fiabilidad son  xx ' = 0,80 y  yy ' = 0,60. Las varianzas de las puntuaciones observadas de los dos tests son iguales y valen 25. La correlación entre las puntuaciones de los dos tests es 0. Calcular el coeficiente de fiabilidad del test compuesto T= X + Y. Sol. 0,70.

7

35. Sean los siguientes test cuyos principales datos se presentan en la tabla adjunta. Test A B C D E

Media 73,2 17,3 21,3 29,3 56,5

Desv.Típica 12,7 3,8 7,1 7,9 13,7

Nº ítems 120 25 50 75 100

Coef. Fiab. 0,92 0,86 0,80 0,84 0,89

Nº sujetos 300 250 430 150 200

Calcular: a. Varianza observada de las puntuaciones del test A si su longitud se aumentase hasta 240 ítems. Sol. 619,35. b. Varianza de las puntuaciones verdaderas del test B si se le añadiesen 75 ítems a los que ya tiene. Sol. 198,69. c. Error típico de medida del test C si tuviese 150 ítems. Sol. 5,49. d. ¿Cuántos ítems deberían añadirse al test D para duplicar su varianza observada? Sol. 31. e. ¿Cuántos ítems debería tener el test E para duplicar su error típico de medida? Sol. 400. f. Si deseamos aumentar hasta 7,6 la desviación típica observada del test B, ¿cuántos ítems sería necesario añadir al test? Sol. 27. g. Coeficiente de fiabilidad del test A en otra muestra de sujetos en la que la varianza de las puntuaciones observadas sea 1/3 de la varianza mostrada en la tabla. Sol. 0,76. 36. Un equipo llevó a cabo una investigación sobre el cambio del prejuicio hacia un grupo étnico después de la aplicación de un programa. El programa consistía en ver una película. Se administró una a los sujetos una escala de prejuicio antes y después de ver la película. Utilice los estadísticos de la tabla adjunta para responder a las preguntas que se le formulan a continuación. Las puntuaciones de la escala representan actitud favorable hacia el grupo étnico. Media Desviación típica Actitud-Pretest 17,1 3,4 Actitud-Posttest 22,0 5,1 Correlación entre puntuaciones pre y posttest = 0,47

Coef. Fiabilidad 0,75 0,70

a. ¿Cuál es la varianza de las puntuaciones del cambio: Xpost – Xpre? Sol. 21,27. b. ¿Cuánto vale el coeficiente de fiabilidad de las puntuaciones cambio Xpost – Xpre? Sol. 0,48.

8

37. En la tabla se presentan las respuestas de 20 sujetos a un ítem dicotómico y las puntuaciones de los mismos sujetos a la escala total corregida (de la que se han eliminado en el caso de cada ítem la puntuación del ítem). Sujetos

Punt. ítem

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

1 1 1 0 1 1 1 0 1 1 0 0 0 1 0 0 0 0 1 0

Punt. Total corregida 9 8 7 5 6 4 7 2 5 8 3 2 4 5 1 3 2 4 9 2

a. Calcular la correlación biserial puntual Sol. 0,79 b. Calcular la correlación biserial. La proporción de aciertos al ítem es 0,50. El valor de z de la distribución normal (0,1) por encima del que se encuentran el 50% de los casos es z=0,00 y la ordenada y de la curva en ese punto es 0,3989. Sol. 0,99 38. Un ítem de un dicotómico de un test fue contestado por 150 sujetos. Se conocen los siguientes datos del grupo: 150

X i 1

i

 3000

150

X

2

i

 98400

i 1

Donde Xi representan las puntuaciones totales del test. El ítem fue acertado por 75 sujetos del grupo total. La media de las puntuaciones en el test de los sujetos que acertaron el ítem fue 25. Calcular el índice de discriminación del ítem. Sol. 0,3125.

9

II.

TEORÍA DE LA GENERALIZABILIDAD

1. A continuación se presenta la descripción de una serie de estudios D y a partir de ellos debe realizar las siguientes tareas: a. Identificar las facetas del estudio b. Establecer qué facetas, si las hay, que están fijadas en el universo de generalización. c. Escribir las fórmulas para las varianzas de las puntuaciones observadas y del universo. d. Asumiendo que se dispusiese d datos del estudio G con el mismo diseño utilizado en D, ¿cómo estimaría los componentes de la varianza requeridos? Los estudios son los siguientes: 1) Un examen final de 50 ítems administrado a todos los alumnos de una clase. Sol. Ítems. 2) Una forma reducida del test TAT formada por 10 láminas se administró a 50 adolescentes diagnosticados con conducta antisocial. Las 10 historias elaboradas por cada uno de los sujetos fueron grabadas en cinta y tres psicólogas las evaluaron en cuanto al grado de rechazo a la autoridad y a las normas. La puntuación final asignada a cada sujeto fue el promedio en dicha variable obtenido de las 10 historias. Sol. Láminas y psicólogos. 3) En un estudio sobre escritura cada uno de los sujetos participantes escribió 8 ensayos sobre dos temas en cada uno de los siguientes modos: descriptivo, narrativo, expositivo y argumentativo. Todos los sujetos escribieron sobre los mismos temas. Los resultados fueron puntuados en una medida T de complejidad sintáctica que fue elaborada por un calificador único que puntuó todos los ensayos de los sujetos. La puntuación final en T de cada sujeto es el promedio de los 8 ensayos. Sol. Temas y modos. 2. Un grupo de investigadoras estudió mediante observación la interacción familiar en las visitas a museos. Dos observadoras evaluaron la conducta de 15 familias aleatoriamente seleccionadas ante tres cuadros. La variable analizada fue el tiempo que los padres permanecían ante el cuadro sin interaccionar con los niños. En la tabla adjunta se presentan los resultados del ANOVA. Fuente de variación Familias (p) Observadoras (i) Cuadros (j) p*i P*j i*j Pij,e (residual)

Suma Cuadrados 2346,955 3,211 1231,622 18,288 2372,377 2,688 35,311

Grados de libertad 14 1 2 14 28 2 28

Media Cuadrática 167,639 3,211 615,811 1,306 84,726 1,344 1,261

A partir de los resultados de la tabla, conteste a las siguientes preguntas:

10

a. Se pretende realizar un estudio en que las familias serán evaluadas por un observador único con un solo cuadro. Calcular el coeficiente de generalizabilidad apropiado, considerando observadores y cuadros como factores aleatorios. Sol. 0,392 b. Si las investigadoras dispusiesen de recursos para ampliar el estudio, ¿qué sería más importante aumentar, el número de observadores o el número de cuadros? Sol. El número de cuadros. 3. En un experimento sobre “Teoría de la Atribución”, 89 sujetos fueron informados sobre características de una persona ficticia y más tarde se les aplicó un cuestionario formado por 15 ítems para evaluar el recuerdo que mostraban sobre dicha persona. En la tabla adjunta se presentan los resultados del ANOVA. Fuente de Suma de Grados de Media F variación cuadrados libertad Cuadrática Personas (p) 47,491 88,000 0,540 3,150 Ítems (i) 65,263 144,662 27,220 pi,e 211,004 1232,000 0,171 a. Calcular los componentes de la varianza relevantes y el porcentaje de la varianza total que corresponde a cada uno. Sol. Personas: 0,025 (10%); Ítems: 0,050 (20%) ; pi,e: 0,171 (70%). b. Interpretar los componentes de la varianza estimados. Sol. El componente de las personas es muy bajo; el de los ítems es bastante alto y el residual muy elevado. c. A partir de los resultados anteriores, ¿cómo optimizaría el estudio? Sol. Aumentar considerablemente el número de ítems. 4. En la aplicación de un test de 10 ítems a 20 sujetos se encontraron los resultados que se muestran en la tabla.

Personas 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

1 1 1 0 1 1 1 1 0 1 1 1 1 1 0 1 1 1 1 1 1

2 1 0 0 1 1 1 0 0 1 1 1 1 1 1 0 0 1 1 1 1

3 0 1 0 0 1 0 1 0 1 1 1 1 1 1 1 0 0 1 1 1

4 1 0 1 1 1 0 0 0 1 1 1 0 1 1 1 1 1 1 1 1

Ítems 5 6 1 0 1 1 1 1 0 0 0 1 0 0 1 0 1 1 1 0 1 1 1 0 0 1 1 0 0 0 1 1 0 1 1 0 1 1 1 1 1 1

7 0 0 0 0 0 0 0 0 1 1 0 1 1 1 1 1 1 0 1 1

8 1 0 1 0 0 1 0 0 1 1 1 1 1 0 1 0 1 1 1 1

9 1 0 0 0 0 0 1 0 1 0 0 1 0 1 1 1 1 1 0 0

10 0 0 1 1 0 1 1 0 0 0 1 1 0 1 0 0 0 1 1 1 11

Calcular: a. b. c. d.

Varianzas de los ítems y de las puntuaciones totales Medias cuadráticas de ítems, personas e interacción Los componentes de la varianza de personas e ítems Coeficiente de generalizabilidad, suponiendo que se ha realizado el estudio D con 10 ítems. Puede utilizarse software estadístico para los cálculos. Soluciones: a. Las varianzas de los ítems son 0,1342; 0,2211; 0,2395; 0,1974; 0,2211; 0,2605; 0,2632; 0,2395; 0,2605 y 0,2632. La varianza de las puntuaciones totales es 4,011. b. Medias cuadráticas: Personas: 0,4011; Ítems: 0,3244; Residual: 0,2110. c. Componentes de la varianza: personas: 0,019; Ítems: 0,006; d. Coeficiente de generalizabilidad (relativo): 0,0475. Se aplicó un test de 15 ítems de respuesta abierta a 500 sujetos. Las respuestas fueron valoradas por cuatro jueces en un diseño completamente cruzado. Los resultados del ANOVA se presentan en la tabla adjunta. Fuente de Variación Personas (p) Ítems (i) Jueces (j) p*i p*j i*j pij,e (residual)

Media Cuadrática 17,30 1051,65 420,80 6,65 0,80 45,65 0,65

Calcular los componentes de la varianza y los coeficientes de generalizabilidad para un estudio D con 15 ítems y 4 jueces. Solución: Los componentes de la varianza son: interacción ítems x jueces: 0,090; Interacción personas x jueces: 0,010; Interacción personas x ítems: 1,500; Jueces: 0,05; Ítems: 0,50 y personas: 0,175. El coeficiente de generalizabilidad para 15 ítems y 4 jueces es 0,61. 6. Para los datos del ejercicio anterior calcular el coeficiente de generalizabilidad para decisiones relativas suponiendo que el estudio se llevase a cabo con 30 ítems y 4 jueces. Sol. 0,75. 7. Se llevó a cabo un estudio G sobre el rendimiento en tareas de auxiliar administrativo. Un grupo de personas que realizan estas tareas fue evaluado por dos observadores en 11 tareas diferentes mediante un diseño completamente cruzado p * o * t. Los componentes de la varianza estimados fueron los que se presentan a continuación (aunque son estimadores, se ha prescindido del ^).

12

 p2  0,00626; o2  0,00000; t2  0,00970; 2  po  0,00000; pt2  0,02584; ot2  0,00003; 2  pot ,e  0,00146

a. Qué implicaciones tienen los anteriores resultados para el diseño de un estudio D? Sol. Los observadores no introducen variación, pero sí lo hacen las tareas y su interacción con las personas, por lo que debería utilizarse un número amplio. b. Calcular componentes de la varianza, varianzas de los errores y coeficientes de generalizabilidad para decisiones absolutas y relativas para un supuesto estudio D con 1 observador y 11 tareas. Sol. 0,62 y 0,75. 8. Una gran empresa a llevó a cabo un estudio G sobre los requisitos de razonamiento de 27 ocupaciones o puestos de trabajo. Las evaluaciones fueron realizadas por 71 expertos en análisis de puestos de trabajo a los que se les proporcionaron descripciones escritas de los 27 puestos en dos ocasiones diferentes. El objeto de medida en este estudio son las ocupaciones o puestos. El diseño G fue totalmente cruzado con todas las facetas aleatorias. En la tabla se presentan los resultados del ANOVA. Fuente de variación Puestos (p) Ocasiones (o) Calificador (c) p*o p*c o*c poc,e

Suma de cuadrados 2817,100 0,730 256,900 4,940 782,600 51,100 345,800

Grados de libertad 26 1 70 26 1820 70 1820

Media cuadrática 108,350 0,730 3,670 0,190 0,430 0,730 0,190

σ2 0,760 0,000 0,050 0,000 0,120 0,020 0,190

a. Interprete los resultados del estudio G. Sol. La variación más importante es la introducida por los calificadores y a sus interacciones con los puestos. La variación debida a las ocasiones es insignificante, por lo que en D sería suficiente con evaluar en una ocasión, con varios calificadores. b. En un posterior estudio D será necesario evaluar los requisitos de razonamiento de un número muy elevado de puestos. Describa las ventajas prácticas de utilizar un diseño D anidado con c:p. Sol. Un estudio completamente cruzado sería excesivamente costoso por la gran cantidad de datos que requeriría. c. Estimar los componentes de la varianza del diseño (c:p) * o. Sol. Puestos: 0,759; Ocasiones: 0,000; p *o: 0,000; c,pc: 0,170; oc,poc,e: 0,210.

13

III.

TEORÍA DE LA RESPUESTA AL ÍTEM

1. Para un sujeto s las probabilidades de respuesta correcta a dos ítems son 0,7 y 0,8. Calcular las probabilidades de todos los patrones de respuesta posibles para este sujeto. Sol. 2. Dos ítems de un test son localmente independientes. Un sujeto tiene una probabilidad de 0,50 de responder correctamente al primer ítem y de 0,3 de responder correctamente al segundo. a. ¿Cuál es la probabilidad de que el sujeto acierte los dos ítems? Sol. 0,15. b. ¿Cuál es la probabilidad de que el sujeto acierte el segundo ítem, teniendo en cuenta que ha acertado el primero? Sol. 0,30. 3. Un test satisface los requisitos de independencia local de los examinados. Dos sujetos tienen el mismo nivel de aptitud y una probabilidad de 0,10 de acertar un ítem. a. ¿Cuál es la probabilidad de que los dos sujetos acierten el ítem? Sol. 0,01. 4. Dos ítems dicotómicos de un test siguen un modelo logístico de 2 parámetros. Los valores de los parámetros son los siguientes: a1  1, b1  0,50 a2  0,50, b2  0,00 a. ¿En qué valor de θ alcanza la función de información el valor máximo para cada uno de los ítems? Sol. En 0,50. b. ¿Cuáles son los valores máximos de las correspondientes funciones de información? Sol. 0,72 y 0,18. 5. La TRI permite bajo ciertos supuestos obtener estimadores de los parámetros de los ítems ai y bi a partir de estadísticos de los ítems de la TCT. Supongamos que la aptitud θ sigue una distribución normal (0,1) y que conocemos los valores del índice de dificultad pi de la TCT y de la correlación biserial, ρi que estima el índice de discriminación. Estos valores se presentan en la tabla adjunta para tres ítems de un test.

Item 1 2 3

ρbis 0,80 0,50 0,40

pi 0,70 0,70 0,70

Estimar los parámetros a y b mediante dichos procedimientos, para cada uno de los ítems. Sol. Ítem 1: 1,33 y -0,66; Ítem 2: 0,58 y -1,05; Ítem 3: 0,44 y -1,31

14

6. En la tabla se presentan los parámetros de 4 ítems dicotómicos de un test que siguen un modelo de tres parámetros. Ítem 1 2 3 4

a 1,8 0,7 1,2 0,5

b 1,0 1,0 -0,5 0,0

C 0,00 0,00 0,20 0,10

a. Para cada uno de los ítems anteriores calcula la probabilidad de acertar el ítem en los siguientes niveles de aptitud, θ: -3, -2, -1, 0, 1, 2, 3 y represente gráficamente las CCI. Sol. Las probabilidades de acierto son: b. ¿cuál de los ítems es el más fácil? Sol. Ítem 3 c. ¿Cuál de los ítems es el que menos discrimina? Sol. Ítem 4 d. ¿En qué ítem tendrá mayor probabilidad de responder correctamente un sujeto con θ=0? 7. Disponemos de dos ítems que siguen un modelo logístico de 2 parámetros, con los siguientes valores de los parámetros de dificultad y discriminación:

Ítem1: a1  1, b1  0 Ítem 2 : a2  1, b2  1,5 a. Para los niveles de aptitud θ = 0, 0,05 y 2, calcule las probabilidades de acierto de cada uno de los ítems b. Para los mismos niveles de aptitud de (a) obtenga la información de cada uno de los dos ítems. Soluciones: a. En θ = 0, Ítem 1: 0,500; Ítem 2 = 0,072; En θ = 0, 05: Ítem 1: 0,701; Ítem 2 = 0,154; En θ = 2, Ítem 1: 0,968; Ítem 2 = 0,701; b. Información de los ítems. En θ = 0, Ítem 1: 0,722; Ítem 2 = 0,194; En θ = 0,5 Ítem 1: 0,606; Ítem 2 = 0,378; En θ = 2, Ítem 1: 0,090; Ítem 2 = 0,606;

8. En la tabla siguiente se presentan los valores de los parámetros de 4 ítems dicotómicos.

Ítem 1 2 3 4

a 1,8 1,5 1,25 1,0

b 1,0 0,0 1,0 1,5

En los cálculos en los que sea necesario, utilice los niveles de θ: -2, -1, 0, 1 y 2.

15

a. Obtenga los valores para las funciones de información de los tests formados por los ítems 1, 2 y 3 y los ítems 2, 3 y 4. Solución: θ Test(1,2,3) Test (2,3,4) -2 0,219 0,054 -1 1,361 0,540 0 2,918 2,250 1 1,738 2,172 2 0,492 1,076 b. ¿Cuál de los dos test anteriores será más adecuado para administrar a sujetos con θ≥1 ?. Justifique la respuesta. Sol. El formado por los ítems 2,3 y 4 9. En la tabla adjunta se presentan los valores de la información de seis ítems en diferentes niveles de aptitud. Ítems θ -3 -2 -1 0 1 2 3

1 0,02 0,06 0.10 0,20 0,15 0,08 0,04

2 0,00 0,00 0.05 0,10 1,10 0,25 0,10

3 0,00 0,03 0,10 0,25 0,50 0,40 0,15

4 0,15 1,25 1,45 0,10 0,02 0,00 0,00

5 0,00 0,10 0,60 0,70 0,20 0,05 0,00

6 0,00 0,00 0,02 0,40 2,20 0,40 0,15

a. Se construye un test con los ítems 2, 3 y 6. Calcule la información proporcionada por el test y el error típico de estimación para θ = 1. Sol. 3,8 y 0,51. b. Se construyen dos tests el primero formado por los ítems 1, 2 y 3 y el segundo por los ítems 4, 5 y 6. Construya la función eficiencia relativa de los dos tests e interprete los resultados. Solución: θ -3 -2 -1 0 1 2 3

I1(θ) 0,02 0,09 0,25 0,55 1,75 0,73 0,29

I2(θ) 0,15 1,35 2,07 1,20 2,42 0,45 0,15

ER (1 /2) 0,13 0,07 0,12 0,46 0,72 1,62 1,93

16

IV.

EVIDENCIAS DE VALIDEZ DE LAS PUNTUACIONES DE TEST

1. Utilizando la recta de regresión que permite pronosticar la puntuación de un sujeto en el criterio conocida su puntuación en el test y sabiendo que el coeficiente de determinación es 0,85, ¿cuánto vale el coeficiente de validez del test? Sol. 0,92

2. A continuación se presenta la parte triangular inferior de una matriz de correlaciones Multi-Rasgo/Multi-método. Se evaluaron 4 formas de autoconcepto mediante dos métodos diferentes: Escala de Autoconcepto de Gordon (método A) y Escala de Autoconcepto de Piers-Harris (Método B). De cada una de las escalas se seleccionaron 4 rasgos o modalidades del autoconcepto: Físico, Social, interpersonal y académico.

A 1. Físico 2. Social 3. Interpersonal 4. Académico B 1. Físico 2. Social 3. Interpersonal 4. Académico

Método A 2 3

1 0,70 0,64 0,97 0,60

4

0,64 0,75 0,88

0,73 0,92

0,66

0,78 0,59 0,53 0,59

0,66 0,59 0,57 0,81

0,63 0,62 0,55 0,68

0,50 0,42 0,52 0,80

1

0,80 0,87 0,72 0,90

Método B 2 3

0,79 0,70 0,86

0,73 0,75

4

0,80

a. Estimaciones de la fiabilidad de las cuatro subescalas de cada instrumento. Solución. Método a: 0,70; 0,64; 0,73; 0,66. Método B: 0,80; 0,79; 0,73; 0,80. b. Coeficientes de validez convergente para cada uno de los cuatro rasgos. Sol. 0,78; 0,59; 0,55; 0,80. c. Examine los coeficientes de correlación de los triángulos heterorasgo/mono-método y comente los resultados correspondientes a los rasgos físico y académico. d. 3. Las puntuaciones de un test y las de un criterio muestran una correlación de 0,50, teniendo cada uno de ellos un coeficiente de fiabilidad de 0,50. ¿Cuánto vale la correlación entre las puntuaciones verdaderas de X e Y? Sol. 1. 4.Para un conjunto de pares de valores de un test y un criterio (X, Y) se sabe que la la Suma de Cuadrados Total de Y es 40 y el coeficiente de correlación de Pearson entre X e Y es 0,60. Responda a las siguientes preguntas: a. Valor de SCReg. Sol. 14,40 b. Valor de SCRes. Sol. 25,60 c. Proporción de la varianza de Y asociada a X. Sol. 0,36

17

5.A continuación se presentan la “matriz de componentes no rotada” resultante de la aplicación del análisis de componentes principales realizado sobre la matriz de correlaciones de subtests del WAIS con una muestra de N = 1000 sujetos y con una retención de 4 componentes (que no explican el 100% de la varianza total)

Subtests del WAIS Información Comprensión Aritmética Semejanzas Memoria de digitos Vocabulario Códigos Completar dibujos Cubos Ordenar dibujos Ensamblaje

1 0,83 0,75 0,72 0,78 0,62 0,83 0,72 0,78 0,72 0,72 0,65

Componentes 2 3 0,33 -0,04 0,31 0,07 0,25 -0,08 0,14 0,00 0,00 -0,38 0,38 -0,03 -0,36 -0,26 -0,10 -0,25 -0,26 0,36 -0,23 0,04 -0,30 0,47

4 -0,10 -0,17 0,35 -0,21 0,58 -0,16 -0,08 -0,01 0,18 -0,05 0,13

a. Calcule la varianza explicada por cada uno de los cuatro componentes. Sol. 6,01; 0,78; 0,64; 0,62. b. Represente el “scree test” con los cuatro componentes retenidos c. Porcentaje de la varianza total que explica cada uno de los componentes. Sol. 60,82%; 7,1%; 5,82%; 5,64% d. ¿Se ajusta la tabla a una estructura simple de fácil interpretación? Sol. No. Es la matriz no rotada procedente de la fase de extracción. 6. Se dispone de una escala de Conducta Antisocial (X) que se ha validado con el criterio Número de delitos cometidos (Y) en una población reclusa, encontrando una correlación de 0,49 entre las dos medidas. Las desviaciones típicas de X e Y son respectivamente 4,6 y 3,8. Calcular: a. El coeficiente de validez del test en un grupo menos seleccionado en el que la desviación típica de Y es 7,2. Sol. 0,73 b. La desviación típica de este mismo grupo en el test X. Sol. 5,83. 7. Se dispone de un test general (X) formado por 75 elementos y que se considera un buen predictor de las evaluaciones del rendimiento de un cierto tipo de puestos de trabajo. Un grupo de 150 sujetos cumplimentaron el test y una medida del criterio de trabajo (Y). La media de este grupo en el test X fue de 55 puntos y la varianza 16. Se sabe que el coeficiente de fiabilidad es 0,95. En la medida del criterio la media fue de 14 puntos con una desviación típica de 6, siendo de 0,80 el coeficiente de fiabilidad. En este grupo se obtuvo una correlación entre las puntuaciones del test y las del criterio rxy=0,75. Calcular: a. ¿Cuál sería el coeficiente de validez del test si el criterio no tuviese errores de medida? Sol. 0,84 b. ¿Cuál sería el coeficiente de determinación del test si las puntuaciones del test y del criterio estuviesen medidas sin error? Sol. 0,74

18

c. ¿Cuál sería el coeficiente de validez si se añadiesen al test 60 elementos paralelos a los 75 iniciales? Sol. 0,76 d. Porcentaje no explicado de la varianza del criterio si se incrementase el coeficiente de fiabilidad del test hasta 0,99 y el del criterio hasta 0,95. Sol. 26% 8. Se dispone de un test de 60 elementos para el diagnóstico rápido de la depresión. En este test, un grupo de 80 sujetos obtuvo una puntuación media de 40 y una desviación típica de 4, siendo el coeficiente de fiabilidad del test de 0,95. Estos mismos sujetos fueron evaluados por un equipo de expertos mediante entrevista clínica (criterio) obteniendo una calificación media de 20 y una varianza de 4, siendo el coeficiente de fiabilidad del criterio de 0,72. Se encontró una correlación de 0,60 entre las puntuaciones del test y las del criterio. Calcular: a. Coeficiente de validez corregida la atenuación de los errores. Sol. 0,7443 b. Coeficiente de validez del test si se le añadiesen 30 elementos paralelos a los 60 iniciales. Sol. 0,61 c. Coeficientes de determinación, de alienación y de valor predictivo si se eliminasen los errores de medida del test y del criterio. Sol. 0,5540; 0, 6678; 0,3322. d. ¿Entre qué limites se encontrará la puntuación en el criterio para un sujeto que obtuvo en el test una puntuación típica de 1,3? Sol. [17,2125,91] 9. Hay 500 aspirantes a un puesto de trabajo, siendo la tasa de base del 60% y el coeficiente de validez del test de selección de 0,50. Se seleccionan 100 sujetos. ¿Cuántos aspirantes potencialmente “buenos” fueron rechazados? Sol. 259 10. Carmines y Zeller (1979) presentan los resultados de un análisis de componentes principales de la escala de Autoestima (Rosenberg, 1965), seguido de una rotación Varimax. El análisis fue realizado sobre los datos de una muestra de N=340 sujetos, tras la recodificación de los ítems con formulación negativa.

Ítems 1. Creo que tengo buenas cualidades 2. Me gustaría tener más respeto por mí mismo/a 3. Siento que soy una persona valiosa 4. No tengo motivos para enorgullecerme 5. Tengo una actitud positiva hacia mí mismo/a 6. Con frecuencia me siento inútil 7. Me inclino a pensar que soy un fracaso 8. Hago las cosas tan bien como la mayoría de la gente 9. Con frecuencia pienso que no soy bueno/a 10. En general, estoy satisfecho/a conmigo mismo/a

Componentes 1 2 0,50 0,34 0,10 0,36 0,63 0,19 0,36 0,48 0,61 0,33 0,16 0,65 0,37 0,66 0,66 0,11 0,20 0,71 0,48 0,20

a. Interprete los resultados. b. Calcule la proporción de varianza explicada por los dos factores. Sol. 40,8%

19

11. En una comunidad se pretende utilizar los resultados de un test de inteligencia para la selección de sujetos aspirantes a participar en un programa de mejora de la inteligencia dirigido a sujetos con ciertas deficiencias. En la tabla se presentan en proporciones los resultados encontrados con un grupo de 200 sujetos en un estudio de validación del test.

Sujeto admitido

Sujeto con necesidad Sí No 0,15 0,05 0,05 0,75 0,20 0,80

Sí No Total

Total 0,20 0,80 1,00

Calcular:

a. Sensibilidad. Sol. 0,75 b. Especificidad. Sol. 0,0667

12. Una estudiante de Psicología encuentra en el manual de un inventario de personalidad que el coeficiente de fiabilidad de las puntuaciones es 0,76 y que un coeficiente de validez calculado como la correlación entre las puntuaciones de este cuestionario con las de otro que evalúa el mismo constructo es 0,78. Sospecha que hay un error ya que ha oído que la correlación de las puntuaciones de un test con otra variable no puede alcanzar un valor mayor que su fiabilidad. ¿Es esto cierto? Sol. No. El límite es el índice de fiabilidad. 13. A continuación se presentan datos referidos a dos tests (A y B) y un criterio (Y) que debe utilizar para responder a las preguntas que se plantean a continuación. Variable

Media

D.Típica

Nº ítems

A B Y

19,3 10,2 117,8

4,1 4,2 20,1

30 20 200

Coef. Fiabilidad 0,74 0,87 0,90

Correlación con criterio Y 0,69 0,70

a. Se ha realizado una selección de personal por medio del test A y que los datos de la tabla se obtuvieron a partir de los sujetos del grupo seleccionado. ¿Cuánto valdría el coeficiente de validez del test para el criterio Y en un grupo no seleccionado en el que la desviación típica de las puntuaciones del test vale 6,7?. Sol. 0,8415. b. Se ha seleccionado un grupo de sujetos con puntuaciones en el test B superiores al percentil 75, siendo la desviación típica de las puntuaciones en el test para este grupo de 3,2. ¿Cuánto valdría el coeficiente de validez en este grupo restringido de altas puntuaciones? Sol. 0,5983. 14. En una empresa se aplica un test X para la selección de personal. La empresa está estudiando un nuevo test Z para sustituir a X y lo aplicó a un grupo de sujetos que previamente habían sido seleccionados mediante X. Estos sujetos también fueron evaluados en un criterio Y. En este grupo seleccionado se obtuvieron los siguientes estadísticos: 20

sx  3, sz  7, s y  5 rxz  0,80, rxy  0,35, rzy  0,55 En otra empresa del mismo grupo en la que no se emplea ningún procedimiento selectivo para el mismo puesto, se sabe que la desviación típica de los sujetos en un criterio Y idéntico al anterior es 6. Se desea conocer el funcionamiento de los dos tests en un grupo no seleccionado, como esta segunda empresa, a. ¿Cuáles serán las correlaciones de los dos tests X y Z con el criterio en esta segunda empresa. Sol. Rxy = 0,625; Rzy = 0,71 b. ¿Qué varianzas tendrían los tests en esta empresa? Sol. Sx = 6,43; Sz=0,71 c. Proporción de varianza del criterio en esta segunda empresa explicada por cada uno de los tests. Sol. 0,39 y 0,51

15. Se utilizaron dos escalas psicológicas diferentes A y B para la evaluación de tres rasgos en adolescentes: Autoestima, liderazgo y sociabilidad. A partir de las puntuaciones recogidas en una muestra de 700 sujetos se construyó la siguiente matriz multimétodo-multirrasgo.

E. A E. B Autoestima Sociabilidad Liderazgo Autoestima. Sociabilidad Liderazgo Autoestima. 0,71

E. A Sociabilidad Liderazgo

0,40 0,20

0,65 0,32

0,75

Autoestima. E. Sociabilidad B. Liderazgo

0,80 0,30 0,32

0,20 0,79 0,20

0,41 0,30 0,70

0,84 0,30 0,23

0,85 0,40

0,79

a. ¿Cuál es el rasgo con menor validez convergente? Sol. Liderazgo b. Coeficiente de fiabilidad de la Autoestima en la escala B. Sol. 0,84 c. ¿Hay evidencias de validez convergente para todos los rasgos? Sí V.

Funcionamiento diferencial de los ítems e interpretación de las puntuaciones. 1. En la tabla se presentan cuatro intervalos de puntuaciones y el número de examinados de cada uno de dos grupos que responden al ítem (n1i y n2i) y el número de sujetos que responden correctamente en cada grupo (a1i y a2i). Con los datos de la tabla calcule los estadísticos de DIF de camilla y de MantelHaenszel. Intervalo 1 2 3 4

a1j 16 31 41 40

n1j 56 47 53 43

a2j 36 48 44 33

n2j 100 72 62 35

Sol. Ninguno de los procedimientos pone en evidencia DIF. 21

2. Un test de 25 ítems fue administrado a 199 varones y 269 mujeres. En la tabla se presenta la distribución de frecuencias de varones (grupo 1) y mujeres (grupo 2) y el número de casos de ambos grupos que acertaron un ítem particular en cada puntuación. Varones Intervalo 5 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

a1j 1 0 1 0 2 2 4 3 2 7 7 15 12 12 14 15 8 6

Mujeres n1j 1 0 2 2 4 4 4 4 5 11 19 25 22 27 26 24 13 6

a2j 0 1 1 2 4 2 2 6 9 14 15 15 19 18 19 12 13 1

n2j 0 1 2 2 7 5 7 7 18 28 23 35 34 34 38 19 15 1

¿Existen evidencias de funcionamiento diferencial del ítem? Póngalo a prueba con los procedimientos de Mantel-Haenszel y la regresión logística. Sol. Ninguno de los procedimientos muestra evidencias de DIF. 3. En la tabla se presentan los estimadores de los parámetros de dificultad de varios ítems y sus correspondientes errores típicos en un grupo de varones y otro de mujeres, calculados según el modelo de TRI de un parámetro. Las dificultades están en escala estandarizada con media 0 Varones

Mujeres

Ítem b ET(b) b ET(b) 1 -2,531 0,369 -2,071 0,252 2 0,758 0,154 0,511 0,130 3 -1,290 0,235 -1,466 0,202 4 1,469 0,156 1,218 0,131 5 0,238 0,162 0,142 0,135 Utilizando el nivel de confianza de 0,95, ¿hay evidencias de funcionamiento diferencial de algunos de los ítems?. Sol. No

22

4. Un grupo de sujetos obtuvo en un test la siguiente distribución de puntuaciones. X 20-22 17-19 14-16 11-13 8-10 5-7 2-4

fi 30 20 20 60 40 20 10

a. Calcular la puntuación correspondiente al percentil 60. Sol. 13 b. Calcular para dicha puntuación la puntuación típica normalizada. Sol. 0,25 c. Calcular la puntuación normalizada derivada T. Sol. 52,5 d. El eneatipo correspondiente. Sol. 5 5. Se aplicó un test de razonamiento abstracto a un grupo de sujetos. La distribución de las puntuaciones para este grupo puede considerarse normal. Dos sujetos obtuvieron en el test unas puntuaciones tales que el primero se encontraba 15 rangos percentiles por encima del segundo y este último superaba al 64% de los sujetos del grupo normativo. Calcular: a. Puntuación típica normalizada de cada uno de los sujetos. Sol. 0,81; 0,36 b. Puntuación Cociente Intelectual (media 100, desviación típica 15) normalizada para cada uno de los sujetos. Sol. 112; 105 c. Eneatipo de cada sujeto. Sol. 7; 6 6. Una psicóloga construyó dos formas diferentes (A y B) de una escala para medir las actitudes de los profesores hacia la docencia con sujetos de necesidades educativas especiales. Aleatoriamente, 10 profesores fueron asignados a la forma A y otros 10 a B, obteniendo ambos grupos las siguientes puntuaciones.

Forma A 50 41 42 51 37 53 50 54 48 53

Forma B 31 38 42 39 41 46 34 42 37 52

Equipare las puntuaciones de las dos formas utilizando los datos anteriores y el procedimiento de equiparación lineal. Sol. B*=1,02(A-47,9) + 40,2.

23

7. Se construyeron dos formas alternativas de un test de 10 ítems y ambas fueron aplicadas a los mismos grupos. Las distribuciones de frecuencias de las puntuaciones de las dos formas se presentan en la tabla. A partir de los datos equipare las puntuaciones de ambas formas utilizando la equiparación equipercentil. Puntuación 0 1 2 3 4 5 6 7 8 9 10

Forma A 0 2 17 28 39 50 65 56 27 11 4

Forma B 13 19 54 36 39 40 49 27 17 12 5

Solución. La equiparación equipercentil proporciona las siguientes equivalencias: Percentil 5 10 25 35 50 60 70 85 90 95 99

Forma A 2 3 4 5 6 6 7 7 8 9 10

Forma B 1 1 2 3 4 5 6 7 8 9 10

8. Disponemos de un test referido a criterio (X) y de un criterio Y. la correlación entre las puntuaciones del test y las del criterio es de 0,60. la desviación típica del test es 10 y la del criterio 6 y las correspondientes medias son 50 y 20. Los valores de  x y  y son 60 y 25, respectivamente para X e Y. Con los datos anteriores calcule el coeficiente validez para TRC propuesto por Livingston. Sol. 0,78.

24

PROBLEMAS PROPUESTOS A continuación se presentan un conjunto de problemas sin la solución. Todos ellos proceden de exámenes prácticos de la asignatura de Psicometría y están apoyados en cálculos realizados con software estadístico o psicométrico. En algunos apartados se requiere realizar cálculos (normalmente para índices o coeficientes no proporcionados directamente por el software y con frecuencia se requiere interpretación. Se presentan por bloques de examen, por lo que los diferentes ejercicios de cada bloque pueden referirse a apartados muy diversos de la teoría.

Bloque 1. 1. Se aplicó un test de Inteligencia General (factor “g”) a una muestra representativa de n=2000 estudiantes de 3º y 4º de ESO de la Comunidad de Madrid. El test estaba formado por n = 30 items de series numéricas. El test no ofrece opciones de respuesta, sino que el sujeto debe escribir la respuesta de cada ítem. El análisis del test se realizó siguiendo el modelo de dos parámetros en métrica normal. En la tabla y en la figura adjuntas se presentan los resultados para algunos de los ítems y para el test global ITEM I08

INTERCEPTO E.T.*) | | |

I12 I14 I15

| | | | | | |

-0.305 | 0.651* | | -1.108 | 0.851* | | -0.017 | 0.668* | | -1.168 | 1.004* |

a b Saturación c DISCRIMIN. DIFICULTAD LOADING ASYMPTOTE ji-cuadrado E.T.(a) E.T(b) E.T.(sat) E.T.(c) (p-valor, g.l. Signif.) 0.496 | 0.614 | 0.445 | 0.000 | 2.7 8.0 0.107* | 1.301* | 0.096* | 0.000* | (0.9536) | | | | 0.331 | 3.345 | 0.314 | 0.000 | 2.7 6.0 0.095* | 2.561* | 0.090* | 0.000* | (0.8440) | | | | 0.656 | 0.026 | 0.548 | 0.000 | 5.7 7.0 0.133* | 1.018* | 0.111* | 0.000* | (0.5734) | | | | 0.566 | 2.063 | 0.493 | 0.000 | 0.9 6.0 0.144* | 1.571* | 0.125* | 0.000* | (0.9906)

I18

| -0.005 | 0.914 | 0.006 | 0.675 | 0.000 | 5.3 5.0 | 0.735* | 0.180* | 0.804* | 0.133* | 0.000* | (0.3800) | | | | | | I24 | 0.000 | 0.303 | 0.001 | 0.290 | 0.000 | 15.1 8.0 | 0.594* | 0.078* | 1.961* | 0.075* | 0.000* | (0.0500) | | | | | | I30 | -0.018 | 0.726 | 0.025 | 0.587 | 0.000 | 13.6 6.0 | 0.684* | 0.149* | 0.942* | 0.121* | 0.000* | (0.0347) -------------------------------------------------------------------------------

RESULTADOS PROMEDIO PARA EL TEST TOTAL PARAMETRO MEDIA Desv.Típica ----------------------------------a 0.616 0.220 b 0.143 1.256

25

CURVAS CARACTERÍSTICAS Y FUNCIONES DE INFORMACIÓN DE ALGUNOS ITEMS Item Characteristic Curv e: I28 a = 0.496

Item Characteristic Curv e: I31

Item Information Curv e: I28

a = 0.331

b = 0.614

Item Information Curv e: I31

b = 3.345 0.9

1.0

0.9

1.0

0.8

0.8

0.8

0.4

0.6

Probabil ity

0.6

0.5 0.4

0.7

Information

0.7

Information

Probabil ity

0.8

0.6

0.4

0.2

0 -3

-2

-1

0

1

2

b

0 -3

3

-2

-1

Ability

0

1

2

3

2-Parameter Model, Normal Metric

-2

-1

0

1

2

3

0.1 0 -3

2-Parameter Model, Normal Metric

Item: 3

-2

-1

0 Scale Score

Item: 5

The parameter a is the item discriminating power, the reciprocal (1/a) is the item dispersion, and the parameter b is an item location parameter.

The parameter a is the item discriminating power, the reciprocal (1/a) is the item dispersion, and the parameter b is an item location parameter.

a = 0.303

0 -3

Ability

Scale Score

Item Characteristic Curv e: I64

0.4

0.2

0.2

0.1

b

0.5

0.3

0.3 0.2

0.6

Item Information Curv e: I64

b = 0.001 0.9

1.0

0.8 0.7

Information

Probabil ity

0.8

0.6

0.4

0.6 0.5 0.4 0.3 0.2

0.2

0.1

b 0 -3

-2

-1

0

1

2

0 -3

3

-2

-1

Ability

0

1

2

3

Scale Score

2-Parameter Model, Normal Metric

Item: 18

The parameter a is the item discriminating power, the reciprocal (1/a) is the item dispersion, and the parameter b is an item location parameter.

Item Characteristic Curv e: I48 a = 0.914

Item Information Curv e: I48

b = 0.006 0.9

1.0

0.8 0.7

Information

Probabil ity

0.8

0.6

0.4

0.6 0.5 0.4 0.3 0.2

0.2

0.1

b 0 -3

-2

-1

0

1

2

3

0 -3

Ability

2-Parameter Model, Normal Metric

-2

-1

0

1

2

3

Scale Score

Item: 13

The parameter a is the item discriminating power, the reciprocal (1/a) is the item dispersion, and the parameter b is an item location parameter.

26

1

2

3

FUNCIONES DE INFORMACIÓN Y DE ERROR TÍPICO DEL TEST TOTAL

Subtest: MAINTEST 6

1.10

5

0.88

Information

0.66 3 0.44

Standard Error

4

2 0.22

1

0 -3

-2

-1

0

1

2

3

0

Scale Score

Test information curve: solid line Standard error curve: dotted line The total test information for a specific scale score is read from the left vertical axis. The standard error for a specific scale score is read from the right vertical axis.

Nota: La curva en trazo continuo representa la función de información y sus valores pueden leerse en el eje vertical de la izquierda. La línea de puntos representa la función error típico y sus valores pueden leerse en el eje vertical de la derecha.

ALGUNAS PUNTUACIONES ESTIMADAS, PARA ALGUNOS SUJETOS, CON SUS CORRESPONDIENTES ERRORES TÍPICOS Sujeto 125 240 630 780 850 1325

% de aciertos 15 90 60 35 100 5

Θ estimada -1,2316 1,8647 0,4203 -0,5418 2,45471 -2,0121

E.T.(θ) 0,4636 0,5635 0,3790 0,3806 0,6215 0,5783

PREGUNTAS: Con ayuda de las tablas y gráficos, responde a las siguientes preguntas: 1. Interpreta los parámetros de los ítems presentados en cuanto a su discriminación y dificultad 2. Comenta las funciones de información de los ítems 3. ¿Dónde se encuentra la información máxima del test completo? Y ¿el mínimo error típico de estimación? 27

4. ¿Para qué niveles de habilidad sería inadecuado este test? 5. Comenta la tabla que presenta las estimaciones de los sujetos y los errores típicos 6. Calcula el Intervalo de confianza del 95% para la aptitud θ de los sujetos nº 630 y 850, considerando que la distribución es N(0,1) (el valor absoluto del z crítico para este nivel de confianza, en valor absoluto, es 1.96) y comenta la amplitud o precisión del intervalo comparando los dos casos.

2.- Un psicólogo escolar construyó un modelo de regresión lineal múltiple para la predicción de las puntuaciones en un test de Matemáticas (MATEMA) de 2º de Bachillerato. Las variables predictoras utilizadas en el modelo fueron las puntuaciones en tres tests: APTITUDES NUMÉRICAS (APTNUM), aptitud verbal (APTVERB) y motivación académica (MOTIVAC). A continuación se presentan resultados relevantes para la interpretación del modelo. Correlaciones de los tests predictores con el criterio Y Correlaciones APTNUM Estadísticos descriptivos N APTNUM APTVERB MOTIVAC MATEMA

341 341 341 341

Media 14,7595 13,0909 7,7155 7,9120

Desv . típ. 3,61381 3,62758 2,49906 1,75680

APTVERB

MOTIVAC

Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N

MATEMA ,673** ,000 341 ,616** ,000 341 ,570** ,000 341

**. La correlación es signif icativ a al niv el 0,01 (bilateral).

Resumen del modelob Modelo 1

R ,730a

R cuadrado ,532

R cuadrado corregida ,528

Error típ. de la estimación 1,20668

a. Variables predictoras: (Constante), APTVERB, MOTIVAC, APTNUM b. Variable dependiente: MATEMA

28

ANOVAb Modelo 1

Regresión Residual Total

Suma de cuadrados 558,666 490,695 1049,361

gl 3 337 340

Media cuadrática 186,222 1,456

F 127,894

Sig. ,000a

a. Variables predict oras: (Constante), APTVERB, MOTIVAC, APTNUM b. Variable dependiente: MATEMA

Coeficientesa

Modelo 1

(Constante) MOTI VAC APTNUM APTVERB

Coef icientes no estandarizados B Error típ. 2,429 ,289 ,154 ,034 ,200 ,025 ,102 ,026

Coef icientes estandarizad os Beta ,219 ,412 ,211

t 8,412 4,590 7,941 3,939

Sig. ,000 ,000 ,000 ,000

a. Variable dependient e: MATEMA

Los valores de los coeficientes de fiabilidad (coeficiente alpha) con el número de ítems que se señalan en cada uno de los tests son los siguientes:    

MATEMA : n=15, alpha = .81 APTNUM: n = 30, alpha = .80 APTVERB: n = 30, alpha = .90 MOTIVAC: n = 12, alpha = .70

PREGUNTAS: A continuación, y utilizando toda la información anterior, responde a las siguientes preguntas: 1. Coeficiente de determinación múltiple para la predicción del rendimiento en matemáticas 2. Interpretación de la significación estadística del modelo global y de cada uno de los predictores , así como la importancia relativa de cada una de las variables para la predicción 3. Escribe la ecuación de predicción en puntuaciones directas y típicas 4. ¿Qué puntuación típica le pronosticarías a un sujeto en Matemáticas, sabiendo que ha obtenido las siguientes puntuaciones directas en los tests predictores: APTNUM = 16, APTVERB = 22, MOTIVAC = 10?. Construye el intervalo de confianza del 95% para la predicción

29

anterior. Aunque la distribución de referencia es la t de Student, dado el tamaño de la muestra, puedes utilizar los valores de la N(0,1). 5. Consideramos ahora solamente el test de APTNUM y el criterio MATEMA. Responde a las siguientes preguntas: a. Si duplicásemos la longitud del test APTNUM, ¿Cuánto valdría el coeficiente de validez de este test par el criterio MATEMA? b. Coeficiente de alienación del mencionado test para el criterio c. Correlación entre APTNUM y MATEMA corregida la atenuación debida a los errores d. ¿Cuánto valdría el coeficiente de validez para el test con la longitud original, si calculásemos la correlación en un grupo con mayor variabilidad, por ejemplo en un grupo con una desviación típica en el test APTNUM de 6.

30

Bloque 2. 1. A continuación se presentan diversos resultados de la aplicación de un test de

Razonamiento Inductivo, formado por 30 elementos dicotómicos, a una muestra de N = 3274 sujetos de Bachillerato. En la tabla 1 se presentan los estadísticos descriptivos de algunos de los ítems del test. Tabla 1. Estadísticos descriptivos de algunos elementos Desviación típica

Media

N

ITEM3

,87

,331

3274

ITEM6

,25

,433

3274

ITEM17

,47

,499

3274

ITEM18

,72

,447

3274

ITEM20

,28

,450

3274

ITEM27

,92

,274

3274

ITEM28

,84

,367

3274

ITEM29

,55

,498

3274

ITEM30

,59

,491

3274

En la tabla 2 se presentan las respuestas a cada una de las cinco opciones del test, habiendo sido codificada con un 8 la omisión de respuesta Tabla 2. % de respuestas emitidas para las diferentes opciones Resp. correcta

1

2

3

4

8

ITEM3

% 3,0%

% 3,9%

% 3,5%

% 87,5%

% 2,1%

ITEM6

7,8%

25,0%

2,3%

27,9%

37,0%

2

ITEM17

10,2%

9,1%

47,1%

28,1%

5,5%

3

ITEM18

11,9%

72,4%

4,3%

3,7%

7,7%

2

ITEM20

4,5%

18,8%

29,0%

28,3%

19,5%

4

ITEM27

1,7%

91,8%

1,3%

,5%

4,6%

2

ITEM28

3,8%

1,8%

84,0%

2,5%

7,9%

3

ITEM29

14,7%

54,9%

2,9%

19,3%

8,2%

2

ITEM30

59,4%

4,7%

7,6%

2,3%

25,9%

1

4

En la tabla 3 se presentan los estadísticos ítem-total para los elementos anteriores. Tabla 3. Estadísticos total-elemento

31

Media de la escala si se elimina el elemento

Varianza de la escala si se elimina el elemento

Correlación elemento-total corregida

Alfa de Cronbach si se elimina el elemento

ITEM3

21,78

20,652

,433

,831

ITEM6

22,40

21,168

,178

,839

ITEM17

22,18

20,750

,234

,839

ITEM18

21,93

20,484

,342

,833

ITEM20

22,37

21,287

,139

,841

ITEM27

21,74

20,724

,508

,830

ITEM28

21,81

20,300

,494

,828

ITEM29

22,11

20,403

,315

,835

ITEM30

22,06

20,384

,325

,835

En la tabla 4 se presentan los estadísticos resumen de las puntuaciones totales del test formado por los 30 items. Tabla 4. Estadísticos de la escala o test completo

Media 22,65

Varianza 22,066

Desviación típica 4,697

N de elementos 30

En la tabla 5 se presentan los resultados del ANOVA. Tabla 5. Resultados del ANOVA Suma de cuadrados Inter-personas Intra-personas

2407,374 Inter-elementos

Media cuadrática

gl 3273

,736

4414,523

29

152,225

Residual

11340,277

94917

,119

Total

15754,800

94946

,166

18162,174

98219

,185

Total

F

Sig.

1274,108

,000

En la tabla 6 se presentan datos correspondientes a la correlación intraclase. Tabla 6. Coeficiente de correlación intraclase

Intervalo de confianza 95%

Medidas individuales Medidas promedio

Prueba F con valor verdadero 0

Correlación intraclase(a) ,147(b)

Límite inferior ,140

Límite superior ,154

Valor 6,156

gl1 3273,0

gl2 94917

Sig. ,000

,838(c)

,829

,845

6,156

3273,0

94917

,000

Finalmente, en la tabla 7 se presentan los resultados obtenidos mediante la división en dos mitades, construyendo la primera mitad con los ítems pares y la segunda con los impares.

32

Tabla 7. Estadísticos de fiabilidad dos mitades Alfa de Cronbach

Parte 1

Valor N de elementos

Parte 2

Valor N de elementos

N total de elementos Correlación entre formas Coeficiente de Spearman-Brown

,704 15(a) ,735 15(b) 30 ,727

Longitud igual

,842

Longitud desigual

,842

Dos mitades de Guttman

,842

PREGUNTAS: Teniendo en cuenta toda la información anterior, responda a las siguientes preguntas: a. Coeficiente alpha del test y diga si dicho coeficiente es compatible con un requisito impuesto de que el coeficiente de fiabilidad debe valer 0,90, justificando la respuesta b. ¿Cuántos elementos paralelos a los anteriores deberíamos añadir para cumplir con el requisito anterior? c. Si este test fuese utilizado para seleccionar sujetos en una empresa y la empresa impusiese la condición de alcanzar una puntuación verdadera de 25 puntos, ¿seleccionaría a un sujeto con una puntuación observada X = 23? (NC = 0,95, utiliza la ecuación de Kelley) d. ¿Qué ítems eliminarías de los presentados en las tablas, para mejorar el valor del coeficiente alpha? El examen de la tabla de respuestas a las opciones, ¿te sugiere por qué dichos ítems son problemáticos? e. Calcula el índice de dificultad Δ para el ítem 17 f. El examen de los resultados de la tabla 7 nos permitiría decir que las dos mitades pueden considerarse paralelas. Justifica la respuesta El test anterior se ha aplicado a los sujetos junto con otro test de Razonamiento Deductivo, formado por 30 elementos, del que sabemos que la varianza de los errores representa el 20% de la varianza de las puntuaciones observadas, que fue de 25. La correlación entre ambos tests fue de 0,70. El psicólogo está interesado en construir una puntuación total en Razonamiento, T, mediante la siguiente expresión: T = 1,5 RI + RD h. Calcula el coeficiente de fiabilidad de las puntuaciones T i. Un sujeto obtiene una puntuación en razonamiento inductivo RI=25 y una puntuación en Razonamiento Deductivo, RD = 23. ¿Podemos afirmar que dicho sujeto es superior en Razonamiento Inductivo?

33

A continuación se presentan los resultados de un estudio de Generalizabilidad en el que se evaluaron mediante un diseño p x i x o, 10 personas por medio de cuatro ítems de respuesta construida, que fueron evaluados por 2 calificadores. 2.

Fuente de Variación Personas (P) Ítems (I) Calificadores © Px I PxC IxC PIC,e Total

Suma de Grados Cuadrados libertad 62,20 9 37,45 3 3,20 1 56,30 27 12,05 9 7,50 3 25,25 27 203,95 79

de Media cuadrática 6,9111 12,4833 3,2000 2,0852 1,3389 2,5000 0,9352

Comp. Varianza σ2 0,5528 0,4417 0,0074 0,5750 0,1009 0,1565 0,9352

1) Interprete los resultados del estudio G: a. ¿Cuáles son los componentes de varianza más influyentes y qué repercusión tiene esto en posteriores estudios D? b. ¿Son estadísticamente significativos los efectos principales de ítems, calificadores, y la interacción PxI ? 2) Este test se ha utilizado en un estudio D, de decisión, en el que se utilizaron n’i = 10 ítems y n’c = 2 calificadores. a. Calcula el coeficiente de generalizabilidad para las decisiones absolutas y las decisiones relativas e interpreta los resultados

34

Bloque 3. A continuación se presentan algunos resultados procedentes de la aplicación de un test de Razonamiento Abstracto a una muestra de N=3274 sujetos. Todos los ítems del test son de elección múltiple, debiendo elegir el sujeto la opción correcta de las cuatro presentadas. En la Tabla 1 se presentan las respuestas dadas a algunos ítems seleccionados y algunos estadísticos de dichos ítems de la TCT. El 8 representa la omisión de respuesta y debajo del número del ítem en la primera columna se indica cual es la respuesta correcta. Tabla 1. Respuestas y estadísticos de ítems seleccionados.

ITEM6 (2) ITEM18 (2) ITEM20 (4) ITEM29 (2)

1

2

3

4

8

%

%

%

%

%

I.Dificultad

Corr. Corregida item-total

7,8%

25,0%

2,3%

27,9%

37,0%

,25

0,178

11,9%

72,4%

4,3%

3,7%

7,7%

,72

0,342

4,5%

18,8%

29,0%

28,3%

19,5%

,28

0,139

14,7%

54,9%

2,9%

19,3%

8,2%

,55

0,315

Alpha si se elimina el ítem 0,839 0,833 0,841 0,835

En la Tabla 2 se presentan los estadísticos de las puntuaciones totales del test.

Tabla 2. Estadísticos de la escala o test completo

Media

Varianza

22,65

Desviación típica

22

N de elementos

4,7

30

En la Tabla 3 se presenta los datos de la correlación intraclase para el conjunto de los 30 ìtems. Tabla 3. Coeficiente de correlación intraclase

Correlación intraclase(a)

Intervalo de confianza 95% Límite inferior

Medidas promedio

,838

,829

Límite superior ,845

Teniendo en cuenta toda la información anterior, responde a las siguientes preguntas: g. Valor del coeficiente alpha del test. ¿Es compatible este valor con un requisito impuesto de que el coeficiente de fiabilidad debe valer 0,90?. Justifica la respuesta h. ¿Cuántos elementos paralelos a los anteriores deberíamos añadir para cumplir con el requisito anterior? i. Si este test fuese utilizado para seleccionar sujetos en una empresa y la empresa impusiese la condición de alcanzar una puntuación verdadera de 35

25 puntos, ¿seleccionaría a un sujeto con una puntuación observada X = 23? (NC = 0,95, utiliza la ecuación de Kelley) j. ¿Qué ítems eliminarías de los presentados en las tablas, para mejorar el valor del coeficiente alpha? El examen de la tabla de respuestas a las opciones, ¿te sugiere por qué dichos ítems son problemáticos? 3. Supongamos que para la selección de soldados se utiliza una batería formada por 4

tests: Aptitud Verbal, Aptitud Numérica, Dependencia de Campo y Capacidad de planificación. Al cabo de algún tiempo en el puesto, los sujetos seleccionados son evaluados en en criterio de rendimiento. Se quiere evaluar la validez de esta batería para dicho criterio con los datos de N = 1576 sujetos seleccionados. En las tabla 4 y 5 se presentan algunos datos de los tests y del criterio, necesarios para responder a las preguntas. Tabla 4. Estadísticos descriptivos, coeficientes de fiabilidad y nº de items: Tests Aptitud Verbal

Media 50,4194

Desv. típ. 28,56382

Coef. Fiabilidad 0,90

Nº de ítems 40

Aptitud Numérica

50,0882

28,25405

0,85

50

49,9245

28,41486

0,70

10

50,7621

29,06389

0,75

12

0,70

20

Dependencia de Campo Planificación Criterio de Rendimiento

50,3991

28,15375

Tabla 5. Correlaciones de las puntuaciones de los tests y con el criterio

Aptitud Verbal 1

Aptitud Numérica ,628(**)

Dependencia de campo -,226(**)

Planificación ,380(**)

Criterio Y ,408(**)

,628(**)

1

-,196(**)

,476(**)

,359(**)

-,226(**)

-,196(**)

1

-,322(**)

-,418(**)

,380(**)

,476(**)

-,322(**)

1

,420(**)

,408(**) ,359(**) -,418(**) ,420(**) El símbolo ** indica que la correlación es estadísticamente significativa al nivel 0,01 (bilateral).

1

Aptitud Verbal Aptitud Numérica Dependencia de campo Planificación Criterio Y

Los resultados obtenidos en el análisis de la Regresión Lineal Múltiple se presentan an las tablas 5, 6 y 7. Tabla 5. Resumen del modelo

Modelo 1

R ,568(a)

R cuadrado ,322

R cuadrado corregida ,321

Error típ. de la estimación 23,20686

a Variables predictoras: (Constante), intp, superp, metacogp, relacp

36

Tabla 6. ANOVA Suma de cuadrados

Media cuadrática

gl

Regresión

402323,099

4

100580,775

Residual

846074,860 1248397,95 9

1571

538,558

Total

F

Sig.

186,759

,000(a)

1575

Tabla 7. Coeficientes del modelo Coeficientes estandarizado s

Coeficientes no estandarizados B 39,926

Error típ. 2,067

Aptitud Verbal

,221

,027

Aptitud Numérica

,061

,028

-,284 ,206

(Constante)

Dependencia de campo Planificación

t

Sig.

Beta 19,319

,000

,224

8,274

,000

,061

2,156

,031

,022

-,286

-12,961

,000

,024

,213

8,671

,000

A partir de los datos anteriores, responde a las siguientes preguntas. CUANDO LAS PREGUNTAS HAGAN REFERENCIA A TESTS DE HIPÓTESIS ESTADÍSTICAS TOMA COMO NIVEL DE SIGNIFICACIÓN α = 0,01 ( P ≤ 0,01) 1) Coeficiente de determinación múltiple 2) Coeficientes de validez, de eficiencia predictiva y de alienación del test de Aptitud verbal para el criterio suponiendo que se duplicasen las longitudes de ambos tests 3) Con el nivel de significación establecido, explica las siguientes cuestiones: a) Podemos decir que son estadísticamente significativos (p < .01) todos los tests predictores. ¿Por qué? b) Importancia relativa de los predictores para el criterio. Justifica la respuesta c) ¿Cuál sería las ecuaciones resultantes en puntuaciones directas y típicas, si dejamos únicamente los predictores significativos (p < .01)? (Considera los coeficientes que aparecen en la tabla, aunque en la realidad deberíamos repetir los cálculos) en directas y típicas.

4. Se aplicó un test de Razonamiento a una muestra representativa de N=2000 estudiantes 4º de ESO de la Comunidad de Madrid. El test estaba formado por n = 30 items de series numéricas. El test no ofrece opciones de respuesta, sino que el sujeto debe escribir la respuesta de cada ítem. El análisis del test se realizó siguiendo el modelo TRI de dos parámetros. En la tabla adjunta se presentan los resultados para algunos de los ítems. ITEM I08 I12

INTERCEPTO E.T.*) | | |

-0.305 | 0.651* | | -1.108 |

DISCRIMIN. DIFICULTAD SATURACIÓN E.T.(a) E.T(b) E.T.(sat) 0.496 | 0.107* | | 0.331 |

0.614 | 1.301* | | 3.345 |

0.445 | 0.096* | | 0.314 |

Adivinac. ji-cuadrado E.T.(c) (p-valor, g.l. Signif.) 0.000 | 2.7 8.0 0.000* | (0.9536) | 0.000 | 2.7 6.0

37

| | | | | | |

I14 I15

0.851* | | -0.017 | 0.668* | | -1.168 | 1.004* |

0.095* | | 0.656 | 0.133* | | 0.566 | 0.144* |

2.561* | | 0.026 | 1.018* | | 2.063 | 1.571* |

0.090* | | 0.548 | 0.111* | | 0.493 | 0.125* |

0.000* | (0.8440) | 0.000 | 5.7 0.000* | (0.5734) | 0.000 | 0.9 0.000* | (0.9906)

7.0 6.0

I18

| -0.005 | 0.914 | 0.006 | 0.675 | 0.000 | 5.3 5.0 | 0.735* | 0.180* | 0.804* | 0.133* | 0.000* | (0.3800) | | | | | | I24 | 0.000 | 0.303 | 0.001 | 0.290 | 0.000 | 15.1 8.0 | 0.594* | 0.078* | 1.961* | 0.075* | 0.000* | (0.0500) | | | | | | I30 | -0.018 | 0.726 | 0.025 | 0.587 | 0.000 | 13.6 6.0 | 0.684* | 0.149* | 0.942* | 0.121* | 0.000* | (0.0347) -------------------------------------------------------------------------------

En la siguiente figura se presentan las funciones de información y error típico del test total. FUNCIONES DE INFORMACIÓN Y DE ERROR TÍPICO DEL TEST TOTAL Subtest: MAINTEST 6

1.10

5

0.88

Information

0.66 3 0.44

Standard Error

4

2 0.22

1

0 -3

-2

-1

0

1

2

3

0

Scale Score

Test information curve: solid line Standard error curve: dotted line The total test information for a specific scale score is read from the left vertical axis. The standard error for a specific scale score is read from the right vertical axis.

Nota: La curva en trazo continuo representa la función de información y sus valores pueden leerse en el eje vertical de la izquierda. La línea de puntos representa la función error típico y sus valores pueden leerse en el eje vertical de la derecha. ALGUNAS PUNTUACIONES ESTIMADAS, PARA ALGUNOS SUJETOS, CON SUS CORRESPONDIENTES ERRORES TÍPICOS Sujeto % de aciertos Θ estimada E.T.(θ) 125 15 -1,2316 0,4636 240 90 1,8647 0,5635 630 60 0,4203 0,3790 780 35 -0,5418 0,3806 850 100 2,45471 0,6215 1325 5 -2,0121 0,5783

PREGUNTAS: Con ayuda de las tablas y gráficos, responde a las siguientes preguntas: 7. Interpreta los parámetros de los ítems presentados en cuanto a su discriminación y dificultad 8. ¿Podemos decir que todos los ítems se ajustan al modelo de 2P? (p < .05) 9. ¿Dónde se encuentra la información máxima del test completo? Y ¿el mínimo error típico de estimación? 10. Comenta la tabla que presenta las estimaciones de los sujetos y los errores típicos

38

39