Hornowska E. - Testy Psychologiczne. Teoria i Praktyka

Testy psychologiczne Teoria i praktyka

Książkę tę dedykuję wszystkim tym osobom, dla których mierzenie nie oznacza jedynie faktu przyłożenia linijki do narysowanej linii

Seria WYKŁADY Z PSYCHOLOGII Redaktor naukowy: Jerzy Brzeziński

tom 6 Seria Wykłady z Psychologii obejmuje autorskie uję­ cie podstawowych dziedzin psychologii, wchodzących w obręb programu pięcioletnich studiów magisters­ kich na tym kierunku. Poszczególne książki z tej serii, napisane przez badaczy o długoletnim doświadczeniu dydaktycznym i znaczących osiągnięciach nauko­ wych, są adresowane przede wszystkim do studentów psychologii, ale mogą też być z pożytkiem wykorzy­ stane przez studentów pokrewnych kierunków. W serii Wykłady z Psychologii ukazują się książki, które odnoszą się do przedmiotów ujętych w Mini­ malnych wymaganiach programowych opracowanych przez Radę Główną Szkolnictwa Wyższego oraz w Standardach akredytacji kierunku studiów psy­ chologia Uniwersyteckiej Komisji Akredytacyjnej — zarówno z grupy przedmiotów podstawowych, jak i grupy przedmiotów ujętych w programach różnych specjalności (psychologii klinicznej, psychologii edu­ kacji, psychologii organizacji i zarządzania itd.).

tlżbieta Hornowska

Testy psychologiczne Teoria i praktyka

Wydawnictwo Naukowe SCHOLAR

R edaktor: Filip Modrzejewski Korekta: Zespół Projekt okładki: Katarzyna Juras

Copyright © 2001, 2003, 2005, 2007, 2009,2010 by Wydawnictwo Naukowe „Scholar”, Warszawa

ISBN: 978-83-7383-238-1

Wydawnictwo Naukowe „Scholar” Spółka z o.o. ul. Krakowskie Przedmieście 62, 00-322 Warszawa tel./fax 022 828 93 91, 022 826 59 21, 022 828 95 63 dział handlow y: jak wyżej w. 105, 108 e-mail: [email protected]; [email protected] www.scholar.com.pl

Wydanie czwarte, dodruk Skład i łamanie: WN „Scholar” (Stanisław Beczek) Druk i oprawa: Wojskowa Drukarnia w Łodzi

T

Spis treści W s tę p ................................................................................................................. ... 11 Cz ę ś ć I PO D STAW O W E PR O BLEM Y PSY C H O M ETR U

Rozdział 1. W nioskow anie p s y c h o m e try c z n e .......................................... 17 1.1. Czym zajmuje się psychom etria?............................................................ 17 1.2. Definicja testu i rodzaje te s tó w ........................................................... ...21 Definicja te s t u .......................................................................................... ...21 Rodzaje te s tó w ...........................................................................................22 1.3. Kryteria dobroci testów psychologicznych..........................................25 Obiektywność, czyli niezależność wyników te sto w an ia............... ...25 Standaryzacja, czyli jednolitość warunków b a d a n ia ....................... ...26 Rzetelność, czyli dokładność p o m ia ru .............................................. ...28 Trafność, czyli obszar zastosowania te s t u ......................................... ...28 Normy, czyli nadawanie znaczenia wynikom te sto w y m ............... ...29 Właściwa adaptacja, czyli dopasowanie testu do polskich warunków 29 1.4. Proces wnioskowania psychom etrycznego......................................... ...32 1.5. Dwa słowa o historii te sto w an ia............................................................35 Podstawowe p o ję c ia ...........................................................................................38 Literatura z a le c a n a .......................................................................................... ...40 Rozdział 2. K lasyczna teoria testów ja k o podstaw a w nioskow ania o rzetelności t e s t u .......................................................................................... ...41 2.1. Źródła błędu w pomiarze testo w y m .......................................................41 Konstrukcja te s t u ..................................................................................... ...42 Sytuacja te sto w a n ia ................................................................................ ...42 Sposób oceny w y n ik ó w ........................................................................ ...43 2.2. Model wyniku prawdziwego i jego założenia - klasyczna teoria te s tó w .........................................................................43

5

2.3. Definicja rzeteln o ści.................... ............................................................. 45 Interpretacja współczynnika rz e te ln o śc i..............................................48 2.4. Metody badania rzeteln o ści.................................................................. .. 49 Badanie rzetelności metodą powtarzania testu (tzw. technika test-retest) ..................................................................... .. 49 Rzetelność szacowana metodą wersji równoległych (alternatywnych) 51 Rzetelność szacowania na podstawie wyników jednokrotnego badania danym te s te m .............................................................................52 Rzetelność jako zgodność o c e n ........................................................... .. 55 Porównanie poszczególnych współczynników rzeteln o ści............... 55 Rzetelność testów szy b k o ści................................................................ .. 57 Rzetelność testów zorientowanych na kryterium (standard wykonania) 59 Czynniki wpływające na wielkość współczynnika rzetelności . . . 60 2.5. Ocena rzetelności indywidualnego w y n ik u ...................................... .. 63 Standardowy błąd p o m ia ru ..................................................................... 63 Standardowy błąd różnicy między dwoma w y n ik am i.................... .. 67 2.6. Teoria uniwersalizacji jako odmiana klasycznej teorii testów . . . 69 Wariancja wyników te sto w y c h ........................................................... .. 70 Źródła wariancji .................................................................................... .. 71 Wariancja prawdziwa oraz wariancja b łę d u ...................................... ...72 Schematy b a d aw cze............................................................................... .. 72 Podstawowe p o ję c ia ....................................................................................... .. 79 Literatura z a le c a n a ............................................................................................ 79 Rozdział 3. Trafność, czyli określanie obszaru zastosow ania testu . 80 3.1'. Pojęcie tra f n o ś c i..................................................................................... 80 3.2. Rodzaje tra fn o śc i.................................................................................... 82 3.3. Sposoby badania trafn o ści.......... .......................................................... 85 Trafność treścio w a....................... ........................................................... 85 Trafność k ry terialn a ............................................................................... 90 Trafność te o re ty c z n a ............................................................................ 94 3.4. Stronniczość te s tó w ............................................................................... 100 Definicja stronniczości.......................................................................... 102 Potencjalne źródła stronniczości te s tu .................................................104 Stronniczość testu a trafność treściow a..............................................107 Stronniczość testu a trafność kryterialna........................................... 109 Stronniczość testu a trafność teoretyczna.........................................110 Techniki szacowania stronniczości te s t u ........................................... 111 3.5. Wykorzystanie testów dla celów selekcyjnych................................. 114 Indywidualizm nieograniczony ........................................................... 119 Indywidualizm ograniczony ................................................................ 121 Dobór k w o to w y ....................................................................................... 123 Podstawowe p o ję c ia ....................................................................................... 127 Literatura z a le c a n a ..........................................................................................127

Rozdział 4. Norm y, czyli nadaw anie znaczenia w ynikom testowym 128 4.1. Pojęcie normy w p sy ch o m etrii........................................................... 128 Znaczenie grupy odniesienia.................................................................129 Normy ogólnokrajow e...........................................................................131 Normy lo k a ln e ........................................................................................133 4.2. Rodzaje norm ze względu na sposób ich konstrukcji.....................134 Normy standardow e................................................................................134 Normy ran g o w e........................................................................................146 Normy typu rów noważnikow ego.........................................................150 4.3. Interpretacja wyników testów zorientowanych na kryterium . . . . 154 Podstawowe p o ję c ia ........................................................................................156 Literatura z a le c a n a ..........................................................................................157 Rozdział 5. K onstruow anie testu - podstawowe p ro c e d u r y .............158 5.1. Od czego zaczy n am y ?...........................................................................160 Określanie celu p o m ia ru ........................................................................ 160 Określanie obszaru zachowań identyfikowanych z mierzonym konstruktem (procedura operacjonalizacji).......................................160 5.2. Zasady budowania pozycji testow ych................................................. 162 5.3. Analiza z a d a ń .......................................................................................... 167 Analiza językow o-treściow a................................................................ 167 Badanie p ilo ta ż o w e ...................................................... ......................... 169 Wskaźnik tru d n o ś c i................................................................................ 170 Współczynniki mocy dyskrym inacyjnej............................................175 Rzetelność i trafność pozycji testowej ............................................... 182 Analiza zadań w testach szybkości...................................................... 184 Analiza zadań w testach zorientowanych na k ry teriu m .................. 184 5.4. Stronniczości pozycji testowych - zjawisko zróżnicowanego funkcjonowania p o z y c ji....................... .................................................186 5.5. Ostateczna rewizja te s t u ....................... .................................................191 Walidacja k rzy żo w a................................................................................191 5.6. Teoria odpowiadania na pozycje t e s t u .............................................. 193 Ograniczenia modelu klasycznego...................................................... 193 Założenia I R T .......................................................................................... 195 Krzywa charakterystyczna pozycji te sto w ej.......................................195 Parametry pozycji testowej i skala cechy łaten tn ej..........................197 Modele formułowane w ramach I R T ................................................. 199 Gdzie wykorzystuje się modele I R T ? ................................................. 202 Podstawowe p o ję c ia ........................................................................................204 Literatura z a le c a n a .......................................................................................... 204 Rozdział 6. Społeczny kontekst stosowania testów psychologicznych 205 6.1. Testowanie psychologiczne - społeczne niebezpieczeństw a.......... 205 6.2. Prawa osób b ad an y ch ..............................................................................213

Prawo do wyrażenia świadomej zgody na badanie testem ............ 213 Prawo do informacji o wynikach testow ania.................................. 214 Prawo do minimalizowania skutków etykietowania...................... 215 Prawo do zachowania tajemnicy o wynikach testowania...............215 Prawo do pryw atności.......................................................................217 6.3. Testy przed sąd em .............................................................................. 217 6.4. Testy jako produkty rynkow e.......................................................... 220 Podstawowe p o ję c ia ...................................................................................224 Literatura zale c an a ..................................................................................... 225 Część II K r ó t k i p TEST

r z e w o d n ik

,

c z y l i

j a k

s a m u m u

z b u d o w a ć

Poradnik dla stu d en tó w ........................................................................... 227 L ite r a tu r a .................................................................................................... 241 Indeks n a z w is k .......................................................................................... 255

Spis rysunków Rys. Rys. Rys. Rys.

1.1. 1.2. 1.3. 1.4.

Definicje semantyczne i syntaktyczne ............................................................ Podział testów ze względu na rodzaj możliwej odpowiedzi ...................... Podział testów ze względu na rodzaj interpretacji wyniku testowego . . . Proces wnioskowania psychometrycznego ....................................................

19 24 25 35

Rys. Rys. Rys. Rys. Rys.

2.1. 2.2. 2.3. 2.4. 2.5.

Źródła błędu losowego w badaniu testowym ............................................... Metody badania rzetelności ............................................................................. Rzetelność testu jako funkcja jego długości .................................................. Schemat badawczy dla układu krzyżowego oraz układu gniazdowego . . Kolejne etapy postępowania w ramach teorii uniwersalizacji ....................

42 56 61 76 78

Rys. 3.1. Definicja i rodzaje trafności ........................................................................... Rys. 3.2. Kiedy test jest trafny treściowo? ................................................................... Rys. 3.3. Diagramy korelacyjne przedstawiające rodzaje relacji między wynikami testowymi (X) i zmienną kryterialną (Y) w grupie większości i mniejszości Rys. 3.4. Podział populacji starających się o pracę przy uwzględnieniu kwalifikacyjnego wyniku testu psychologicznego (oś X) oraz kryterium pracy zawodowej (oś Y) .................................................................................. Rys. 3.5. Różne kombinacje stosunku wyboru i stosunku powodzenia przy różnych stopniach trafności prognostycznej testu .......................................................

86 88

Rys. 4.1. Normy typu standardowego ............................................................................. Rys. 4.2. Rozkład normalny a skala staninowa ............................................................ Rys. 4.3. Wykorzystanie skali standardowej o szerokim zakresie wyników (Skala T) i skali standardowej o wąskim zakresie wyników (skala staninowa) do przedstawienia wyników dwóch osób (X) i (Y) .......................................... Rys. 4.4. Efekt niezgodności między długością skali wyników surowych a długością skali wyników przeliczonych ........................................................................... Rys. 4.5. Graficzna reprezentacja istoty procesu normalizacji ................................... Rys. 4.6. Etapy procedury normalizacji ........................................................................ Rys. 4.7. Skala centy Iowa ................................................................................................. Rys. 4.8. Związek między centylami a rozkładem normalnym ................................ Rys. 4.9. Siatka centylowa obrazująca możliwość porównywania dwóch wyników wyrażonych w centylach ..................................................................................

113

116 117 135 137

139 141 143 145 148 149 150

Rys. 5.1. Etapy tworzenia testu ....................................................................................... 159 Rys. 5.2. Rodzaje związków między wynikiem danej pozycji testowej a ogólnym wynikiem w teście ............................................................................................ 176 Rys. 5.3. Ilustracja problemu nakładania się zakresów ............................................... 181 Rys. 5.4. Związek między wynikiem otrzymanym w teście a poziomem mierzonej cechy w klasycznej teorii testów oraz w IRT ............................................... 194 Rys. 5.5. Przykład hipotetycznej krzywej charakterystycznej pozycji testowej (item characteristic cuiye, ICC) ................................................................................ 196 Rys. 5.6. Dwie krzywe ICC różniące się współczynnikami mocy dyskryminacyjnej pozycji testowej ................................................................................................. 197 Rys. 5.7. Dwie krzywe ICC różniące się współczynnikami trudności pozycji testowej 198 Rys. 5.8. Dwie krzywe ICC różniące się współczynnikami zgadywania .................. 200 Rys. 5.9. Trzy hipotetyczne sytuacje, w których stronniczość pozycji testowych wynika z (a) różnej mocy dyskryminacyjnej pozycji testowej w obu grupach, (b) różnej trudności i (c) różnego współczynnika zgadywania ................. 203

9

Spis tabel Tab. 1.1. Elementy sytuacji badania testem objęte procedurą standaryzacji ............ Tab. 1.2. Kryteria pozwalające odróżnić dobry test od testu złego ........................... Tab. 1.3. Najważniejsze daty w historii pomiaru psychologicznego .........................

27 31 39

Tab. 2.1. Podstawowe źródła błędu w różnych metodach szacowania rzetelności .

57

Tab. 3.1. Minimalne wartości współczynnika trafności treściowej (CVR), pozwalające uznać otrzymaną wielkość CVR za istotną statystycznie (dla a = 0,05) . .

89

Tab. Tab. Tab. Tab.

4.1. 4.2. 4.3. 4.4.

Kwotowy układ polskiej próby normalizacyjnej dla testu WAIS-R(PL) . Przykład normalizacji rozkładu oraz obliczania norm typu standardowego Przykład obliczania norm typu centylowego ............................................... Wady i zalety norm typu równoważnikowego .............................................

132 144 147 153

Tab. 5.1. Konstruowanie pozycji testowej wiielokategorialnej z jedną opcją do wyboru Tab. 5.2. Wartości wskaźnika trudności dla poszczególnych pozycji oraz średnia trudność testu Słownik z baterii WAIS-R (PL) .......................................... Tab. 5.3. Rozkład wartości poprawionego wskaźnika trudności (T„) dla pozycji posiadających różną liczbę kategorii odpowiedzi ........................................ Tab. 5.4. Przykładowe wyniki dla trzech wybranych pozycji testowych .................

167 172 174 177

W stęp

W tym roku mija 113 lat od ukazania się pierwszej pracy poświęconej statystycznej teorii wyników testowych (Edgeworth, 1888, 1892)1. W ciągu ponad stulecia psychometria - dział psychologii zajmujący się budowaniem teorii wyników otrzymywanych za pomocą testów psychologicznych - osiąg­ nęła status samodzielnej dyscypliny naukowej, a praktyczne konstruowanie i stosowanie testów stało się przemysłem rynkowym. W okresie tym ukazały się tak znaczące prace, jak An Introduction to the Theory o f Mental and Social Measurement E.L. Thorndike’a (1919), Theories o f Mental Tests H. Gulliksena (1950), A Theory o f Test Scores F.M. Lorda (1952), Probabilis­ tic Models fo r Some Intelligence and Attainment Tests G. Rascha (1960), Statistical Theories o f Mental Test Scores F.M. Lorda i M.R. Novicka (1968) czy The Dependability o f Behavioral Measurement L.J. Cronbacha, G.C. Gleser, H. Nandy, N. Rajaratnama (1972) - by wymienić tylko najważniejsze. Prace te wyznaczyły sposób myślenia badaczy oraz kierunek podstawowych rozwiązań, jakie wypracowano w tej dziedzinie. Robert Sternberg (1992, s. 134) - wybitny teoretyk inteligencji - opisując drogę, jaką przebyła psychometria, posłużył się interesującą metaforą. Na przełomie wieków obraz świata uległ ogromnej zmianie dzięki nowemu rewolu­ cyjnemu wynalazkowi - samochodowi. Na początku przyjmowany nieufnie, samochód szybko przekonał ogromne rzesze ludzi o swojej użyteczności. Dzisiejsze marki, chociaż różniące się wyglądem i parametrami technicznymi, w gruncie rzeczy niewiele odbiegają od swojego pierwowzoru: mają cztery koła, silnik i kierownicę, a ich zadaniem jest dowieźć nas tam, gdzie sobie życzymy. Podobnie przedstawia się sytuacja z testami. Dzisiejsze metody testowe - mimo innych opakowań, nieco lepszej trafności i rzetelności - niewiele się różnią od pierwszego testu opracowanego przez Bineta i Simona (1905a, b, c). Składają się z pozycji testowych i mają służyć oszacowaniu wartości określonych cech psychologicznych. Tu jednak kończą się podobieństwa. Szacowanie wartości cech psychologicznych nie jest samo w sobie celem - na podstawie ich wyników podejmowane są decyzje o dużej doniosłości społecznej (to, gdzie ludzie jeżdżą samochodami, nie budzi wszak większego zainteresowania społecznego). Rzeczywisty cel stosowania testów psychologicznych jest jednak znacznie poważniejszy: „Psychologowie (...) mierzą za pomocą testów, by osiągnąć 1 Prawdopodobnie pierwszą polską pracą z dziedziny psychometru jest praca Bolesława Błażka pt Studya psychometryczne. Pomiary na uczniach, wydana w roku 1900, we Lwowie, nakładem Towarzystwa Wydawniczego. Paru Prof. Jerzemu Brzezińskiemu serdecznie dziękuję za udostępnienie egzemplarza tej książki.

W

stęp

jeden z dwóch celów (lub oba te cele jednocześnie): albo opisać badaną osobę ze względu na interesujące psychologa parametry lub aby przewidywać zachowanie tej osoby w określonej sytuacji” (Paluchowski, 1991, s. 58). Co więcej, ów opis lub przewidywanie są wykorzystywane dalej w procesie „aktywnego poszukiwania danych potrzebnych do podjęcia decyzji o działa­ niach zmierzających do zmiany aktualnego stanu (położenia) psychospołecz­ nego ludzi” (ibidem, s. 32). Testy będą z całą pewnością w coraz szerszym użyciu - od szkoły począw­ szy na rynku pracy skończywszy. Pytania dotyczące ich uczciwego stosowania będą zyskiwały coraz większe społeczne uznanie. Wraz z rosnącymi wymogami posiadania bardziej pogłębionego wykształcenia ogólnego oraz z coraz częściej obserwowaną tendencją do zmniejszania się znaczenia formalnych ocen szkol­ nych czy formalnych dyplomów osoby odpowiedzialne za dobór kadr będą poszukiwać bardziej precyzyjnych i bardziej obiektywnych metod oceny kwalifikacji kandydatów, bardziej trafnych metod selekcji np. osób starających się o pracę. Standaryzowane testy w sposób niekwestionowany udowodniły swoją przydatność dla tych celów. Psychologowie, jako grupa zawodowa, muszą jednak umieć odpowiedzieć na pytania: na czym polega idea wniosko­ wania psychometiycznego; jakie kryteria powinien spełniać dobry test; czy testy zastosowane w konkretnej sytuacji nie są stronnicze (w sensie psychometrycznym); czy procedura selekcji oparta na wynikach testowych jest uczciwa w stosunku do wszystkich zainteresowanych osób i jakie są społeczne konsek­ wencje testowania. Książka ta poświęcona jest tym właśnie zagadnieniom.

Struktura książki

12

Praca ta składa się z dwóch części. W części pierwszej omówione zostały podstawowe zagadnienia psychometryczne, takie jak definicja testu i rodzaje testów, klasyczna teoria testów i jej współczesne odmiany, teoria rzetelności, zagadnienia trafności oraz koncepcja norm. Osobny rozdział poświęcony został problematyce konstrukcji testów. Wszystkie te problemy zostały przed­ stawione w sposób maksymalnie nietechniczny, aby zwrócić uwagę Czytel­ nika na istotę zagadnień psychometrycznych, która często - w gąszczu wzorów i reguł - schodzi na dalszy plan. Czytelników zainteresowanych bardziej matematycznym wykładem prezentowanych treści odsyłam przede wszystkim do prac Lorda i Novicka (1968), Nowakowskiej (1975), Magnussona (1981) czy Machowskiego (1993). Ostatni rozdział tej części poświęcony został omówieniu społecznych konsekwencji testowania. Takie problemy jak prawa osób rozwiązujących testy czy testy jako produkty rynkowe wymagają bowiem - jak sądzę - oddzielnego i szczegółowego omówienia. W części drugiej omówione zostały zasady obowiązujące przy konstruo­ wania metod testowych; ma ona formę poradnika przeznaczonego dla studen­ tów. I chociaż w większości wypadków korzystamy dziś z gotowych metod testowych, zdarza się i tak (szczególnie często dotyczy to studentów), że

W

stęp

trzeba opracować metodę niezbędną do realizacji konkretnych celów diag­ nostycznych. Ten przewodnik ma pomóc studentom w rozstrzyganiu wątp­ liwości, jakie towarzyszą takiemu zadaniu. Na zakończenie chciałabym złożyć serdeczne podziękowania Recenzentom podręcznika - Panu Profesorowi Jerzemu Brzezińskiemu oraz Panu Profeso­ rowi Tadeuszowi Markowi. Ich uwagi pozwoliły mi na lepsze wyartykuło­ wanie omawianych problemów. Poznań, sierpień 2001 roku

Elżbieta Homowska

13

Część I P

o d sta w o w e

pr o b l e m y psy c h o m etr u

Wszystko, co istnieje, istnieje w jakiejś mierze. Aby dobrze poznać dany obiekt, należy go określić zarówno p o d kątem jakościowym, ja k i ilościowym.

E.L. Thomdike (1904) R o z d z ia ł

1

W n io s k o w a n ie

p s y c h o m e t r y c z n e

1.1. CZYM ZAJMUJE SIĘ PSYCHOMETRIA? Jak mówi Słownik języka polskiego (Szymczak, 1979, tom 2, s. 1071): „psychometria (...) to dział psychologii zajmujący się teorią i opracowywa­ niem testów psychologicznych”, zaś według Słownika psychologicznego (Szewczuk, 1979, s. 239) to „dział metodologii psychologicznej zajmujący się pomiarem zachowań ludzkich w aspekcie psychologicznym”. Z kolei według Słownika psychologii (Reber, 2000, s. 597) psychometria to „dzie­ dzina obejmująca badania psychometryczne (...) na ogół odnoszące się do różnych aspektów procesów psychicznych, w tym badania osobowości, inteligencji, określania zdolności (...) [odnosząca się też - przyp. E.H.] (...) do kwestii zastosowania zasad matematycznych i statystycznych w psycho­ logii”. Aby dokładnie zrozumieć, co kryje się pod tymi dość ogólnikowymi definicjami, przeanalizujmy trzy następujące sytuacje: a) psycholog zatrudniony w firmie doradztwa personalnego tworzy test zdolności korektorskich, na podstawie którego chce zaproponować kan­ dydatów na stanowisko w firmie komputerowej; b) psycholog szkolny opracowuje skalę pozwalającą mu określić zakres słów, jakie opanowało dziecko; c) psycholog - stosując test inteligencji - pomaga klientowi poznać jego własne, mocne strony. Wszystkie te sytuacje, choć opisujące różne cele, są do siebie podobne. Wszystkie one dotyczą pomiaru wartości cech psychologicznych1. Cechy te (konstrukty teoretyczne) nie są bezpośrednio obserwowalne (mierzalne). Takie pojęcia bowiem, jak „sukces w pracy na określonym stanowisku”, „zakres posiadanego słownictwa” czy „mocne strony”, zanim będą mogły zostać wyrażone ilościowo, wymagają najpierw operacyjnego zdefiniowania (są bezpośrednio nieobserwowalne). Ta właśnie charakterystyka pomiaru J Nie będziemy tu wnikać w kontrowersje wynikające z różnych sposobów definiowania pojęcia cechy. Wystarczy, że przyjmiemy, iż „wartość cechy u danego człowieka jest po prostu (...) parametrem rozkładu charakteryzującego częstości występowania określonych zachowań się tego człowieka w danych sytuacjach” (por. Nowakowska, 1975, s. 20).

R

o z d z ia ł

1

psychologicznego (czyli poznawanie nieobserwowalnych bezpośrednio właś­ ciwości) sprawia, że niezbędne staje się opracowanie teorii wiążącej efekty badania za pomocą narzędzia pomiarowego (np. testu psychologicznego) z cechą psychologiczną, którą owe efekty (np. wartości liczbowe) odzwier­ ciedlają. Dokładna analiza przedstawionych wyżej i innych sytuacji pozwala na sformułowanie pięciu zasad (reguł), które charakteryzują pomiar cech psycho­ logicznych (por. Crocker, Algina, 1986, s. 6-7). Są to następujące reguły: 1. C e c h y p s y c h o l o g i c z n e p o w i n n y b y ć d e f i n i o w a n e nie tylko w te rm in a c h o p e r a c y jn y c h , ale także w t e r ­ minach związków z innymi konstruktami teoretyczny­ m i c z y o b s e r w o w a l n y m i z j a w i s k a m i . Wyniki pomiaru psycho­ logicznego nie będą użyteczne, jeżeli nie będzie ich można odnieść do mierzonego konstruktu. Z tego też powodu Lord i Novick (1968, s. 15) podkreślali, że konstrukty psychologiczne powinny być zawsze definiowane na dwóch poziomach. Po pierwsze, mierzony konstrukt powinien zostać zdefinio­ wany w terminach zjawisk obserwowalnych. Ten rodzaj definicji (zwanych przez autorów d e f i n i c j a m i s e m a n t y c z n y m i ) określa przedmiot pomiaru (tj. zakres obserwowalnych zachowań, które będą rejestrowane). Definicje te stanowią bowiem reguły korespondencji między teoretycznymi konstruktami i obserwowalnymi zachowaniami. Po drugie, mierzony konstrukt powinien zostać powiązany z innymi konstruktami w ramach określonego systemu teoretycznego. Ten drugi rodzaj definicji (nazywanych przez Lorda i Novicka d e f i n i c j a m i s y n t a k t y c z n y m i ) dostarcza ramy interpreto­ wania otrzymanych wyników. Definicje te są wyrażane w postaci formalnych związków logicznych (matematycznych). Bez definicji syntaktycznych pomiar psychologiczny nie będzie miał żadnej użytecznej wartości (por. rys. l . l ) 2. 2. Ż a d n a r e a l i z a c j a p o m i a r u p s y c h o l o g i c z n e g o n i e m a c h a r a k t e r u u n i w e r s a l n e g o . Ponieważ pomiar cech psycho­ logicznych jest zawsze pomiarem pośrednim, opartym na obserwowalnych bezpośrednio zachowaniach, ten sam konstrukt psychologiczny może zostać powiązany z różnym zbiorem zachowań. Różne definicje operacyjne prowa­ dzą zaś do różnych procedur pomiarowych; te z kolei mogą prowadzić do różnych wniosków końcowych. Dobrym przykładem ilustrującym ten stan rzeczy jest pomiar inteligencji. I tak np. inteligencja rozumiana jako „(...) zagregowana (ogólna) zdolność jednostki do podejmowania działań celowych, racjonalnego myślenia i do efektywnego radzenia sobie we włas­ nym środowisku” (Wechsler, 1998, s, 16) znalazła swój wyraz w - opraco­ wanej przez D. Wechslera (1939) - baterii składającej się z 11 testów, mierzących różne aspekty przystosowania do środowiska. Z kolei inteligencja pojmowana jako zdolność edukacji (tj. zdolność uzyskiwania nowego wglądu, 18

2 W sprawie pojęcia i zasad operacjonalizacji por. też Homowska, 1989, 2000a.

W n io s k o w

a n ie p s y c h o m e t k y c z n e

Rys. 1.1. Definicje semantyczne i syntaktyczne (opracowano na podstawie Lord i Novlck, 1968, s. 17)

spostrzegania i określania relacji) może być mierzona za pomocą T e s t u M a t r y c opracowanego przez J.C. Ravena (Raven, Court, Raven, 1994). Mówiąc o pomiarze psychologicznym, nie wystarczy zatem wskazywać na mierzony konstrukt. Aby wyniki pomiaru zostały właściwie zinterpreto­ wane, niezbędna jest znajomość teorii, w ramach której mierzony konstrukt został zdefiniowany. Ten sam wynik uzyskany za pomocą różnych narzędzi ma bowiem zupełnie inne znaczenie psychologiczne. 3. P o m i a r p s y c h o l o g i c z n y j e s t n a j c z ę ś c i e j o p a r t y na o g r a n i c z o n e j p r ó b c e z a c h o w a ń . Formułując definicje semanty­ czne, trudno jest uwzględnić cały możliwy repertuar zachowań, które mogą zostać powiązane z mierzoną cechą psychologiczną. Dlatego też dokonując pomiaru psychologicznego, zawężamy zarazem interesujący nas obszar za­ chowań do tych zachowań, które uważamy za najbardziej adekwatne. Okreś­ lenie kryteriów wyboru takiej próbki zachowań staje się wtedy koniecznością. 4. W y n i k i p o m i a r u p s y c h o l o g i c z n e g o s ą z a w s z e o b a r ­ cz o n e o k r e ś l o n y m b ł ę d e m . Ponieważ pomiar psychologiczny jest ograniczony do wybranej próbki zachowań i najczęściej dokonuje się go tylko w jednym punkcie czasowym, nie odzwierciedla on w sposób jedno-

19

R

o z d z ia ł

1

znacznie dokładny rzeczywistej wartości mierzonej cechy czy funkcji psycho­ logicznej. Gdyby przeprowadzić ten sam pomiar powtórnie, to najpewniej jego wyniki będą nieco inne. Przyczyną tego stanu rzeczy mogą być takie czynniki, jak np. zapominanie, chwilowe fluktuacje uwagi, zgadywanie czy wreszcie uczenie się. Każdy z nich (a także inne) wpływa na wyniki dokona­ nego pomiaru. Istotnym elementem pomiaru psychologicznego jest zatem ustalenie sposobu określania wielkości błędu popełnionego przy zastosowaniu danej procedury pomiarowej. 5. W yniki p om ia ru p s y c h o lo g i c z n e g o nie zawsze p r z e k ł a d a j ą się na s k a l e o d o b r z e z d e f i n i o w a n y c h j e d ­ n o s t k a c h . W jakim stopniu wyniki otrzymane w pomiarze psychologicz­ nym odzwierciedlają rzeczywiste różnice między badanymi osobami? Czy „zerowy” wynik w teście oznacza zerowy poziom cechy psychologicznej? Na te i inne pytania dotyczące interpretacji otrzymanych wyników także trzeba odpowiedzieć, zanim zastosuje się określone narzędzie pomiarowe. Problemami opisanymi powyżej zajmuje się rozwinięta dziś gałąź psycho­ logii - t j . p s y c h o m e t r i a , inaczej t e o r i a t e s t ó w . W ramach psychometrii podejmuje się wiele zagadnień szczegółowych, takich jak sposoby budowania pozycji testowych (ang. test itetns), opracowywanie kryteriów wyboru pozycji testowych o najlepszych parametrach, zasady przekształcania odpowiedzi testowych na wyniki liczbowe, zasady oceny jakości tych wyni­ ków, zasady ich interpretacji czy wreszcie zasady określania stopnia stron­ niczości wyników testowych względem określonej grupy społecznej. Psychometria (czyli teoria testów) dostarcza m o d e l o w y c h r o z w i ą z a ń , i w tym sensie różni się od - mającego bardziej aplikacyjne znaczenie - pomiaru psychologicznego. To ostatnie pojęcie wiąże się raczej ze szczegółowymi zasadami posługiwania się konkretnymi metodami. Wypracowane w ramach teorii testów rozwiązania mogą być natomiast uogólniane na sytuacje pomiaru różnych cech psychologicznych. Rozwiązania te, najczęściej w postaci modeli matematycznych czy statystycznych, są największym dorobkiem psychometrii3. >- Psychometria jestti>g g ą f psycłwtog# zajmu»ącasięofcfeśłanienn wanmków, jakie powinny speMa6 naizędz>ftv^eHrzy^ywane {)4niiaru cech psychologicz­ nych, oraz budowaniem modę# wiążących wynikł takich pomiarów z rzeczywistymi

wartościami mierzonych cech.

20

3 W psychologii często wprowadza się rozróżnienie między tzw. diagnozą psychometry a diagnozą kliniczną (por. np. Geller, Kość, 1976; Paluchowski, 1991). Osiowymi pojęciami diagnozy psychometrycznej mają być jej obiektywność, standaryzacja, trafność, rzetelność i odniesienie do norm. Diagnozą kliniczną zaś opisuje się niekiedy jako impresjonistyczną, podkreślając w ten sposób fakt korzystania z różnych przesłanek wychodzących poza dane pomiarowe, a będących podstawą wnioskowania i przewidywania przez nią (też Cronbach, 1990, s. 34). W tej pracy koncentrować się b ęd ziem y na specyficznej klasie narzędzi diagnozy psychologicznej, jaką są metody testowe. Te zaś - bez względu na cel ich zastosowania - muszą spełniać określone kryteria, opisywane w skrócie jako kryteria psychometryczne.

W

n io s k o w a n ie p s y c h o m e t k y c z n e

Współcześnie można mówić o dwóch podstawowych teoriach psychometrycznych: teorii losowego doboru próby {random sampling theory) i teorii odpowiadania na pozycje testu (item response theory - Lord, 1952a). Każda z tych teorii w odmienny sposób wiąże ,wynik pomiaru testowego (wynik obserwowany) z tzw. wynikiem prawdziwym danej osoby. W ramach teorii losowego doboru próby rozpatrywane są dwa podstawowe modele: klasyczny (Gulliksen, 1950) wraz z modyfikacjami (Lord, Novick, 1968) oraz model znany jako teoria uniwersalizacji (Cronbach, Gleser, Nanda, Rajaratnam, 1972). Związek między wynikiem obserwowanym i prawdziwą wartością mierzonej cechy w teorii losowego doboru próby ujmuje się jako problem generalizacji danych z próby na większe populacje (uniwersa). Z kolei w ramach teorii odpowiadania na pozycje testu przyjmuje się, że określenie sposobu, w jaki osoba badana odpowiada na kolejne pozycje testu, pozwala na bezpośrednie określenie rzeczywistego wyniku tej osoby. O obu tych po­ dejściach będzie mowa w niniejszej pracy. 1.2. DEFINICJA TESTU I RODZAJE TESTÓW Definicja testu Omawiając podstawowe zadania teorii testów, posługiwaliśmy się - na razie w sposób nieformalny - pojęciem testu. Pora zatem na bliższe przyjrzenie się temu, czym jest test psychologiczny i jakie są jego podstawowe cechy charakterystyczne. Test jest narzędziem pomiarowym i jak każde narzędzie tego typu może dostarczać użytecznych wyników. I podobnie jak w wypadku każdego na­ rzędzia pomiarowego, posługiwanie się złym testem musi prowadzić do błędnych, a także szkodliwych społeęzniedecyzji. Czym są zatem testy psychologiczne, jakie powinny być ich właściwości oraz jakich korzyści powinny oczekiwać osoby badane - to pytania, na które przede wszystkim należy odpowiedzieć Zgodnie z definicją sformułowaną przez Amerykańskie Towarzystwo Psychologiczne w Standardach dla testów stoso­ wanych w psychologii i pedagogice (APA, 1985a, s. 8 ) „fest psychologiczny jest specyficzną procedurą diagnozowania. Może on być zbiorem zadań lub pytań, które - w standardowych warunkach - mają wywoływać określone rodzaje zachowań i dostarczać wyników o pożądanych właściwościach psyćhometrycznych, tj. posiadających wysokąrzetelność i wysoką trafność”. Podobnie definiują test Anastasi i Urbina (1999, s. 21), dla którychjest to „obiektywna i wystandaryzowana miara próbki zachowania”. Cronbach (1990, s. 32) z kolei podkreśla, że „test to systematyczna procedura obserwowania zachowania i opisywania tego zachowania za pomocą skał numerycznych łub ustalonych kategorii”. Wreszcie - według Choynowskfego (1971, s. 66 ) - „testy to zbiory pytań lub sytuacje, służące do badania własności jednostek lub grup ludzkich przez wywoływanie U nich określonych obserwowalnych reakcji werbalnych lub niewerbalnych, będących w miarę możności reprezentatywnymi próbkami ich zachowania się”.

21

R

o z d z ia ł

1

Jeszcze inaczej określa test Paluchowski (1991, s. 41). Jego zdaniem „bada­ nie testowe to taka sytuacja, w której osoba badana uczestniczy dobrowolnie, świadoma celu, jakim jest jej ocena. Jest to sytuacja tworzona specjalnie dla celów diagnostycznych, w której wywołuje się zachowania typowe pod wzglę­ dem tej charakterystyki, jaka ma być przedmiotem celowej obserwacji. Jest to sytuacja, która od diagnosty nie wymaga osobistego zaangażowania i w której jasno jest określony zakres i rodzaj dopuszczalnych zachowań”. W definicji tej autor zwraca uwagę na warunek kooperacyjnej postawy osób badanych, który stanowi milczące założenie każdego twórcy testu. Psycholog stosujący metody testowe powinien umieć taką postawę uaktywniać. W rozważaniach dotyczą­ cych testów psychologicznych warunek ten, niestety, często jest pomijany. Podsumowując ten krótki przegląd definicji testu, można stwierdzić, że test psychologiczny jest narzędziem, które: a) pozwala na uzyskanie takiej próbki zachowań, o których można przyjąć (np. na podstawie założeń teoretycznych), że są wskaźnikami interesującej nas cechy psychologicznej. Zachowania te nie muszą ściśle przypominać zachowań, które chcemy oszacować na podstawie testu. Wystarczy wy­ kazać, że istnieje między nimi określony związek; b) dostarcza reguł obliczania wartości mierzonej cechy; c) spełnia określone kryteria formalne, takie jak obiektywność, standaryzacja, rzetelność, trafność i normalizacja; d) jasno określa zakres i rodzaj dopuszczalnych zachowań ze strony diagnosty; e) zakłada kooperacyjną postawę osoby badanej. »• T e s t p s y c h o l o g i c z n y jest to naizędzię.pozyyaj&jącę na uzyskanie takiej reprezentatywnej próbki zachowań, o których możnaprzyjąć (npv. na podstawie założeń teoretycznych lub związków sfńpirytaaiyćh), źe s ą one wskaźnikami intere­ sującej nas cechy psychologicznej: Jest to narzędzie obiektywne, wystandaryzowane, trafne, rzetelne i znormalizowane, wyposażone w' reguły obliczania wartości mierzonej cechy psychologicznej orarjasno określając»zakres i rodzaj dopuszczal­ nych zachowań ze strony diagnosty. Nadto, badanie testowe to taka sytuacja, w której osoba badana uczestniczy dobrowolnie, świadoma celu, jakim jest jej ocena.

Rodząje testów

22

W literaturze można spotkać wiele różnych klasyfikacji metod testowych (por. Cronbach, 1990; Anastasi, Urbina, 1999). Jedna z takich klasyfikacji dzieli testy na techniki s t a n d a r y z o w a n e i n i e s t a n d ą r y z o w a n e . Testy standaryzowane to takie testy, które posiadają dokładnie sprecyzowane zasady ich stosowania oraz zostały wyposażone w normy, otrzymane w wy­ niku przebadania reprezentatywnej próby pochodzącej z populacji, dla której test ma być stosowany. Normy te stanowią podstawę interpretacji wyników otrzymanych przez osoby badane. Z kolei do testów niestandaryzowanych można zaliczyć np. testy wiadomości budowane przez nauczycieli na ich

W

n io s k o w a n ie p s y c h o m e t r y c z n e

własny użytek, w których dopuszcza się możliwość interakcyjnego modyfi­ kowania sytuacji badania. Testy takie często są stosowane tylko jeden raz. W innej klasyfikacji wyróżnia się testy i n d y w i d u a l n e i g r u p o w e . Testami indywidualnymi można badać osoby jedynie pojedynczo, podczas gdy testy grupowe pozwalają na jednoczesne testowanie dużych grup osób. Podział na testy indywidualne i grupowe ma u swoich podstaw kryterium wydajności, a kolejny podział na testy s z y b k o ś c i i m o c y odwołuje się do kryterium czasowego. Testy szybkości to takie testy, których czas rozwią­ zania jest ograniczony i - z założenia - żadna osoba badana nie powinna go ukończyć w wyznaczonym czasie. W teście szybkości różnice indywidualne są głównie determinowane szybkością wykonania. Składa się on z zadań generalnie niezbyt trudnych, tj. talach, które mogą zostać rozwiązane przez osoby, dla których przeznaczony jest test. Z kolei testy mocy to testy stwarzające każdej osobie badanej szansę na podjęcie próby rozwiązania wszystkich pozycji testu. Trudność zadań w takim teście stopniowo rośnie. Znajdują się w nim również takie zadania, które są na tyle trudne, że mało kto potrafi je rozwiązać. Tym samym jedynie niewielka liczba osób ma szansę otrzymać w takim teście maksymalny wynik. W tym wypadku otrzymany wynik jest determinowany przede wszystkim poziomem mierzonej cechy. Czwarty rodzaj klasyfikacji wyróżnia testy o b i e k t y w n e i n i e o b i e k t y ­ wne . Tu z kolei kryterium klasyfikacji jest sposób obliczania wyników w teście (osoba oceniająca ma swój udział w „tworzeniu” wyniku). Testy obiektywne posiadają tak starannie opracowane, stałe metody obliczania wyników, że sam wynik może zostać obliczony nawet przez osobę bez przygotowania psychologicz­ nego (najczęściej procedura obliczania wyników polega na przyłożeniu szablonu do arkusza odpowiedzi). Inaczej w testach nieobiektywnych - ocena odpowiedzi osoby badanej wymaga zazwyczaj dużej znajomości przedmiotu pomiaru i otrzymany wynik często odzwierciedla subiektywne umiejętności psychologa. Testy mogą zostać także poklasyfikowane ze względu na rodzaj zadań, z jakich są zbudowane. Ten podział pozwala wyróżnić testy s ł o w n e i b e z ­ s ł o w n e . Niektóre testy zawierają zadania zbudowane wyłącznie z materiału werbalnego (jak np. testy wiadomości), inne mogą polegać na wykonywaniu określonych czynności, np. wskazywaniu brakujących elementów czy też rysowaniu drogi w labiryncie. W zadaniach słownych jednym z kryteriów branych pod uwagę przy ocenie stopnia wykonania takiego zadania jest sprawność językowa osoby badanej, w zadaniach bezsłownych słabe opanowa­ nie języka nie jest czynnikiem wpływającym istotnie na otrzymywane wyniki. I wreszcie przedostatni rodzaj klasyfikacji - najważniejszy z psychometrycznego punktu widzenia, bo wskazujący na dwie odmienne klasy problemów natury psychometrycznej, które muszą zostać rozwiązane - to podział metod na testy w ł a ś c i w o ś c i p o z n a w c z y c h i w ł a ś c i ­ w o ś c i a f e k t y w n y c h . Te pierwsze, czyli testy właściwości poznaw­ czych, to testy mierzące wytwory procesów poznawczych (np. testy zdolności,

23

R

o z d z ia ł

1

uwagi, pojemności pamięci), te drugie z kolei to testy mierzące postawy, wartości, zainteresowania czy inne, pozapoznawcze, aspekty osobowości. W pierwszym wypadku każde zadanie testowe ma ściśle określoną odpowiedź prawidłową, a dodatkowym problemem, który należy tu wziąć pod uwagę, jest problem zgadywania. W drugim wypadku w ogóle nie istnieje kategoria odpowiedzi prawidłowej4, a problemem, z jakim trzeba się uporać, jest prob­ lem trafności samoopisu dokonywanego przez osobę badaną (por. rys. 1.2 ). Rys. 1.2. Podział testów ze względu na rodzaj możliwe] odpowiedzi Testy

uczucia postawy osobowość emocje wierzenia

▼ ZGADYWANIE

TRAFNOŚĆ SAMOOPISU

Na koniec warto wspomnieć o jeszcze jednym podziale testów, podziale na testy z o r i e n t o w a n e n a n o r m y or az z o r i e n t o w a n e n a k r y ­ t e r i u m 5. Tutaj kryterium podziału stanowi sposób interpretacji wyników. W testach zorientowanych na normy punktem odniesienia dla interpretacji wyników jest konkretna populacja osób, a w testach zorientowanych na kryterium tym punktem jest konkretny zakres wiedzy. Ta ostatnia kategoria testów pozwala na dokonanie opisu badanej jednostki w kategoriach specy­ ficznych umiejętności, jakie udało się jej opanować (por. rys. 1.3). Z kolei w testach zorientowanych na normy punktem odniesienia jest przeciętny

24

4 Trudno np. twierdzić, źe istnieje prawidłowa odpowiedź na pytanie „Czy zdarza ci się lubić ludzi, którzy wyznają inne wartości niż ty?”. W takim wypadku możemy mówić jedynie o odpowiedzi diagnostycznej (zgodnej z kluczem) lub o odpowiedzi niediagnostycznej (nie­ zgodnej z kluczem). 5 Termin test .¿orientowany na kryterium” został zaproponowany przez Glasera (1963), jednak stosowany był dość dowolnie. Dlatego też dzisiaj proponuje się w jego miejsce termin „test zorientowany na standard wykonania” (por. dyskusję w tej sprawie Anastasi i Urbina, 1999, s. 111). Co więcej, termin k r y t e r i u m bywa również stosowany na określenie trafności kryterialnej i ma - w tym kontekście - inne znaczenie. Tutaj termin „kryterium” czy „standard wykonania” oznacza pewien wz ó r , i w takim sensie będzie używany dalej.

W n io s k o w

a n ie p s y c h o m e t r y c z n e

Rys. 1.3. Podział testów ze względu na rodzaj interpretacji wyniku testowego

poziom wykonania testu w określonej grupie odniesienia. Tym sam jon normatywna interpretacja wyniku testowego jest interpretacją relatywną i zależy od tego, kto wchodził w skład badanej grupy osób. 1.3. KRYTERIA DOBROCI TESTÓW PSYCHOLOGICZNYCH Testem psychologicznym nie jest każdy zbiór pytań lub zadań, a tylko taki zbiór, który spełnia wszystkie - wymienione w definicji - warunki. Co więcej, test psychologiczny powinien również spełniać określone kryteria formalne, które za Brzezińskim (1984, s. 9) najczęściej określane są jako tzw. kryteria dobroci testów; tj. test powinien być obiektywny, wystandaryzowany, rzetel­ ny, trafny i znormalizowany. Omówimy je pokrótce, dodając jeszcze jedno kryterium - właściwą adaptację, które ma szczególne znaczenie wtedy, gdy na rynku polskim stosuje się testy opracowane za granicą.

Obiektywność, czyli niezależność wyników testowania Test jest obiektywny, jeżeli dwie różne oscrby opracowujące jego wyniki dochodzą do tegó samego rezultatu. Aby było to możliwe, test musi posiadać jasno określony klucz oceniania Odpowiedzi, zmniejszający do minimum wpływ subiektywnych interpretacji. Najbardziej klasyczną metodą badania stopnia obiektywności testu jest technika tzw. ślepej diagnozy. Technika ta polega na rozesłaniu tego samego, wypełnionego arkusza testowego do różnych osób oceniających. Jeżeli otrzymane wyniki i ich interpretacje będą do siebie podobne, można uznać dany test za obiektywny. Jest to diagnoza ślepa, bo jest dokonywana bez kontaktu z osobą badaną. W sytuacji rzeczywistej diagnozy kontakt z osobą badaną jest bardzo ważnym źródłem informacji. W tej

25

R

o z d z ia ł

1

konkretnej sytuacji chodzi jednak o to, aby indywidualne umiejętności korzystania z takich źródeł informacji nie wpływały na sposób oceniania wyników testowych. Warunek obiektywności zatem oznacza, że niezależnie od tego kto, gdzie i kiedy dokonuje oceny wyników tego samego testu, wykonanego przez tę samą osobę, powinien otrzymać takie same rezultaty.

Standaryzacja, czyli jednolitość warunków badania

26

Aby wyniki danego testu można było ze sobą porównywać, dany test powinien być zawsze przeprowadzany w identycznych warunkach. Tylko wtedy bowiem różnice w wynikach testowych badanych osób można przypi­ sać czynnikom indywidualnym, a nie np. zewnętrznym warunkom badania. Jeżeli w trakcie interpretacji wyników testowych będziemy chcieli skorzystać z norm testowych, to jednolitość warunków badania testem (standaryzacja) jest warunkiem absolutnie koniecznym. Warunek standaryzacji obejmuje następujące elementy sytuacji testowania (por. tab. 1. 1): instrukcję, pomoce oraz zasady oceniania i interpretowania wyników. Szczególną rolę w badaniu testowym odgrywa instrukcja stosowa­ nia testu. Jej przestrzeganie jest podstawowym elementem gwarantującym powtarzalność warunków' badania. W podręczniku testowym znajdziemy wszystkie ważne informacje dotyczące zasad badania testem, a więc: czy jest to badanie grupowe czy indywidualne, jaki jest czas badania, jaka jest kolejność zadań lub testów, czy istnieje możliwość powrotu do poprzednich zadań i wreszcie: jaki jest zakres pomocy udzielanej badanemu (por. też Anastasi, Urbina, 1999; Jaworowska, 1996). Przestrzeganie instrukcji podawanej osobie badanej jest tak ważnym czynni­ kiem decydującym o wyrównaniu warunków badania, że w Standardach dla testów stosowanych w psychologii i pedagogice (1985a, s. 25) zaleca się, aby w trudnych sytuacjach, tj. takich, w których modulacja głosu, pauzy czy wyraz twarzy osoby badającej mogą mieć znaczenie, nagrać instrukcję na taśmę magnetofonową. I choć na pierwszy rzut oka takie zalecenie wydaje się sensowne, to jednak z uwagi na obowiązek motywowania osób badanych i nawiązywania z nimi sprzyjającego kontaktu trudno pogodzić się z wprowadzaniem „bezdusz­ nej” maszyny w miejsce rzeczywistych relacji. Sądzę, że dobre szkolenia osób badających, obejmujące techniki nawiązywania kontaktów, są lepszym gwaran­ tem rozumienia konieczności przestrzegania procedury standaryzacji przewidzia­ nej dla danego testu niż mechaniczne odtwarzanie instrukcji z magnetofonu. Rozumiejąc istotę procedury standaryzacji, trudno zakceptować wcale nierzadkie fakty stosowania np. testu przeznaczonego do badań indywidual­ nych w sposób grupowy, tworzenia własnych, samodzielnie wykonanych pomocy testowych (bo te oryginalne są drogie i należy je kupić za granicą), podawania instrukcji w różny sposób (np. podawania więcej informacji tym, którzy z jakichś względów są nam bliżsi) czy też zadawania tylko części pytań zawartych w danym teście (bo reszta wydaje się niepotrzebna).

W

n io s k o w a n ie

psy ch om etryczne

Tab. 1.1. Elementy sytuacji badania testem objęte procedurą standaryzacji (opracowano na podstawie Standardów dla testów stosowanych w psychologii /pedagogice, 1985a, b; 1999) Czego dotyczy (troeedura standaryzacji? Procedura badania testem

Zasady ogólne

Wskazówki dotyczące badania testem powinny być przed­ stawione na tyle jasno i wyraźnie, aby testujący mógł i chciał powtórzyć sposób badania zastosowany przy usta­ laniu norm. Stosując metody testowe, należy dokładnie przestrzegać procedur/ badania testem opisanej w podręczniku.

Instrukcja

W instrukcji należy omówić takie zagadnienia, jak fakt badania indywidualnego czy grupowego, liczebność ba­ danej grupy, limity czasowe, sposoby zaznaczania od­ powiedzi na arkuszach, możliwość powrotu do poprzed­ nich zadań lub pytań, problem zgadywania, kolejność stosowania testów lub zadań oraz zakres pomocy udzie­ lanej badanemu. Jeżelł dopuszcza się możliwość rozszerzania lub uszcze­ gółowiania instrukcji przedstawionej w podręczniku testo­ wym, to należy przedstawić warunki, w jakich postępowa­ nie to jest dopuszczalne.

Procedura obliczania wyników

Pomoce

Aby utrzymać standaryzację metody testowej, należy okresowo sprawdzać materiał testu, wyposażenie oraz stosowaną procedurę.

Klucz do oceny odpowiedzi

Osoby stosujące testy są odpowiedzialne za dokładne obliczanie, sprawdzanie, kodowanie i rejestrowanie wyni­ ków testowych. Należy okresowo kontrolować stosowany system oblicza­ nia wyników.

Procedura interpreto­ wania wyników

Obliczanie wyników

Procedura obliczania wyników testowych powinna zostać przedstawiona w podręczniku testowym na tyle szcze­ gółowo! dokładnie, aby prawdopodobieństwo popełnienia błędu było jak najmniejsze.

Normy

Normy przedstawione w podręczniku testowym powinny zostać opracowane dla wyraźnie zdefiniowanych i opisa­ nych Ropulacji. Populację tę muszą.odpowiadać tym gru­ pom osób, z którymi badający testem będzie zazwyczaj porównywał osoby badane. Należy brać pod uwagę normy właściwe dla osoby badanej.

Podkreślmy wyraźnie: każde odstępstwo od standardowych, przewidzianych w podręczniku testowym, warunków badania sprawia, że badanie to nie jest już badaniem testowym! Wyniki takiego badania mogą być ewentualnie interpre­ towane jakościowo, absolutnie nie można je d n a k -w takim wypadku - korzy­ stać z norm testowych (por. Anastasi, Urinna, 1999; Jaworowska, 1996).

27

R

o z d z ia ł

I

Rzetelność, czyli dokładność pomiaru Rzetelność to inaczej dokładność pomiaru. Innymi słowy, jest to wielkość błędu, jaki popełnia psycholog, interpretując wyniki danego testu. Nie ma idealnego testu - tak jak nie ma idealnej linijki czy innego narzędzia pomia­ rowego. Dlatego też trzeba wiedzieć:, jak duży popełniamy błąd, stosując określony test, i określić granice interpretacji otrzymanego wyniku testowego. Zgodnie ze „rzetelność określana jest jako stopień, w jakim wyniki testowe można przypisać oddziaływaniu systematycznych źródeł wariancji” (Stan­ dardy..., 1985a, s. 58). Oznacza to, że rzetelność mówi nam o tym, w jakim stopniu wynik danego testu odzwierciedla poziom mierzonej cechy u danej osoby, a nie wpływ czynników losowy ch. Nie ma jednej uniwersalnej metody badania rzetelności, bowiem w każdej konkretnej metodzie bierze się pod uwagę różne źródła błędu. Dlatego też interpretując przedstawione w pod­ ręczniku testowym dane o rzetelności danego testu, należy zawsze oceniać je w kontekście metody, za pomocą której je otrzymano. Technicznie korzystanie z danych o rzetelności testu oznacza umiejętność zbudowania przedziału ufności dla tzw. wyniku prawdziwego badanej osoby. W podręczniku każdego profesjonalnego testu psychologicznego można znaleźć odpowiednie dane o wielkości standardowego błędu pomiaru, po­ zwalające na określenie granic przedziału, w którym - z odpowiednim prawdopodobieństwem - mieści się wynik prawdziwy badanej osoby. Do obowiązków psychologa należy uwzględnienie wielkości tego błędu przy interpretowaniu wyników (por. też Anastasi, Urbina 1999; Jaworowska, 1996). I dlatego aby testy były użyteczne, powinny posiadać odpowiednie tabele, pozwalające łatwo określić wielkość standardowego błędu pomiaru.

Trafność, czyli obszar zastosowania testu

28

Testy psychologiczne są zawsze stosowane w określonym celu. Najczęściej służą przewidywaniu zachowania osoby badanej w określonych sytuacjach. Np. możemy być zainteresowani przewidywaniem - na podstawie wyników testów inteligencji - predyspozycji menedżerskich badanych kandydatów, a na podstawie testu stylów kierowania określeniem tego, czy dana osoba może być dobrym kierownikiem. O tym, czy dany test możemy wykorzys­ tywać w taki, a nie inny sposób, decydują dane o trafności. Trafność testu to - empirycznie potwierdzony - obszar zastosowania testu. W Standardach dla testów stosowanych w psychologii i pedagogice (1985a, s. 33) t r a f n o ś ć określa się następująco: „Pytanie o trafność to pytanie o to, co można poprawnie wywnioskować na podstawie wyniku testowego. Pojęcie trafności dotyczy poprawności wniosków wyprowadzonych na pod­ stawie wyników testowych lub innych form badania. Wszelkie potencjalne pytania o trafność dadzą się sprowadzić do dwóch: (a) jakie wnioski można wyciągnąć na temat tego, co jest mierzone przez test; oraz (b) jakie wnioski można sformułować o innych (pozatestowych) zachowaniach?”. Mówiąc jeszcze inaczej, trafność to informacja o tym, jak test pełni swoją funkcję.

W

n io s k o w a n ie p s y c h o m e t r y c z n e

W podręczniku testowym można znaleźć informacje na ten temat. Pamiętać należy jednak o tym, że trafność zawsze dotyczy konkretnego zastosowania. Nie ma testów, które można by stosować wszędzie i w każdym celu. Dlatego też dane dotyczące trafności powinny być analizowane szczególnie starannie, a wybór konkretnego testu powinien zostać poprzedzony dokładną analizą celu badania.

Normy, czyli nadawanie znaczenia wynikom testowym Wynik otrzymany w teście psychologicznym nie ma żadnego znaczenia tak długo, jak długo nie można odnieść go do precyzyjnego i jednolitego układu odniesienia. Istota testów psychologicznych polega bowiem na tym, że podstawą interpretacji wyników testowych jest zawsze jakiś układ odniesienia. Najczęściej układ ten ma charakter statystyczny. Oznacza to;, że wynik surowy (otrzymany w wyniku badania testem) danej osoby odnosi się do rozkładu wyników otrzymanego w próbie standaryzacyjnej; pozwała to stwierdzić, w którym miejscu rozkładu mieści się osoba badana. Podstawą formułowania wniosków o właściwościach psychologicznych osób badanych jest zawsze ocena tego, jak badana osoba wypada na tle innych osób (grupy odniesienia). Wybór grupy odniesienia ma zatem kluczowe znaczenie dla tego, jakie wnioski końcowe zostaną wyprowadzone (por. Anastasi, Urbina, 1999; Jaworowska, 1996). Czym jest zatem procedura normalizacji? Według Brzezińskiego (2000, s. 412) „normalizacja testu to procedura tworzenia zbiorów, w specjalny sposób przetworzonych, wyników testu dla osób o określonych właściwoś­ ciach zdefiniowanych za pomocą kryterium zewnętrznego; osoby te stanowią reprezentatywną, w sensie statystycznym, próbę”. Efektem normalizacji testu jest zbudowanie zestawu norm, które stanowią podstawę interpretacji wyni­ ków testowych uzyskanych przez konkretne osoby badane. Normy testowe mają zatem charakter relatywny - zależą bowiem od tego, kto tworzy grupę odniesienia. Inaczej mówiąc, wynik tej samej osoby może zostać raz zinterpretowany jako niski, raz jako przeciętny, a raz jako wysoki - wszystko zależy od tego, z jaką grupą odniesienia wynik ten został porów­ nany. Brak właściwych (np. opracowanych dla populacji polskiej) norm dyskwalifikuje zatem metodę jako test psychologiczny. Cóż bowiem może wynikać z porównania Polaka badanego w roku 2000 z normami opracowa­ nymi dla populacji amerykańskiej w latach 50? Nic, oczywiście, poza fał­ szywym przekonaniem, że dziś - być może - jesteśmy lepsi (por. też dyskusję na temat znaczenia norm w kwestionariuszu MMPI - Paluchowski, 1987).

Właściwa adaptacja, czyli dopasowanie testu do polskich warunków Spora część testów stosowanych w Polsce to testy obcojęzyczne. Aby takie testy mogły być stosowane u nas, powinny zostać nie tylko prze­ tłumaczone (co jest raczej oczywiste), ale także zaadaptowane do warunków polskiej kultury. Adaptacja to proces przystosowania wersji pierwotnej do specyfiki kultury lokalnej i nie sprowadza się ona jedynie do właściwego przetłumaczenia tekstu oryginału.

29

R

o z d z ia ł

I

Przystępując do kulturowej adaptacji każdej techniki diagnostycznej, przyj­ mować można dwie różne strategie tworzenia takiego narzędzia: a) s t r a ­ t e g i ę p s y c h o m e t r y c z n ą , dla której kryterium tożsamości jest em­ pirycznie potwierdzone podobieństwo rozkładów odpowiedzi na pozycje testowe i/lub rozkładów wyników globalnych, oraz b) s t r a t e g i ę p r a g ­ m a t y c z n ą , dla której takim kryterium jest podobieństwo funkcji, jaką ma pełnić dana technika i decyzje oparte na uzyskanych za jej pomocą wynikach. Adaptacja kulturowa według strategii psychometiycznej w istocie niczym nie różni się od tworzenia równoległej do oryginalnej kultury wersji narzę­ dzia. Adaptacja według strategii określonej jako pragmatyczna odwołuje się natomiast do kulturowego i społecznego kontekstu badania diagnostycznego za pomocą danego narzędzia oraz teoretycznego zaplecza, do którego od­ wołuje się psycholog, interpretując wyniki tego narzędzia6. Często uważa się, że podstawą dobrej adaptacji jest wierne przetłumaczenie oryginału. Tymczasem bezrefleksyjne tłumaczenie słowa po słowie może przynieść opłakane skutki (por. Ciechanowicz, 1996; Drwal 1990). Przytocz­ my jeden taki przykład (za: Ciechanowicz, 1996, s. 39)7. Oto w tłumaczeniu testu inteligencji można znaleźć co następuje: Która z następujących liczb wyraża najlepiej podobieństwo między przedstawionymi niżej słowami: 7, 5, 3, 9, 11, czy 19? czerwony, pies, łóżko, kot, dziesięć, chłopiec? Zadanie to, choćby nie wiem ile czasu mu poświęcić, nie daje się w ogóle rozwiązać. Czy to znaczy, że jest ono bardzo trudne, a my po prostu nie potrafimy tego zrobić? Otóż nie: bezmyślny tłumacz przełożył bowiem oryginalny zestaw słów red, dog, bed, cat, ten, boy w sposób dosłowny, zupełnie natomiast zapomniał, po co to robi! Problem adaptacji nie sprowadza się jedynie do mądrego przekładu oryginal­ nej metody. Przeanalizujmy taki przykład. Oto w jednej z najbardziej znanych metod przeznaczonych do badania inteligencji ludzi dorosłych znajduje się w oryginale taka pozycja testowa: „How many pints make a quart?”. Pytanie to jest traktowane jako łatwe dla populacji amerykańskiej i znajduje się na piątym z kolei miejscu w teście. Tymczasem w polskiej adaptacji testu pytanie to zastąpiono pytaniem: „Ile tuzinów liczy kopa?”. Rzecz w tym, że Amerykanie do dziś przeliczają objętość na pinty oraz kwarty i te miary objętości są im dobrze znane, dla Polaka zaś pytanie o kopy i tuziny jest pytaniem o miary archaiczne, i dlatego jest trudniejsze od amerykańskiego odpowiednika. Sprawą decydującą o jakości adaptacji jest zachowanie koncepcyjnych podstaw metody przyswajanej w obrębie danej kultury. Znajomość ich pozwala bowiem na odtworzenie reguł oryginalnej metody, a co za tym

30

6 Szerzej w sprawie kryteriów adaptacji por. Brzeziński, Homowska (2000). 7 Więcej przykładów kłopotliwej adaptacji można znaleźć w pracy pod redakcją Ciechanowicz Kulturowa adaptacja testów (1990).

W n io s k o w

a n ie p s y c h o m e t r y c z n e

idzie - logicznie z nimi spójnych reguł adaptacji. Tylko dzięki temu propono­ wane kulturowe odpowiedniki wywodzić się będą z oryginalnej bazy teorety­ cznej, a koncentracja na zapewnieniu trafności pozwoli na interpretowanie wyników danej adaptacji metody zgodnie z oryginalną teorią metody. Nie ma i nie może być jednego optymalnego sposobu adaptacji testu. Zawsze zależy to od celu, dla jakiego przeznaczony jest test. Zgodzić się należy zatem z tym, że ,jeżeli chcemy posiaidać narzędzie jak najlepiej mierzące pewne cechy w Polsce i przydatne dla praktyki w naszym kraju, trzeba je opracować na nowo, uwzględniając w jak największym stopniu specyfikę lokalną (...)” (Drwal, 1990, s. 133). P o d s u m o w u j ą c , należy w tym miejscu wyraźnie podkreślić, że dobry test to test, który spełnia wszystkie wymienione wyżej warunki. Jest metodą obiektywną, wystandaryzowaną, trafną, rzetelną, znormalizowaną i dodatkowo - w wypadku testów obcojęzycznych - właściwie przystosowaną do kultury polskiej. Pomijanie (czy niedocenianie) któregokolwiek z tych warunków należy traktować jako brak profesjonalnej dbałości o własne instrumentarium pomiarowe. Trudno bowiem w wypadku quasi-testu (a więc takiej metody, która tylko z pozoru przypomina test psychologiczny) mieć pewność, że mierzy ona to, co chcemy, żeby mierzyła, że czyni to odpowiednio dokładnie, a otrzymane w wyniku jej zastosowania wyniki mają jakieś znaczenie psychologiczne (por. też tab. 1.2 ). Tab. 1.2. Kryteria pozwalające odróżnić dobry test od złego testu (opracowano na podstawie Standardów dla testów stosowanych w psychologii I pedagogice, 1985; Ciechanowicz, 1996; Anastasi, Urbina, 1999) Warunki, jakie powinien spełnla• K aŻ % Ś ^psy$«fD j$^yi 5i ^ ^ wlrtłen ftyć otJteW^wriy? w wyjattetesiów blw ^ęzyezny^M W taśi^^

dobroci : ł 2iłóm«fflzowany, oraz zaadaptowany'.

• o b i e k t y w nośó~t o nieaałeżnośić wyników testowych od tego kto, gdzie i kiedy dokonują ich oceny . • s t a n d a r y z a c j a - t o j&dnołitość reguł badania dąnym testem

• t r a f n o ś ć - t o dokładność, z*jaką test realizuje zatbżone cele pomiarowe • r z e t e l n o ś ć - t o precyzja realizowanego pomiaru: • n o r m a l i z a c j a - t o procedura wyposażania testu w statystyczne kryteria interpretacji wyniku testowegaśnotTny) • a d a p t a c j a k u l t u r o w a - przystosowanie oryginalnego testu do nowych warunków kulturowych.

1.4. PROCES WNIOSKOWANIA PSYCHOMETRYCZNEGO Wiedząc już, czym jest test oraz jakie kryteria dobroci powinien test psychologiczny spełniać, zastanówmy się nad tym, jak na podstawie wyniku testowego wyprowadza się wnioski o wartościach cech psychologicznych badanych osób. Proces ten nazywać będziemy dalej p r o c e s e m w n i o s ­ kowania psycho metrycznego. »- P r o c e s w n i o s k o w a n i a " p s y c h ó r n e t r y ć ż n e g o jest to proces wypro­ wadzania wniosków o wąrtościach cech psychologicznych badanych osób na pod­ stawie wyników, jakie otrzymały’one w testach psychologicznych.

32

Istotą stosowania testów psychometrycznych jest stworzenie możliwości wnioskowania o nieobserwowalnych właściwościach psychologicznych na podstawie obserwowalnego zachowania w kontrolowanych warunkach (la­ boratoryjnych) oraz wyrażającego go wyniku testowego. Punktem wyjścia psychometrycznej definicji pojęcia cechy psychologicznej jest przyjęcie założenia, że cesze odpowiada hipotetyczne kontinuum, na którym można rozmieścić wszystkie badane osoby zgodnie z wartością (natężeniem) tej cechy. Pozycja jednostki na tym kontinuum jest relatywnie stała i wyjaśnia stałość zachowania w podobnych sytuacjach (por. Lord, Novick, 1968). Dokonując oceny wartości natężenia cechy, psycholog przyjmuje, że im częściej (a dokładniej: w im większej liczbie sytuacji, w których przejawia się owa cecha) dana osoba przejawia określone zachowania, tym wyższy jesi poziom cechy, której te zachowania są manifestacją. Test psychometrycznj (ergo - definicja operacyjna) zarówno pozwala na uzyskanie próbek za­ chowań, jak i dostarcza reguł obliczania wartości estymatora mierzonej cech} dla danej osoby (por. definicja testu). Podstawą wnioskowania psychometrycznego jest zatem wynik otrzymany w teście, nazywany dalej w y n i k i e m o b s e r w o w a n y m . Wynik obser wowany odzwierciedla jedynie poziom wykonania zadań (pozycji) tworzącycl konkretną próbkę, jaką jest zastosowany test, w konkretnym czasie i w konkret

W n io s k o w

a n ie p s y c h o m e t r y c z n e

nym miejscu. Dlatego też wynik ten może (ale nie musi) odzwierciedlać rzeczywisty poziom mierzonej cechy u osoby badanej. Technicznie wynik obserwowany jest uzyskiwany najczęściej poprzez przypisywanie wartości liczbowych odpowiedziom lub reakcjom na pozycje testu (zadania czy pytania). Pozycje testowe są oceniane w kategoriach odpowiedzi prawdziwej (diag­ nostycznej) lub nieprawdziwej (niediagnostycznej), a wynik ogólny w teście jest sumą udzielonych odpowiedzi. Określając liczbę zachowań uznanych za diagnostyczne, psycholog dokonuje oceny ogólnej wartości natężenia cechy, rozumianej jako inwariant sytuacji i czasu, Im więcej diagnostycznych za­ chowań stwierdzi u danej osoby, tym wyższą wartość cechy jest skłonny jej przypisać8. W y n i k o b s e r w o w a n y jest to wynik, jaki badana osoba otrzymuje w teście psychologicznym. >- W y n i k p r a w d z i w y jest to wynik odzwierciedlający rzeczywistą wartość mierzonej cechy u danej osoby.

Gdybyśmy mogli przebadać tę samą osobę wszystkimi możliwymi pozyc­ jami testowymi (a więc dysponować jej odpowiedziami dla całego uniwersum możliwych pozycji; a nie tylko dla próby pochodzącej z owego uniwersum), w różnych możliwych warunkach i w różnym czasie, to moglibyśmy oszaco­ wać wartość w y n i k u p r a w d z i w e g o 9 dla tej osoby. Oczywiście, byłoby rzeczą idealną, gdyby decyzje dotyczące badanych osób mogły opierać się nie na wynikach obserwowanych, a na wynikach prawdziwych. W rzeczywis­ tości jednak decyzje te zawsze są oparte na wynikach obserwowanych, wyniki prawdziwe bowiem są jedynie pewną idealizacją. R z e t e l n o ś ć , tj. wiel­ kość współczynnika korelacji między wynikiem obserwowanym a wynikiem prawdziwym, mówi nam, w jakim stopniu nie obserwowane wyniki praw­ dziwe wyjaśniają wariancję wyników obserwowanych. Im wyższa rzetelność testu, tym dokładniej możemy oszacować wynik prawdziwy badanej osoby. Rzetelność jest rozsądnym kryterium jakości testu, o ile można przyjąć, że pozycje testowe są t r a f n y m i wskaźnikami mierzonej cechy. Może być bowiem tak, że oszacowany na podstawie wyniku obserwowanego wynik 8 Takie częstościowe (statystyczne) rozumienie wyniku testu psychologicznego umożliwiło zastosowanie do jego opisu aparatu statystyki i opracowanie teorii wyników testowych. 9 Wynik prawdziwy rozumiany bywa najczęściej na dwa sposoby. Zgodnie z tzw. m o ­ d e l e m p l a t o ń s k i m , wynik prawdziwy jest utożsamiany z rzeczywistą wartością mierzo­ nej cechy. Podobnie jak każdy obiekt fizyczny posiada; określone wartości swoich cech fizycznych, niezależnie od aktu dokonywania pomiaru i wyboru narzędzia pomiarowego, tak i każdy człowiek (w danym momencie czasu) posiada prawdziwe (choć nie znane) wartości swoich cech psychologicznych. Wynik prawdziwy zatem istnieje niezależnie od aktu dokony­ wania pomiaru (por. Gulliksen, 1950). Z kolei zgodnie z tzw. m o d e l e m s t a t y s t y c z ­ ny m, wynik prawdziwy jest średnią rozkładu skłonności danej osoby w określonym teście. Rozkład skłonności zaś tworzony jest przez wszystkie możliwe wyniki owego testu u tej osoby (por. Lord, Novick, 1968).

33

R

o z d z ia ł

1

prawdziwy nie odzwierciedla wcale tej cechy psychologicznej, o którą psychologowi chodzi. To, że autor testu konstruował swoją metodę z intencją realizacji konkretnego celu, nie jest jeszcze gwarancją sukcesu! I tak np. jeżeli test uzdolnień matematycznych składa się wyłącznie z zadań teks­ towych wymagających wcześniejszego przeczytania, to wysoki wynik otrzy­ many w takim teście wcale nie musi odzwierciedlać wysokich zdolności matematycznych, a np. też lub tylko wysokie kompetencje językowe. Wynik prawdziwy zatem musi być traktowany jako pewien wskaźnik; ściślej, jako wskaźnik tego, jaką cechę (konstrukt psychologiczny) mierzy dany test. Sam wynik prawdziwy jako taki odzwierciedla „coś”, a o tym, co to jest, mówią nam dane dotyczące trafności testu. Mówiąc jeszcze inaczej - trafność jest związkiem zachodzącym między wynikiem prawdziwym a p r z e d m i o ­ t e m p o m i a r u (por. rys. 1.4). Im więcej posiadamy danych na temat trafności testu, tym większy jest zakres interpretacji wyniku otrzymanego w teście10. W rzeczywistej sytuacji testowania rozpoczynamy zazwyczaj od etapu, który na rys. 1.4 znajduje się na samym dole, tj. od pomiaru. Na tym etapie przekształcamy odpowiedzi udzielone przez osobę badaną na wartości licz­ bowe. Następnie szacujemy, w jakim stopniu wynik otrzymany odzwierciedla wynik prawdziwy badanej osoby. Wreszcie oceniamy trafność naszych wnios­ kowań, a więc to, co możemy powiedzieć na podstawie oszacowanego wyniku prawdziwego badanej osoby. Celem przedstawionego schematu (por. rys. 1.4) jest wskazanie na istotne elementy procedury wnioskowania o wartościach cech psychologicznych. Mechaniczne utożsamianie wyniku otrzymanego w teście z poziomem mie­ rzonej cechy (co wcale nierzadko ma miejsce!) jest zarówno świadectwem braku profesjonalizmu, jak i braku odpowiedzialności za podejmowane decyzje. I choć może truizmem jest stwierdzenie, że testy stosujemy nie po to, aby uzyskać jakiś wynik, ale po to, by zwiększyć wiedzę o osobach badanych, i po to, aby to one - na podstawie uzyskanych wyników - miały szansę np. na zmianę, warto ten prosty fakt tu podkreślić. Od wyniku otrzymanego w teście do diagnozy psychologicznej wiedzie długa droga, a jej początkowy odcinek wymaga znajomości znaków topograficznych, którymi dla nas są pojęcia, takie jak wynik otrzymany, wynik prawdziwy, rzetelność i trafność.

34

10 Warto w tym miejscu wspomnieć o pewnym paradoksie. Wynik testowy będący odpowiedzi diagnostycznych jest otrzymywany przy założeniu, że odpowiedź na każdą pozycję testową posiada to samo znaczenie, jakie nadaje się wynikowi globalnemu. Stąd też pod­ stawowym założeniem klasycznej teorii testów jest założenie homogeniczności pozycji testo­ wych - każda pozycja, jak również wszystkie razem, posiada to samo znaczenie. Homogeniczność pozycji testowych gwarantuje otrzymanie wysokiej rzetelności pomiaru, obniża natomiast trafność testu (por. Crocker, Algina, 1986) - a ta cecha testu jest przecież najważniejsza z punktu widzenia stosującego go psychologa! Do zagadnienia tego wrócimy później.

W n io s k o w

a n ie p s y c h o m e t k y c z n e

Rys. 1.4. Proces wnioskowania psychometrycznego (opracowano na podstawie Suen, 1990. s. 6)

1.5. DWA SŁOWA O HISTORII TESTOWANIA O tym, że ludzie różnią się zdolnościami, osobowością czy zachowaniem że te różnice można w jakiś sposób określić, wiedziano już od dawna. Źródeł badań testowych można bowiem szukać już w starożytnych Chinach. Jak podaje DuBois (1970) około roku 2200 p.n.e. w Cesarstwie Chińskim opracowano system egzaminów pozwalający wybierać pracowników do służb publicznych. Każdy z urzędników przechodził przez sito egzaminacyjne co trzy lata11. Za czasów panowania dynastii Shang (lub też - jak chcą inne źródła - dynastii Zhou), tj. około roku 1115 p.n.e., system ten został zmody­ fikowany i w tej formie przetrwał aż do roku 1905, kiedy to został zaniechany. “ Co ciekawe, wzorowany na tym systemie sposób rekrutacji urzędników w XIX-wiecznej Francji i Anglii okazał się bardzo skuteczny.

35

R

o z d z ia ł

36

1

I może nie warto by wspominać o tym fakcie, gdyby nie to, że jak się okazuje, już cztery tysiące lat temu przedmiotem dociekań były te same zagadnienia, jakie są podejmowane przez współczesnych psychometrów. To tedy bowiem narodziła się idea, że ludzie piastujący ważne stanowiska powinni posiadać określone umiejętności, co - biorąc pod uwagę, że były to czasy wszechwładnego nepotyzmu - jest niewątpliwie godne podziwu. Co więcej, już wtedy formułowano kryteria, jakie każdy kandydat spełniać powinien (np. były to wysokie umiejętności jeździeckie, ¡arytmetyczne, wysoka sprawność pisania - por. DuBois, 1970). Można więc powiedzieć - używając dzisiejszej terminologii - że budując testy, już wówczas brano pod uwagę ich trafność kryterialną! W średniowiecznej Eiuropie problem określania różnic indywidualnych między ludźmi, przynajmniej z naukowego punktu widzenia, nieomal nie istniał. W tym okresie bowiem fakt urodzenia się w danej klasie społecznej był czynnikiem decydującym o tym, jakie działania mogli ludzie podej­ mować, a ich własna aktywność i umiejętności schodziły zdecydowanie na dalszy plan. Wiek XVI i początki kapitalizmu przyniosły odrodzenie idei indywidualizmu, jednakże zasadnicze zmiany w dziedzinie badania różnic indywidualnych nastąpiły dopiero w wieku XIX. Na początku XIX wieku naukowcy nie byli szczególnie zainteresowani pomiarem różnic indywidualnych. Różnice te dostrzegano głównie w obszarze zdolności sensomotorycznych oraz umysłowych i były one raczej traktowane jako przeszkoda w formułowaniu ogólnych praw nauki niż jako przedmiot badań naukowych. Zanim wynaleziono precyzyjne narzędzia do pomiaru wielkości fizycznych, dokładność pomiaru czasu czy odległości zależała przede wszystkim od zdolności percepcyjnych obserwatorów. Obserwatorami były zazwyczaj osoby szkolone i wyćwiczone w tym, co mają robić, a mimo to pomiary dokonywane przez różne osoby, jak też przez te same osoby w różnych sytuacjach, nigdy nie były takie same. Ponieważ trudno budować ogólne prawa nauki, gdy pomiar istotnych wielkości nie może być uznany za pomiar rzetelny, naukowcy początkowo kierowali swoją uwagę na budowanie instrumentów pomiarowych, które dawałyby bardziej stałe i precyzyjne wyniki niż bezpośred­ nia ludzka obserwacja. Zainteresowanie badaniami różnic indywidualnych systematycznie rosło w drugiej połowie X3X wieku, głównie za sprawą pojawie­ nia się psychologii jako nauki oraz pracy Karola Darwina zatytułowanej On the Origins ofSpecies by Means o f Natural Selecńon (O powstawaniu gatunków drogądoboru naturalnego). Sam Darwin był Anglikiem, jednak psychologia naukowa narodziła się pod koniec XIX wieku nie w Anglii, a w Niemczech. To wtedy właśnie badacze, tacy jak Gustaw Fechner, Wilhelm Wundt czy Hermann Ebbinghaus, udowadniali, że zjawiska psychologiczne można wyrażać w termi­ nach ilościowych. Wtedy również swój wkład do mierzenia różnic indywidual­ nych wnieśli badacze z Francji i ze Stanów Zjednoczonych. I tak, badania psychiatrów i psychologów francuskich zajmujących się upośledzeniami umysłowymi wpłynęły na rozwój klinicznych i testowych technik diagnozy, a rosnące

W n io s k o w

a n ie p s y c h o m e t r y c z n e

zainteresowanie egzaminami pisemnymi, jakie przeprowadzano w amerykań­ skich szkołach, wpłynęło na rozwój standaryzowanych testów osiągnięć (por. też Stachowski, 2000). Wiele postaci odegrało pod koniec XIX wieku istotną rolę w tworzeniu podstaw współczesnej psychometiii. Na szczególne podkreślenie zasługują prace Franciszka Galtona, Jamesa McKeena Cattella i Alfreda Bineta. Galton (notabene kuzyn Darwina) zajmował się dziedzicznymi podstawami inteligen­ cji i technikami mierzenia zdolności. Szczególnie interesował się dziedzi­ czeniem wśród „geniuszy” i formułował tezy dotyczące istoty zdolności umysłowych. Jego zdaniem o byciu „geniuszem” decydowały dwie cechy: energia działania i wrażliwość zmysłowa. Galton stworzył również - i to jest jego najważniejsza zasługa dla rozwoju psychometrii - wiele prostych testów sensomotorycznych i opracował kilkanaście metod analizy wielkości różnic indywidualnych. Posługując się swoimi testami, zebrał dane pochodzące z badań ponad 9000 osób w wieku od 5 do 80 lat! Był to pierwszy duży, systematyczny zbiór danych dotyczących różnic indywidualnych. Warto też w tym miejscu powiedzieć, że jednym z ważniejszych metodologicznych osiągnięć Galtona było wprowadzenie pojęcia i techniki „ko-relacji”, po­ wszechnie stosowanej dziś metody analizowania danych (DuBois, 1970). James McKeen Cattell był Amerykaninem, który po zrobieniu - pod kierunkiem Wundta - doktoratu w Niemczech osiadł w Anglii i pracował jako asystent Galtona. Tam poznał jego testy i metody, co zainspirowało go na tyle, że po powrocie do Ameryki zajął się propagowaniem idei badań testo­ wych. W trakcie swojej pracy na Uniwersytecie Pensylwańskim Cattell starał się powiązać wyniki tych prostych t e s t ó w u m y s ł o w y c h 12 badających czas reakcji i różnicowanie sensoryczne ze stopniami szkolnymi. Otrzymane korelacje były jednak bardzo niskie. W ten sposób powstała potrzeba skon­ struowania testów, które byłyby dobrymi predyktorami osiągnięć szkolnych. Człowiekiem, który podjął się takiego zadania, był Francuz, Alfred Binet. Alfred Binet i współpracujący z nim lekarz Teodor Simon otrzymali w roku 1904, z francuskiego Ministerstwa Edukacji Publicznej, zadanie stworzenia metody identyfikującej dzieci mające trudności w uczeniu się (upośledzone umysłowo). W tym celu stworzyli test przeznaczony do badań indywidual­ nych, składający się z 30 zadań ułożonych według rosnącej trudności. Przed­ miotem pomiaru tego pierwszego t e s t u i n t e l i g e n c j i , opublikowanego w 1905 roku, były zdolności oceniania, rozumowania i wnioskowania. W 1908 roku ukazała się pierwsza rewizja testu, zawierająca większą liczbę 12 To Cattell właśnie, w jednej ze swoich publikacji z roku 1890, wprowadził pojęcie „testów umysłowych”. On także był inspiratorem założenia Psychological Corporation, in­ stytucji, której celem miało być „wspieranie psychologii i promocja użytecznych zastosowań psychologii”. Jego osoba jest też często utożsamiana z tzw. „Skalą Inteligencji dla Dzieci Cattell” (Cattell Infant Intelligence Scalę), której autorką była w rzeczywistości jego córka Psyhe (por. Cohen, Swerdlik, 1999).

37

R

o z d z ia ł

1

zadań, odpowiednio pogrupowanych dla poziomów wiekowych od 3 do 13 lat. Wtedy też Binet wprowadził pojęcie w i e k u u m y s ł o w e g o jako sposób wyrażania wyniku otrzymanego w teście. Kolejna rewizja Skali Inteligencji Bineta-Simona, opublikowana w 1911 roku, tuż po niespodzie­ wanej śmierci Bineta, pozwalała również na badanie ludzi dorosłych. Do pionierów testowania należy również zaliczyć Chaiiesa Spearmana, który wniósł wkład do teorii testów, Edwarda L. Th0 mdike’a (testy osiągnięć), Lewisa Termana (testy inteligencji), Roberta Woodwortha i Hermana Rorschacha (testy osobowości) oraz Edwarda K. Stronga (testy zainteresowań) - by wymienić tylko niektórych. Prace Artura Otisa nad testami inteligencji typu papier i ołówek bezpośrednio przyczyniły się do powstania „Testu Alfa dla Wojska” (Army Alpha) oraz „Testu Beta dla Wojska” (Army Betha), stworzonych przez psychologów wojskowych w trakcie I wojny światowej. Oba testy, „Alfa” dla osób piśmiennych i „Beta” dla osób niepiśmiennych, były testami grupowymi pozwalającymi na jednoczesne badanie dużej liczby osób (por. też Aiken, 1982). Począwszy od I wojny światowej możemy obserwować bardzo dynamiczny rozwój zarówno teorii testowania, jak i samych metod testowych. Nazwiska osób, które odegrały istotną rolę w kształtowaniu dzisiejszych testów, ciągle widnieją w nazwach stworzonych przez nich metod. Trudno w tak skrótowym przeglądzie wspomnieć wszystkich badaczy. Warto jednak wracać do korzeni, bowiem - jak pisze Anastasi - „kierunek, w jakim zmierzają współczesne badania testowe, można jaśniej dostrzec w świetle rzucanym przez prace ich prekursorów. Specyficzne zalety i ograniczenia testów stają się bardziej zrozumiałe w kontekś­ cie danych pokazujących ich genezę” (Anastasi, Urbina, 1999, s. 56).

Podstawowe pojęcia: • Kryteria dobroci testów obiektywność standaryzacja rzetelność trafność normalizacja adaptacja • Test • Testy obiektywne i testy nieobiektywne • Testy słowne i testy bezsłowne • Testy standaryzowane i testy niestandaryzowane • Testy właściwości poznawczych i testy właściwości afektywnych • Testy zorientowane na normy i testy zorientowane na kryterium • Wnioskowanie psychometryczne • Wynik obserwowany • Wynik prawdziwy 38

W n io s k o w

a n ie p s y c h o m e t r y c z n e

Tab. 1.3. Najważniejsze daty w historii pomiaru psychologicznego (opracowano na podstawie DuBois, 1970; Cronbach, 1990; Goidberg, 1994; Anastasi, Urbina, 1999; Cohen, Swerdllk, 1999) Data

Wydarzenie

2200 p.n.e.

Uruchomienie w Chinach programu testowania kandydatów na stanowiska urzędników państwowych

1219 n.e.

Pierwsze formalne, ustne egzaminy z prawa na Uniwersytecie w Bolonii

1575

J. Huarte publikuje rozprawę Examen de Ingenios, poświęconą różnicom indywidualnym

1636

Uniwersytet w Oksfordzie wprowadza ustne egzaminy przy nadawaniu stopnia naukowego

1860

Początek stosowania egzaminów ustnych na szeroką skalę zarówno w Europie, jak i w Stanach Zjednoczonych

1869

Publikacja Galtona Classificsition o f Men According to Their Natural Gifts rozpoczyna badania naukowe nad różnicami indywidualnymi

1879

W Lipsku powstaje pierwsze laboratorium psychologiczne, założone przez W. Wundta

1888

J.M. Cattell otwiera laboratorium na Uniwersytecie Pensylwań­ skim

1893

Na wystawie w Chicago J. Jastrow demonstruje testy sensomotoryczne

1904

C. Spearman występuje z dwuczynnikową teorią inteligencji

1905

Ukazuje się „Skala Inteligencji Bineta-Simona”. C. Jung wpro­ wadza pojęcie testu skojarzeń słownych

1908

Rewizja „Skali Inteligencji Bineta-Simona” oraz opublikowanie „Testu Arytmetycznego” C. Stone’a

1908-1914

E.L. Thomdike publikuje standaryzowane testy arytmetyczne, językowe, sprawności pisania

1916

L. Terman publikuje amerykańską wersję „Skali Inteligencji Bineta-Simona”

1917

Zastosowanie pierwszych testów do badań grupowych, tj. Army Alpha i Army Betha; wykorzystanie „Arkusza Danych Osobistych" opracowanego pirzez R. Woodwortha

1919

L. Thurstone opracowuje test wykorzystywany przy egzami­ nach wstępnych do college’u

1920

Ukazuje się test „Plamy Atramentowe” H. Rorschacha

1921

Cattell, Thomdike oraz Woodworth zakładają Psychological Corporation, pierwszą instytucję zajmującą się wydawaniem testów

1925-1950

Masowe stosowanie testów w Stanach Zjednoczonych, niemal we wszystkich obszarach życia

R

o z d z ia ł

1

cd. tab. 1.3 1938

Ukazuje się pierwsza publikacja O.K. Burosa „Mental Measure­ ments Yearbook”

1939

D. Wechsler publikuje test do badania inteligencji osób do­ rosłych „Wechsler Adult-lntelligence Scale”

1942

Ukazuje się test MMPI („Minnesota Multiphasic Personality Inventory”)

1949

D. Wechsler publikuje drugi z serii swoich testów, tym razem przeznaczony do badania dzieci i młodzieży („Wechsler Intel­ ligence Scale for Children")

1967

Ukazuje się trzeci test D. Wećhslera, przeznaczony do badania małych dzieci („Wechsler Preschool and Primary Scale of Intelligence”)

1970

Liczne publikacje nowych metod testowych, w tym także ich wersji komputerowych

1971

Pierwsza sprawa sądowa dotycząca testów. W Stanach Zjedno­ czonych sąd nakazuje, aby testy wykorzystywane dla celów selekcji były merytorycznie powiązane z rodzajem wykonywa­ nej pracy (sprawa Griggs vs. Duke Power)

Literatura zalecana Anastasi A., Urbina S. (1999). Testy psychologiczne. Warszawa: Pracownia Testów Psychologicznych Polskiego Towarzystwa Psychologicznego. Brzeziński J. (1996). Metodologia badań psychologicznych. Warszawa: Wy­ dawnictwo Naukowe PWN. Brzeziński J. (2000). Teoria testów psychologicznych: ABC psychometrii, w: J. Strelau (red.), Psychologia. Podrącznik akademicki. Tom 1: Podstawy psychologii (s. 400-415). Gdańsk:: Gdańskie Wydawnictwo Psychologiczne. Guilford J.P. (1988a). Teoria testów psychologicznych. Biblioteka Psychologa Praktyka. Tom II: Problemy teorii, rzetelności, konstrukcji i analizy wyników testów psychologicznych (s. 9-50). Warszawa: Polskie Towarzys­ two Psychologiczne, Laboratorium Technik Diagnostycznych.

40

R o z d z ia ł . 2

K L A S Y C Z N A T E O R IA T E S T Ó W JA K O P O D S T A W A W N IO S K O W A N IA O R Z E T E L N O Ś C I T E S T U

W języku potocznym termin r z e t e l n o ś ć oznacza niezawodność (do­ kładność). Z kolei w psychometrii termin ten odnosi się do powtarzalności otrzymanych wyników. Stosując określony test, jesteśmy bowiem zaintere­ sowani tym, czy ponowne badanie tej samej osoby w podobnych warunkach przyniosłoby takie same efekty. Mówiąc jeszcze inaczej, rzetelność oznacza zgodność wyników otrzymanych przez te same osoby, które zostały prze­ badane kilka razy tym samym testem. W pewnym sensie wszystkie pomiary psychologiczne są w jakimś stopniu nierzetelne. Gdybyśmy dwukrotnie w odstępie jednego miesiąca przebadali tę samą grupę osób, powiedzmy, testem wiadomości z historii, to jest rzeczą mało prawdopodobną, że za drugim razem osiągnęłyby one takie same wyniki jak za pierwszym. Co w takim razie sprawia, że wyniki testowe są nierzetelne? Przypomnij­ my, że osoba badana, udzielając odpowiedzi na pozycje testu, odpowiada jedynie na pewną próbkę pozycji ze zbioru wszystkich możliwych pozycji dla tego testu. Tym samym otrzymany przez nią wynik n i g d y nie jest idealnym odzwierciedleniem rzeczywistej wartości mierzonej cechy, nato­ miast z a w s z e jest obciążony pewnym błędem. Zastanówmy się zatem, co może być przyczyną powstawania błędu w badaniach testowych. 2.1. ŹRÓDŁA BŁĘDU W POMIARZE TESTOWYM Błąd pomiaru może mieć charakter systematyczny bądź losowy. B ł ą d s y s t e m a t y c z n y to błąd, który nie ma nic wspólnego z mierzoną cechą psychologiczną i jest spowodowany stałymi cechami badanej osoby lub narzędzia pomiarowego. Taki właśnie błąd ujawni się w sytuacji, w której osoba badana, odpowiadając np. na kolejne pozycje skali postaw, zawsze zakreśla odpowiedź „nie zgadzam się”, kiedy nie rozumie treści pytania. Ponieważ w kolejnym badaniu będ2ie ona reagowała tak samo, błąd, z którym będziemy mieli do czynienia, będzie błędem systematycznym i w taki sam sposób będzie wpływać na wyniki testowania w obu sytuacjach (tj. za pierwszym i drugim razem).

R

o z d z ia ł

2

Błędy drugiego rodzaju, tj. b ł ę d y l o s o w e , powstają w wyniku działania przyczyn przypadkowych. Błędy te mogą zarówno zwiększać, jak i zmniejszać wynik testowy. Do czynników, które w sposób losowy wpływają na wynik testowy, należą: sposób konstrukcji testu, sytuacja testowania oraz sposób oceny wyników (por. rys. 2.1). Omówimy je pokrótce (por. też Anastasi, Urbina, 1999; Cohen, Swerdlik, 1999; Guilford, 1988a; Magnusson, 1981). Rys. 2.1. Źródła błędu losowego w badaniu testowym

dobór treści

czynniki sytuacyjne osoba badana osoba badająca

błędy mechaniczne subiektywizm w ocenie wyników

Konstrukcja testu Jednym ze źródeł błędu,, z jakim mamy do czynienia w pomiarze testowym, jest sposób konstrukcji testu. Dokładnie rzecz biorąc, źródłem tego błędu jest specyficzny d o b ó r t r e ś c i , z jakiej zbudowane są pozycje testu. Jak już wspominaliśmy w poprzednim rozdziale, konkretny test powinien być zawsze traktowany jako p r ó b k a t r e ś c i pochodząca z określonego uniwersum. Wyobraźmy sobie zatem taką sytuację. Czeka nas rozwiązanie testu mierzącego naszą wiedzę z historii. Czujemy się znakomicie przygotowani z historii XIX i XX wieku, gorzej zaś jeżeli chodzi o pozostałe okresy historyczne. Nic dziwnego zatem, że naszym marzeniem jest otrzymanie takiego zbioru pytań, które w przeważającej części dotyczyć będą tego, a nie innego okresu historycznego. Jeżeli mamy szczęście, to może się tak właśnie stać. W każdej sytuacji testowania niektóre osoby badane otrzymują wyższe wyniki testowe tylko dlatego, że specyficzna treść pozycji testowych szcze­ gólnie im odpowiada lub szczególnie ich dotyczy. Stopień, w jakim wyniki testowe odzwierciedlają specyficzną treść testu - bardziej lub mniej dostępną konkretnym osobom badanym - jest zatem jednym ze źródeł błędu.

Sytuacja testowania

42

W trakcie rozwiązywania testu przez osobę badaną może zdarzyć się wiele sytuacji, które np. o b n i ż ą m o t y w a c j ę osoby badanej (chociażby gdy usłyszy ona przed wejściem do pokoju, że testy, które ma rozwiązać, niczemu nie służą) lub wpłyną na jej s t o p i e ń k o n c e n t r a c j i u w a g i (gdy w trakcie rozwiązywania testu ktoś za ścianą włączy młot pneumatyczny).

K la syczna

t e o r ia t e s t ó w ja k o

p o d s t a w a w n io s k o w a n ia o r z e t e l n o ś c i t e s t u

Ogólnie rzecz biorąc, źródła błędu związane z sytuacją badania obejmują: czynniki sytuacyjne (temperaturę w pomieszczeniu, oświetlenie, hałas itp.), czynniki związane z osobą badaną (ilość snu w przeddzień testowania, lęk przed testowaniem, zażywanie leków, chwilowe fluktuacje uwagi, itp.), czynniki związane z osobą badającą (obecność lub nieobecność w trakcie badania, sposób zwracania się do osoby badanej, umiejętność nawiązywania kontaktu, itp.).

Sposób oceny wyników W wypadku wszystkich niemal testów, także tych, w których ocena wyników polega na mechanicznym przyłożeniu klucza do arkusza odpowiedzi i ręcznym policzeniu odpowiedzi zgodnych z kluczem, trzeba się liczyć z możliwością popełnienia błędu (wolne od tego rodzaju błędu są jedynie te testy, w których obliczanie wyników zostało zautomatyzowane czy skom­ puteryzowane). Popełniane Wędy mogą być dwojakiego rodzaju. Po pierwsze, mogą to być błędy mechaniczne (źle przyłożony arkusz; błędnie obliczona suma wyników). Po drugie, mogą to być błędy wynikające ze zbyt ogólnych kryteriów oceniania odpowiedzi (z takim przypadkiem mamy np. do czynienia w wielu testach inteligencji lub osobowości, w których klucz oceny wyników zawiera tylko ogólne kryteria punktacji odpowiedzi). W tym drugim wypadku wynik otrzymany w teście odzwierciedla również indywidualne doświad­ czenie osoby oceniającej odpowiedzi. Wszystkie czynniki, które nie mają związku z celem badania testowego, stanowią źródło błędu. Błędy systematyczne nie są przyczyną braku powtarza­ lności wyników pomiaru, jednak mogą wpływać na wyniki testowe i tym samym zmniejszać ich użyteczność. Z kolei Wędy losowe powodują, że wyniki testowe nie są ani powtarzalne, ani użyteczne. Trudno zakładać, że pomiar testowy będzie użyteczny, jeżeli nie będzie powtarzalny. Dlatego też jednym z zadań konstruktora testu jest wykazanie, że wyniki otrzymywane za pomocą jego metody są powtarzalne, a więc rzetelne. Mówiąc bardziej fachowo, powinien on wykazać, jaką część ogólnej wariancji wyników testowych stanowi wariancja wynilków prawdziwych. Potwierdzenie faktu odpowiedniej rzetelności testu wymaga przyjęcia teoretycznego modelu opisującego związek między błędem pomiaru a wynikami otrzymywanymi w teście oraz przeprowadzenia badań empirycznych według schematu zgod­ nego z tym modelem. W tym rozdziale zajmiemy się zatem zarówno prezenta­ cją takich modeli teoretycznych, jak i analizą ich praktycznych konsekwencji. 2.2. MODEL WYNIKU PRAWDZIWEGO I JEGO ZAŁOŻENIA - KLASYCZNA TEORIA TESTÓW Źródeł koncepcji klasycznego modelu wyniku prawdziwego można już upatrywać w pracach Spearmana (1904, 1907). W pracach tych argumentował on, że otrzymane wyniki testowe są niedokładnymi miarami cech psycho­ logicznych. Ta myśl Spermana była rozwijana przez Guilforda (1936), Gullik-

43

R

o z d z ia ł

2

sena (1950) oraz Lorda i Novicka (1968) i dzisiaj znana jest jako k l a s y c z ­ n y m o d e l w y n i k u p r a w d z i w e g o (por. też Guilford, 1988a; Ma­ chowski, 1993). Istotą myśli Spearmana (ibidem) było założenie, że każdy wynik obser­ wowany w teście jest składową dwóch, nieobserwowalnych bezpośrednio wielkości - wyniku prawdziwego (T - ang. true score) oraz błędu pomiaru (E - ang. error). Zależność ta wyrażana jest w następującej postaci i znana jako równanie klasycznej teorii testów: X=T+E gdzie: X - oznacza wynik; otrzymany w teście, T - wynik prawdziwy, a E - błąd pomiaru. Przyjmując to równanie jako podstawę naszego wnioskowania, widzimy wyraźnie, że wynik otrzymany w teście (czyli wynik obserwowany - X) nie ma w zasadzie żadnego praktycznego znaczenia. Na jego podstawie bowiem trudno cokolwiek orzekać o prawdziwej wartości mierzonej cechy, gdyż wynik prawdziwy i błąd pomiaru są ze sobą nierozerwalnie związane. Np. wynik testowy X może wynosić 10 i będzie tak wtedy, gdy T = $ i E = 2 , oraz wtedy, gdy T =120 i E =-110. To wynik prawdziwy (7) jest tym, co nas interesuje, i wartość tego wyniku będziemy chcieli oszacować. Żeby to jednak było możliwe, musimy przyjąć dodatkowe założenia. Przede wszystkim musimy mieć jakieś oczekiwania co do wielkości błędu pomiaru, a więc musimy określić, jak niedokładne mogą być wyniki otrzy­ mane w teście. W klasycznej teorii testów przyjmujemy, że wszystkie błędy, jakie otrzymalibyśmy, badając tym samym testem tę samą osobę nieskoń­ czenie wiele razy, mają rozkład normalny, a ich średnia wynosi zero1. Założenie to jest formalnie wyrażane następująco: Me = 0 gdzie symbol ME oznacza średnią arytmetyczną błędu (ang. mean - „średnia arytmetyczna”). Założenie to, znane też pod nazwą założenia o nieobciążoności narzędzia pomiarowego, mówi tyle, że błąd, z jakim mamy do czynienia w pomiarze testowym, jest wyłącznie błędem losowym. Aby można było stworzyć statystyczne metody szacowania wielkości błędu, konieczne jest jeszcze przyjęcie dwóch kolejnych założeń. Pierwsze z nich dotyczy związku między wynikiem prawdziwym a błędem pomiaru.

44

1 Założenie to, de facto, jest założeniem kontrfaktycznym, ponieważ w sytuacjach prak tycznych nie jest możliwe otrzymanie nieskończenie wielu, niezależnych od siebie wyników pochodzących z badania testem tej samej osoby. Każde badanie testowe jest bowiem badaniem „inwazyjnym” („niszczącym”) w tym sensie, że osoba badana, rozwiązując ten sam test po raz drugi, dysponuje już jakąś wiedzą o tym teście - jest więc w pewnym sensie „inną” osobą badaną. Tu jednak przyjmujemy idealizacyjnie, że gdyby można było dokonać nieskończenie wielu niezależnych od siebie pomiarów tej samej cechy u tej samej osoby i za pomocą tego samego testu, to rozkład wartości błędu w tym teście dla tej osoby byłby rozkładem normalnym, ze średnią równą zeru.

K la syczna

t e o r ia t e s t ó w ja k o

p o d s t a w a w n io s k o w a n ia o r z e t e l n o ś c i t e s t u

Jeżeli przyjmujemy założenie pierwsze, a więc zakładamy, że błąd pomiaru ma charakter losowy, to jego konselrwencją jest przyjęcie, iż nie ma związku między wynikiem prawdziwym a błędem pomiaru. To założenie znane jest jako założenie o niezależności: Innymi słowy, przyjmujemy, że współczynnik korelacji między wynikiem prawdziwym a błędem pomiaru (rTE) wynosi zero. I wreszcie założenie trzecie. Jeżeli błąd pomiaru ma charakter losowy, to również nie możemy oczekiwać istnienia żadnego związku między błędami otrzymanymi w dwóch kolejnych badaniach tym samym testem, a więc: Te trzy założenia stanowią podstawę klasycznej teorii testów. >- Zgodnie z k l a s y c z n ą t e o r i a t e s t ó w orzyjmuje się, że: gdzie: X - oznacza wynik otrzymany w teście, T - wynik prawdziwy, a £ - błąd pomiaru. >- JeHn'vv7Q4nie w teorii tej przyjmuje się trzy następujące założenia: • tzw. założenie o nieobciążoności narzędzia pomiarowego) • zw. założenie o niezależności)

2.3. DEFINICJA RZETELNOŚCI Wiedząc już, że wyniki obserwowane jako takie są praktyczne bezużyteczne (bez dodatkowych informacji nie wiemy bowiem, na ile dobrze odzwierciedlają one wyniki prawdziwe), podstawowym pytaniem, jakie musimy sobie zadać - zanim zastosujemy określony test - jest pytanie o wielkość związku, jaki zachodzi między wynikami obserwowanymi a wynikami prawdziwymi. Współ­ czynnik korelacji między wynikami obserwowanymi a wynikami prawdziwymi nazywany jest w s k a ź n i k i e m r z e t e l n o ś c i (ang. reliability index). Współczynnik rzetelności możemy zatem zapisać jako2:

gdzie: Pxt oznacza współczynnik korelacji między wynikami otrzymanymi a wynikami prawdziwymi, Oxt oznacza kowariancję wyników otrzymanych 2 Wzór ten otrzymaliśmy, podstawiając odpowiednie wielkości (tj. T i X) do klasycznego wzoru na współczynnik korelacji: C ovX Y

rXY~

(SDx)(SDy)

45

R

o z d z ia ł

2

i wyników prawdziwych, a ox oraz - W s p ó ł c z y n n i k r z e t e l n o ś c i jest to współczynnik korelacji między wynikami otrzymanymi w dwóch testach równoległych.

Interpretacja współczynnika rzetelności Każdy współczynnik rzetelności można bezpośrednio interpretować jako odsetek wariancji wyników otrzymanych, jaką można p r z y p i s a ć w y n i k o m p r a w d z i w y m . Jest to możliwe, ponieważ rzetelność została zdefiniowana jako współczynnik determinacji, czyli kwad­ rat współczynnika korelacji między wynikami otrzymanymi w teście a wy­ nikami prawdziwymi. I tak np. przyjmijmy, że otrzymana przez nas wartość współczynnika korelacji między dwoma testami równoległymi wynosi 0,81. Oznacza to zatem, że 81% wariancji wyników otrzymanych stanowi, w tym wypadku, wariancja wyników prawdziwych. To oczywiście znakomicie, jeżeli chodzi o użyteczność wyników tego testu, bowiem błąd popełniany przy szacowaniu wyniku prawdziwego wynosi 19% (co można uznać za zupełnie

48

3 Przedstawione tu rozumowanie zostało pokazane w sposób maksymalnie nietechnicz i jest raczej zarysowaniem określonego sposobu myślenia niż szczegółową prezentacją podstaw klasycznej teorii testów. Czytelnika zainteresowanego bardziej formalnym wyprowadzeniem przedstawionych tu koncpecji odsyłam do prac Lorda i Novicka (1968), Magnussona (1981), Machowskiego (1993) oraz Nowakowskiej (1974).

Klasyczna

t e o r ia t e s t ó w ja k o

p o d s t a w a w n io s k o w a n ia o r z e t e l n o ś c i t e s t u

przyzwoity rezultat). Ponieważ rzetelność testu jest kwadratem współczynnika korelacji między wynikami otrzymanymi a wynikami prawdziwymi, dlatego też nigdy nie jest ujemna. Na podstawie tego wyniku możemy nadto po­ wiedzieć, że współczynnik korelacji mi- T r a f n o ś ć t e s t u jest to stopień, w jakim test Fealizuje stawiane przed nim cele. Trafność odzwierciedla relację, jaka zachodzi między koncepcją właściwości psy­ chologicznej a użytymi wskaźnikami tej właściwości, czyli - inaczej mówiąc - traf­ ność operacjonalizacji wielkości psychologicznej. Rozróżniamy następujące rodzaje trafności: • t r a f n o ś ć t r e ś c i o w ą (stopień, w jakim treść testu reprezentuje całokształt zachowań, których próbkę pobiera test) • t r a f n o ś ć k r y t e ri al ną (stopień, w jakim test pozwala na ocen ę-w czasie teraźniejszym lub przyszłym - określonej właściwości psychologicznej innej niż ta, którą test bezpośrednio mierzy • t r a f n o ś ć t f o r e t y ć z n ą (stopień, w jakim test pozwala na pomiar nasilenia u osoby badanej hipotetycznej właściwości - czyli psychologicznego konstruktu - o której mają świadczyć odpowiedzi na bodźce testowe)

3.3. SPOSOBY BADANIA TRAFNOŚCI W jaki sposób zatem można określić, na ile dany test jest trafny treściowo, kryterialnie lub teoretycznie? Na początku tego rozdziału wspomniano, że mowa w nim raczej o różnych strategiach badawczych niż całkowicie niezależ­ nych pytaniach o trafność wyników testowych. Omówimy je w kolejności definiowania, zachowując w ten sposób historyczny podział na trzy sposoby rozumienia pojęcia trafności wyników testów psychologicznych. Raz jeszcze jednak warto podkreślić, że są to trzy różne sposoby zbierania informacji 0 trafności testu i nie można ich traktować całkowicie rozłącznie (por. rys. 3.1).

Trafność treściowa Trafność treściowa - przypomnijmy - to stopień, w jakim treść pozycji testowych reprezentuje pewne szersze uniwersum treści. I tak np. możemy zapytać, czy test wiadomości z matematyki zawiera pytania treściowo re­ prezentatywne dla wiedzy z matematyki na danym poziomie nauczania lub też na ile pozycje tworzące test asertywności reprezentują uniwersum za­ chowań, które mogą być traktowane jako wskaźniki tej cechy. Kluczem do oceny stopnia trafności danej metody są zatem dwa pojęcia: pojęcie uniwersum i pojęcie reprezentatywności. Pojęcie uniwersum treści opisuje pełen zakres dziedziny, której test ma dotyczyć. Jeżeli zatem chcemy badać poziom wiedzy z matematyki w klasie piątej, to uniwersum treści dla naszego testu zostanie zdefiniowane przez wymagania programowe z tego przedmiotu i na tym poziomie nauczania. I choć inne zagadnienia matematyczne mogą nam się wydawać także istotne, w tym wypadku nie będą wchodzić w zakres interesujące­ go nas uniwersum. W wypadku testu asertywności (por. Król-Fijewska, 1991) możemy opisać uniwersum jako zbiór określonych zachowań, takich jak obrona swoich praw w sytuacjach społecznych, obrona swoich praw w kontaktach osobistych, inicjatywa i kontakty towarzyskie, wyrażanie i przyjmowanie krytyki 1 pochwał, wyrażanie próśb, wyrażanie uczuć, wyrażanie opinii, wystąpienia publiczne, kontakt z autorytetem oraz naruszenie cudzego terytorium.

85

Rys. 3.1. Definicja i rodzaje trafności

R o z d z ia ł

3

T

ra fn o ść

,

c z y l i o k r e ś l a n ie o b s z a r u z a s t o s o w a n ia t e s t u

Pierwszym krokiem na drodze oceny trafności treściowej testu jest zatem o k r e ś l e n i e z a k r e s u u n i w e r s u m . Najczęściej korzysta się w tym celu z pomocy sędziów-ekspertów, którzy na podstawie swojej wiedzy o tym, co ma być przedmiotem pomiaru, przygotowują taką definicję. W wypadku testów osiągnięć szkolnych w roli ekspertów mogą wystąpić np. nauczyciele danego przedmiotu, w przypadku testów psychologicznych - specjaliści z danej dziedziny. Kolejnym krokiem jest określenie, w jakim stopniu pozycje składające się na test można traktować jako r e p r e z e n t a t y w n ą p r ó b k ę zdefiniowa­ nego uniwersum. W sensie statystycznym o reprezentatywności można mówić wtedy, kiedy pozycje testowe byłyby losową próbką uniwersum pozycji. Jednakże w wypadku trafności treściowej odwoływanie się do takiej koncepcji reprezentatywności byłoby raczej mało sensowne. Dlatego też przyjmuje się, że pozycje testowe powinny reprezentować czy odtwarzać interesujące nas uniwersum odpowiednio proporcjonalnie (por. Cohen, Swerdlik, 1999; Anastasi, Urbina, 1999). Dany test jest zatem trafny treściowo wtedy, kiedy spełnione są oba warunki: a) wszystkie pozycje tego testu należą do zdefiniowanego uniwersum, oraz b) cały test proporcjonalnie reprezentuje zdefiniowane uniwersum. I tak, jeżeli w teście z matematyki znajdą się pytania z fizyki, to powiemy, że test nie jest trafny w sensie warunku pierwszego. Jeżeli natomiast w tym samym teście z matematyki 90% pytań dotyczyć będzie wiedzy z geometrii, a tylko 10% pozostałych treści, test ten również nie będzie trafny treściowo, gdyż tym razem nie został spełniony warunek drugi (por. rys. 3.2). W jaki sposób zatem można praktycznie określić trafność treściową testu? Najprostszym sposobem jest przeprowadzenie analizy logicznej (stąd inna nazwa tego rodzaju trafności) treści testu. Dysponując definicją uniwersum, możemy poprosić sędziów-ekspertów o ocenę stopnia, w jakim każda pozycja testowa reprezentuje to uniwersum. Analizując każdą pozycję oddzielnie, a następnie cały zbiór pozycji, możemy określić, czy skonstruowany test spełnia oba warunki trafności treściowej. Prostą ilościową metodę obliczania zgodności ocen sędziów przedstawił Lawshe (1975)5. Metoda ta polega na poproszeniu każdego sędziego-eksperta o wyrażenie swojej opinii o każdej proponowanej pozycji testowej na na­ stępującej skali: • pozycja ta ma zasadnicze znaczenie dla testu; • pozycja ta jest użyteczna, jednak nie ma zasadniczego znaczenia; • pozycja ta nie powinna znaleźć się w obrębie testu. Następnie notuje się, ilu sędziów przyznało danej pozycji zasadnicze znaczenie. Według Lawshego (ibidem), jeżeli więcej niż połowa sędziów 5 Jako miarę zgodności ocen sędziowskich możemy też wykorzystać współczynnik zgod­ ności ocen sędziów W Kendalla (por. np. Brzeziński, 1978).

87

R o z d z ia ł

3

Rys. 3.2. Kiedy test jest trafny treściowo?

88

uzna daną pozycję za istotną dla testu, można przyjąć, że pozycja ta jest trafna treściowo. Im większy stopień zgodności sędziów co do znaczenia danej pozycji testowej, tym oczywiście większa jej trafność treściowa (por. też Cohen, Swerdłik, 1999, s. 179). Wychodząc z tego założenia, Lawshe (1975, s. 569) zaproponował metodę, którą określił jako w s p ó ł c z y n n i k t r a f n o ś c i t r e ś c i o w e j (CVR - amg. content validity ratio):

T

ra fn o ść

,

c z y l i o k r e ś l a n ie o b s z a r u z a s t o s o w a n ia t e s t u

gdzie: ne oznacza liczbę sędziów, którzy określili daną pozycję testową jako „zasadniczą” dla testu, a N oznacza ogólną liczbę sędziów. Współczynnik trafności treściowej może mieć wartość ujemną (mniej niż połowa sędziów uznała daną pozycję za zasadniczą dla testu), może wynosić zero (zrobiła to dokładnie połowa sędziów) i wartość dodatnią (więcej niż połowa sędziów pozytywnie oceniła daną pozycję). Lawshe (1975) zaleca, aby z ostatecznej wersji testu eliminować te pozycje, dla których szansa, iż zaobserwowana zgodność sędziów ma u swojego podłoża wyłącznie czynniki przypadkowe, jest większa niż 5% (por. tab. 3.1, która zawiera odpowiednie wartości krytyczne). Tab. 3.1. Minimalne wartości współczynnika trafności treściowej (CVfl)> pozwalające uznać otrzymaną wielkość CVR za Istotną statystycznie (dla a = 0,05) (opracowano na podstawie Lawshe, 1975, s. 573) Liczba sędziów

Nllnimatna wartość wskaźnika CVR

5

0,99

6

0,99

7

0,99

8

0,78

9

0,75

10

0,62

11

0,59

12

0,56

13

0,54

14

0,51

15

0,49

20

0,42

25

0,37

30

0,33

35

0,31

40

0,29

Trafność treściową analizuje się szczególnie w wypadku testów wiadomo­ ści, testów umiejętności i osiągnięć szkolnych oraz niektórych testów uzdol­ nień. Ma ona jednak również znaczenie w wypadku testów zawodowych lub testów zorientowanych na kryterium (por. Anastasi, Urbina, 1999, s. 162).

89

R o z d z ia ł

3

Trafność kryterialna Drugim rodzajem trafności jest trafność kryterialna. Ten rodzaj trafności mówi nam, w jakim stopniu wyniki danego testu są powiązane z jakąś inną zmienną, zewnętrzną w stosunku do tego testu. Tę zmienną nazywamy kryte­ rium. Trafność kryterialna jest wyznaczana przez stopień zgodności dwóch pomiarów: zmiennej testowej i zmiennej kryterialnej (por. Jakubowski, 1983). Definicja kryterium. Kryterium jest to zatem pewien standard, względem którego ocenia się jakość wyników testowych. Innymi słowy, możemy powiedzieć, że a) kryterium jest to pewne zachowanie czy właściwość, o której chcemy wnioskować na podstawie wyników danego testu, b) jest to zmienna pozatesltowa, oraz c) kryterium jest pomiarem innej zmiennej niż ta, którą bezpośrednio mierzy test. I tak np. na podstawie testu rozwoju poznawczego możemy określić postępy szkolne dziecka (kryterium), na podstawie wyników w teście ryso­ wania figur geometrycznych możemy określić stopień uszkodzenia ośrod­ kowego układu nerwowego (kryterium), na podstawie wyników testu ko­ ordynacji wzrokowej możemy określić przydatność do zawodu pilota (kryte­ rium), a na podstawie wyników testu temperamentu możemy określić, jakie jest ryzyko zachorowania na chorobę alkoholową (kryterium). Cechy kryterium. Każda zmienna, którą chcemy wykorzystać jako kryte­ rium, powinna dawać - podobnie jak test - rzetelne wyniki. Rzetelność kryterium pozostaje bowiem w bezpośredniej zależności z trafnością kryterialną testu6. Powinna to być także zmienna istotna (adekwatna) z punktu widzenia tego, co mierzy dany test. Chcąc np. na podstawie wyników testu wiadomości dotyczącego udzielania pierwszej pomocy określić powodzenie w zawodzie pielęgniarki, możemy - jako zmienną kryterialną - wybrać obserwację przyszłych pielęgniarek w trakcie stażu w szpitalu. Trudno natomiast uznać, że np. ich stosunek do zwierząt byłby tu istotną zmienną kryterialną (choć oczywiście i w tym wypadku osoba uparta mogłaby poszukać sensownego uzasadnienia). Należy zatem starannie wybierać zmienną kryterialną, pamię­ tając, że każdy test może zostać sprawdzony w stosunku do wielu zmiennych kryterialnych. Tych zmiennych może być tyle, ile jest potencjalnych za6 Związek między trafnością kryterialną a rzetelnością kryterium jest wyrażany jako (por. Magnusson, 1981, s. 218-220): rlk N o r m a p s y c I h o m e t r y c z n a jest to standard ilościowy, wyznaczony przez liczbę osób uzyskujących dane wyniki lub przez średnią, medianę czy inną miarę tendencji centralnej, obliczoną dla przedstawicieli danej grupy. Ze względu na sposób definiowania grupy odniesienia wyróżniamy: • normy ogólnonarodowe • normy lokalne Ze względu na sposób konstrukcji wyróżniamy: • normy typu standardowego • normy typy rangowego • normy typu równoważnikowego

Normy standardowe Normy standardowe powstają przez przekształcenie wyników surowych otrzymanych wr teście na wyniki standardowe z. Przekształcenia tego doko­ nujemy według wzoru (por. np. Fergusson, Takane, 1997, s. 92):

Xi-X

z = -------

5'

gdzie: X t oznacza wynik surowy w teście, jaki otrzymała osoba badana, X oznacza średni wynik w tym teście dla właściwej grupy odniesienia, a s ozna­ cza odchylenie standardowe wyników tego testu w tej samej grupie odniesienia. Wyniki standardowe mają średnią równą 0 i odchylenie standardowe równe 1. Mówiąc inaczej, wynik z pokazuje nam, jak bardzo wynik surowy otrzymany przez daną osobę badaną odchyla się od średniego wyniku grupowego. Odleg­ łość ta jest wyrażona w jednostkach odchylenia standardowego (por. rys. 4.1). Znając wynik z danej osoby, możemy powiedzieć, czy jest to wynik wysoki (powyżej średniej i ile powyżej) lub niski (poniżej średniej i ile poniżej). Najbardziej przyjętą typologią wyników jest następująca klasyfikacja3: • wyniki bardzo niskie: -2 z i poniżej (około 2,27% populacji) • wyniki niskie: - I z do - 2 z (około 13,59% populacji) • wyniki przeciętne: - l z do + lz (około 68,26% populacji) • wyniki wysokie: + lz do +2z (około 13,59% populacji) • wyniki bardzo wysokie: +2z i powyżej (około 2,27% populacji) Jeżeli zatem nasza osoba badana otrzymałaby wynik surowy 20 pkt. i po przeliczeniu na wyniki z okazałoby się, że wynik ten odpowiada wartości

134

3 Każda klasyfikacja ma charakter umowny. N ic nie stoi zatem na przeszkodzie, ab wprowadzać inne typologie wyników. Tak zrobił np. Wechsler, który dokonując klasyfikacji ilorazów inteligencji, odwołał się nie do wartości odchylenia standardowego, a do tzw. błędu prawdopodobnego pomiaru (por. Brzeziński, 1993; Brzeziński i in., 1996, s. 22).

o r m y , c z y l i n a d a w a n ie z n a c z e n ia w y n ik o m t e s t o w y m

Tetrony

Rys. 4.1. Normy typu standardowego (opracowano na podstawie Seashore, 1955)

N

135

R o z d z ia ł 4

+2,25z, to możemy powiedzieć, że jej wynik - na tle tej grupy odniesienia - może być oceniony jako wysoki. Ze skalą wyników z nie spotykamy się jednak w podręcznikach testowych. Dlaczego? Powód jest bardzo prosty. Interpretowanie wyników testowych - jeśli pamięta się o tym, że punkt 0 nie oznacza początku skali, a wartość średnią, oraz 0 tym, że co innego oznaczają wyniki ujemne, a co innego wyniki dodatnie - może być kłopotliwe. Dlatego też zaproponowano, aby dokonując kolejnej transformacji liniowej, przekształcić wyniki z w taki sposób, by początek skali znajdował się po lewej stronie, a kolejne punkty skali miały wyłącznie wartości dodatnie. Transformacja tego typu polega na wybraniu dla nowej skali jej wartości średniej i jej odchylenia standardowego. Ogólnie wzór transformacyjny ma następującą postać: jednostka nowej skali —(S)(z) + M

136

gdzie: M oznacza średnią nowej skali, S jest odchyleniem standardowym nowej skali, a z to wynik standardowy. Wybierając dowolne kombinacje wartości średniej (M) i odchylenia standardowego (S ), można stworzyć nieskończenie wiele nowych skal, na które można przeliczyć wyniki surowe otrzymane w teście. W praktyce upowszechniło się kilka konkretnych skal 1 są one zazwyczaj wykorzystywane w podręcznikach testowych. Skala T. Jedną z najpopularniejszych skal tego typu jest Skala T opracowa­ na przez McCalla (1939). Skala ta została tak nazwana na cześć profesora E.L. Thorndike’a. Parametry tej skali są następujące: M = 50, S = 10. Skala ta obejmuje swoim zasięgiem przedział od -5 do +5 odchyleń standardowych w rozkładzie normalnym (por. rys. 4.1). Dzięki temu jest to skala o najwięk­ szym zakresie i znakomicie nadaje się do różnicowania zarówno bardzo niskich, jak i bardzo wysokich wyników. Jest ona rutynowo wykorzystywana w kwestionariuszu MMPI. Skala ta liczy 101 jednostek (od 0 do 100 pkt.). Wyniki surowe przelicza się na skalę T według następującego wzoru: T = lOz + 50. Skała stenowa. Kolejną często stosowaną skalą wyników przeliczonych jest tzw. skala stenowa. Jej nazwa pochodzi od ang. standard ten , czyli „standardowa dziesiątka”. Parametry tej skali są następujące: M = 5,5, 5 = 2. Jest to skala 10-punktowa, obejmująca swym zasięgiem od -2,25 do +2,25 odchylenia standardowego wyników w rozkładzie normalnym (por. rys. 4.1). Liczy ona 10 jednostek. Skalę tę możemy znaleźć np. w K w e s t i o n a ­ r i u s z u T e m p e r a m e n t u P T S Strelaua i Zawadzkiego (1998). Wyniki surowe przelicza się na skalę stenową według następującego wzoru: sten - 2 z + 5,5. Skala staninowa. Skala staninowa to skala 9-punktowa. Liczy ona 9 jed­ nostek, stąd jej nazwa od ang. standard nine („standardowa dziewiątka”). Skala ta pierwotnie została skonstruowana dla potrzeb Armii Stanów Zjednoczonyćh, a dziś jest szeroko wykorzystywana w różnego rodzaju testach.

N

o r m y , c z y l i n a d a w a n ie z n a c z e n ia w y n ik o m t e s t o w y m

Powód powstania tej skali był nader prozaiczny. Stosowane w tym czasie karty perforowane, m.in. do komputerów i sorterów IBM, zawierały w każdej kolumnie jedynie dziewięć pól - można zatem było wprowadzić tylko 9 war­ tości dla każdej zmiennej. Stąd powstała konieczność przeliczania wyników surowych tylko na 9 wartości przeliczonych (Mehrens, Lehman, 1973, s. 153). Skala ta rozciąga się od - 2 do +2 odchyleń standardowych wyników w rozkładzie normalnym. Jest to najkrótsza ze skal (obejmuje swoim zasię­ giem środek rozkładu normalnego - por. rys. 4.2), i dlatego nadaje się do testów, które są przeznaczone dla szeroko rozumianej normy. Skalę staninową wykorzystali np. Zawadzki i Strelau (1997), opracowując normy do stworzo­ nego przez siebie K w e s t i o n a r i u s z a T e m p e r a m e n t u ( F C Z - KT ) . Parametry tej skali są następujące: M = 5, 5 = 2, a wyniki surowe przelicza się na skalę staninową według następującego wzoru: Stanin = 2z+5. Na rys. 4.1 przedstawiono powszechnie przyjętą interpretację wyników prze­ liczonych na skalę staninową (por. Cohen, Swerdlik, 1999, s. 113). Rys. 4.2. Rozkład normalny a skala staninowa (opracowano na podstawie Cohen, Swerdlik, 1999, s. 113)

Skala ilorazów inteligencji IQ. Skala ilorazów inteligencji IQ została upowszechniona dzięki testom inteligencji Davida Wechslera. Zaproponował on przedstawianie wyników na skali o średniej równej 100 i odchyleniu standardowemu równemu 15 pkt. Powstała w ten sposób skala tylko z nazwy nawiązuje do klasycznego rozumienia pojęcia ilorazu inteligencji i jest taką samą skalą wyników standardowych, jak skale opisane powyżej (por. Brzeziń­ ski, 1993, s. 84-93; też Anastasi, Urbina, 1999, s. 96-97). Wyniki surowe przelicza się na skalę IQ według następującego wzoru: IQ - 15z+ 100. Skala tetronowa. Ostatnią z prezentowanych skal (przypominamy jednak, że skal standardowych można stworzyć nieskończenie wiele - por. wyżej) jest skala często stosowana w testach wykorzystywanych w poradniach psychologiczno-pedagogicznych w Polsce. Skala ta została opracowana przez Matuszewskiego (1984). Jest to skala 21-punktowa (od 0 do 20 punktów)

137

R

o z d z ia ł

4

i obejmuje swoim zasięgiem od -2,5 do +2,5 odchylenia standardowego wyników w rozkładzie normalnym. Skala ta ze względu na swój zasięg, podobnie jak skala staninowa czy stenowa, nadaje się do tych testów, które są przeznaczone dla szeroko rozumianej normy. Skala tetronowa opisywana jest przez średnią równą 10 i odchylenie standardowe równe 4. Wyniki surowe przelicza się na skalę tetronową według następującego wzoru: tetron = 4z + 10. »- N o r m y t y p u s t a n d a r d o w e g o otrzymuje się, stosując następującą trans­ formację liniową: j e d n o s t k a s k a l i s t a n d a r d o w e j = (S)(z) + M gdzie: M oznacza średnią nowej skali, Sjest odchyleniem standardowym nowej skali, a z to wynik standardowy, otrzymany według wzoru: X ,-X

z —-----s

gdzie: X, oznacza wynik surowy w teście, jaki otrzymała osoba badana, X oznacza średni wynik w tym teście dla właściwej grupy odniesienia, a s oznacza odchylenie standardowe wyników tego testu w tej samej grupie odniesienia. >- Najczęściej stosuje się następujące transformacje: • T = 10z+50 • sten = 2z+ 5,5 • stanin = 2 z + 5 • IQ Wechslera= 15z+100 • tetron = 4 z +10 U w a g a : prostego przeliczenia wyników surowych na wyniki z, a następnie na wybraną skalę standardową możemy dokonać tylko wtedy, kiedy rozkład wyników surowych jest rozkładem normalnym. Jeżeli tak nie jest, najpierw dokonujemy nor­ malizacji rozkładu wyników surowych.

138

Czym sią kierować przy wyborze skali? Już z tego krótkiego przeglądu widać, że skal standardowych jest wiele i że mają one różne właściwości. Niektóre z tych skal mają niewielki zakres (jak skala stenowa czy staninowa), inne zaś rozciągają się od -5 do +5 odchyleń standardowych wyników w rozkładzie normalnym (jak np. skala T). Niektóre są skalami długimi (skala T - 101 jednostek), inne z kolei są bardzo krótkie (skala staninowa - 9 jednostek). Na co zatem powinniśmy zwrócić uwagę, decydując się na wybór którejś z tych skal? Pierwszym kryterium, jakie powinniśmy wziąć pod uwagę, jest c e l t e s ­ t o w a n i a . Jeżeli jest nim dobre różnicowanie w zakresie patologii (bardzo niskich lub bardzo wysokich wyników), to, rzecz jasna, wybrana przez nas skala musi obejmować swym zasięgiem krańce rozkładu normalnego. Jeżeli nato­ miast chcemy móc dobrze różnicować osoby mieszczące się w granicach tzw. normy (w granicach środkowych wyników), to zupełnie wystarczająca będzie skala obejmująca swoim zasięgiem środek rozkładu normalnego. Dlaczego? Przeanalizujmy rys. 4.3. Przedstawiono na nim wyniki dwóch hipotetycznych osób badanych: osoby (X), która uzyskała w teście wynik surowy

N

o r m y , c z y l i n a d a w a n ie z n a c z e n ia w y n ik o m t e s t o w y m

Rys. 4.3. Wykorzystanie skali standardowej o szerokim zakresie wyników (Skala T) i skali standardowej o wąskim zakresie wyników (skala staninowa) do przedstawienia wyników dwóch osób (X) i (Y)

CD

II >

in

°> u

139

R o z d z ia ł 4

odpowiadający wynikowi z = 2,45, oraz osoby (Y), która otrzymała równie wysoki wynik w tym teście (z = 3,25). W sytuacji A dokonaliśmy przeliczenia wyników tych osób na Skalę T (o szerokim zasięgu), a w sytuacji B na skalę staninową (o niewielkim zakresie). I cóż się okazało? W sytuacji A pozycja zarówno osoby (X), jak i osoby (Y) została dokładnie odzwierciedlona na Skali T (mamy do czynienia z taką samą różnicą zarówno między wynikami z, jak i odpowiadającymi im wynikami T). Z kolei w sytuacji B - mimo różnicy w wynikach z - obie osoby otrzymały taki sam, najwyższy z możliwych wynik na skali staninowej. I dlatego wyrażając wynik w Staninach, nie będziemy mogli ocenić, która z tych osób faktycznie otrzymała wyższy wynik. Widać zatem wyraźnie, że standardowa skala wyników o niewielkim zakresie „gubi” zróżnicowanie między tymi wynikami, które znajdują się na jej krańcach. Drugim kryterium, jakie powinniśmy wziąć pod uwagę, podejmując decy­ zję o wyborze konkretnej skali standardowej, jest d ł u g o ś ć t e s t u . Reguła, która jest tu brana pod uwagę, brzmi następująco: dla krótkich testów wybieramy krótkie skale (liczące niewiele punktów), dla długich testów możemy wybrać skalę dłuższą (liczącą więcej punktów). Tym razem kieru­ jemy się zasadą dopasowania skali wyników surowych do skali wyników przeliczonych. Gdyby bowiem skala wyników surowych była krótka (krótki test), a skala wyników przeliczonych długa, to tylko niektóre z wyników skalowych znalazłyby swój odpowiednik w wynikach surowych (por. rys. 4.4). Taki efekt końcowy może się przyczyniać do trudności w inter­ pretacji wyników testowych, a z całą pewnością nie jest to rezultat pożądany. Dlaczego sprawdzenie zgodności rozkładu wyników surowych z rozkładem normalnym jest niezbędnym elementem procedury tworzenia norm typu standardowego? Wyniki otrzymywane przez liniowe przekształcenie jakiegoś rozkładu wyników surowych (np. wyniki standardowe) rzadko mają dokładnie określone znaczenie statystyczne. W praktyce w ogóle takich wyników nie da się zinterpretować, ponieważ względna pozycja, jaką wyznacza taki wynik, zależy całkowicie od kształtu rozkładu wyników surowych. Nie znając kształtu tego rozkładu, nie możemy wiele powiedzieć o statystycznych właściwościach otrzymanych wyników (por. Magnusson, 1981, s. 347). Można oczywiście sporządzić rozkład wyników surowych i spróbować określić jego właściwości, jednak praktycznie jest to zadanie bardzo trudne. Znacznie prościej można rozwiązać ten problem, dokonując n i e l i n i o ­ w e g o p r z e k s z t a ł c e n i a rozkładu wyników surowych do rozkładu o już znanych właściwościach. Takim rozkładem jest np. dobrze nam znany rozkład normalny. Zabieg przekształcania rozkładu wyników surowych na rozkład normalny nazywa się n o r m a l i z a c j ą rozkładu4. Dokonując

140

4 Zwróćmy uwagę, że termin „normalizacja'” występuje w dwóch znaczeniach: normaliza jako procedura tworzenia norm oraz normalizacja jako nieliniowe przekształcanie nakładu wyników surowych do rozkładu normalnego.

N

orm y

,

c z y l i n a d a w a n ie

z n a c z e n ia w y n ik o m

testo w ym

Rys. 4.4. Efekt niezgodności między długością skali wyników surowych a długością skali wyników przeliczonych Skala wyników surowych

Skala tetronowa

J

141

R o z d z ia ł 4

normalizacji, rozkładu wyników testowych, możemy interpretować każdy wynik standardowy zgodnie z właściwościami rozkładu normalnego. Wiemy więc np., jaki odsetek osób znajduje się powyżej lub też poniżej danego wyniku5. W taki też sposób interpretowaliśmy wyniki wyrażone w jedno­ stkach zaprezentowanych wyżej skal standardowych. Na rys. 4.5 przedstawiono istotę zabiegu normalizacji (por. Guilford, 1964, s. 503). Jak widzimy, rozkład empiryczny jest rozkładem skośnym. Dokonu­ jąc jego normalizacji, zmieniamy kształt rozkładu, nie zmieniamy jednak odpowiadających sobie pól powierzchni. I tak: powierzchnie P(l), P(2), P(3), P(4), P(5), P(6) oraz P(7) odpowiadają proporcjom powierzchni P ( l’), P(2’), P(3’), P(4’), P(5’), P(6’), i P(7’). Wróćmy zatem do zagadnienia tworzenia norm typu standardowego i odpo­ wiedzmy na pytanie zawarte w tytule tego paragrafu: Dlaczego sprawdzenie zgodności rozkładu wyników surowych z rozkładem normalnym jest niezbęd­ nym elementem procedury tworzenia norm typu standardowego? Jeżeli przy interpretacji wyniku testowego chcemy korzystać z właściwości rozkładu normalnego, to musimy się najpierw upewnić, czy rozkład wyników surowych jest zgodny z rozkładem normalnym6. Dopiero potem możemy dokonywać liniowej transformacji wyników z na dowolnie wybraną skalę standardową. N orm alizacja rozkładu. Co zatem trzeba zrobić wtedy, kiedy otrzymany rozkład wyników surowych nie jest rozkładem normalnym? Czy fakt ten uniemożliwia nam korzystanie z norm typu standardowego? Oczywiście nie! Jednakże procedura tworzenia norm jest nieco bardziej złożona. Zanim bowiem będziemy mogli dokonać liniowego przekształcenia wyników z na określoną skalę standardową, musimy najpierw dokonać normalizacji roz­ kładu. Na czym praktycznie polega procedura normalizacji? Przeanalizujmy następujący przykład. Chcemy obliczyć normy dla stworzonego przez nas testu liczącego 12 zadań. Przebadaliśmy w tym celu 40 osób7 i otrzymaliśmy wyniki, które przedstawia w tab. 4.2 (por. też Magnusson, 1981, s. 347-349; Brzeziński, 1996, s. 540). W kolumnie (1) znajdują się uporządkowane, kolejne wyniki surowe, jakie można było otrzymać w naszym teście. Kolumna (2) zawiera proste liczebności otrzymanych wyników (jest to rozkład em­ piryczny wyników surowych), a kolumna (3) rozkład skumulowany. W ko­ lumnie (4) wprowadzono tzw. poprawkę na ciągłość. Ponieważ wyniki naszego testu są wynikami dyskretnymi (są to kolejne wartości ze zbioru

142

5 Inny rodzajem przekształcenia nieliniowego jest przekształcenie wyników w skalę centylową dającą rozkład prostokątny. Skalę tę omawiamy dalej w tym rozdziale. (> Istnieje wiele testów pozwalających nam ocenić zgodność empirycznego rozkładu wyni­ ków z założonych rozkładem teoretycznym (tu: normalnym). Takim testem może być np. test zgodności chi’ (por. Domański, 1979). 7 Pamiętajmy, że próba normalizacyjna powinna być też próbą odpowiednio liczebną (por. wyżej). Tylko dlatego, aby przedstawiony przykład był wystarczająco czytelny, ograniczono liczbę badanych osób do 40.

N

orm y

,

c z y l i n a d a w a n ie

z n a c z e n ia w y n ik o m

testo w ym

liczb całkowitych), a rozkład normalny jest rozkładem zmiennej ciągłej, powinniśmy to uwzględnić w dalszych obliczeniach. Poprawkę na ciągłość oblicza się według następującej reguły: do skumulowanej liczebności poniżej

143

R

o z d z ia ł

4

danego wyniku surowego dodaje się połowę liczebności dla danego wyniku (obliczamy w ten sposób liczebności, uwzględniając środek każdego prze­ działu). I tak np. dla wyniku surowego 3 dokonujemy następujących obliczeń: poniżej tego wyniku liczebność skumulowana (czyli cf) wynosi 3, a połowa prostej liczebności (czyli f) dla tego wyniku wynosi 1 (2/2=1). Zatem suma obu tych wartości wynosi 3+1=4. Dla każdej poprawionej w ten sposób liczebności skumulowanej obliczamy następnie skumulowaną proporcję (p ), dzieląc wartości z kolumny (4) przez liczbę badanych osób (N). Wreszcie z tablic dystrybuanty rozkładu normalnego (np. Greń, 1974) odczytujemy wyniki z odpowiadające kolejnym proporcjom skumulowanym. I na koniec dokonujemy przeliczenia wyników z na wybraną skalą standardową. W na­ szym przykładzie wyniki zostały przeliczone na trzy skale standardowe: skalę stenową, tetronową i skalę T (dociekliwy Czytelnik będzie mógł sam ocenić, co dzieje się wtedy, kiedy wyniki krótkiego testu są przeliczane na długą skalę wyników przeliczonych). Tab. 4.2. Przykład normalizacji rozkładu oraz obliczania norm typu standardowego (na podstawie Magnusson, 1981, s. 347-349; Brzeziński, 1996, s. 540)

(7)

(8)

(5)

(6)

wiersza + 0,5f dla danego wiersza

P

z

1

0,5

0,0125

-2,24

1

1

28

2

3

2,0

0,05

-1,64

2

3

34

3

2

5

4,0

0,1

-1,28

3

5

37

4

4

9

7,0

0,175

-0,93

4

6

41

5

5

14

11,5

0,2875

-0,56

4

8

44

6

5

19

16,5

0,4125

-0,22

5

9

48

7

6

25

22,0

0,55

0,13

6

11

51

12

55

(1)

(2)

(3)

ws

f

cf

1

1

2

(4)

(9)

cf poniżej danego Steny Tetrony

T

8

4

29

27,0

0,675

0,45

6

9

4

33

31,0

0,775

0,66

7

13

57

10

3

36

34,5

0,8825

1,09

8

14

61

11

3

39

37,5

0,9375

1,53

9

16

65

12

1

40

39,5

0,9875

2,24

10

19

72

P o d s u m o w a n i e . Zbierzmy zatem wszystko, co powiedzieliśmy o tworze­ niu norm typu standardowego. Normy tego typu pozwalają nam na interpretowa­ nie wyniku otrzymanego w teście przez odwołanie się do właściwości rozkładu normalnego. Dlatego aby taka interpretacja była uzasadniona, musimy się upewnić, czy rozkład wyników surowych jest rozkładem normalnym. Zazwyczaj jest tak rzeczywiście, jednak czasami rozkład wyników surowych jest rozkładem

N

orm y

,

c z y l i n a d a w a n ie

z n a c z e n ia w y n ik o m

testo w ym

na tyle skośnym, że nie możemy go uznać za wystarczające dobre przybliżenie rozkładu normalnego. W takiej sytuacji pow inniśm y najpierw dokonać nor­

malizacji rozkładu, a dopiero potem skorzystać z możliwości liniowego prze­ kształcenia odczytanych wyników z na wyniki wybranej skali standardowej. Kolejne etapy postępowania przy tworzeniu norm przedstawiono na rys. 4.6. Rys. 4.6. Etapy procedury normalizacji

R o z d z ia ł 4

Na koniec podkreślmy, że korzystanie z norm jest niezbędne wtedy, kiedy dokonujemy diagnozy indywidualnej bądź chcemy dokonywać porównań wewnątrzgrupowych. Jeżeli natomiast naszym celem jest dokonanie prostej selekcji (mamy przyjąć określoną liczbę kandydatów), to możemy odwołać się do wyników surowych i przyjąć tych, którzy uzyskali najwyższe wyniki w teście (pamiętajmy jednak, że wykorzystywany w tym celu test musi być trafny, i nie wolno wam tego zaniedbać!). Podobnie postępujemy również prowadząc badania naukowe (por. Magnusson, 1981, s. 362; Brzeziński, 2000, s. 414).

Normy rangowe Innym sposobem przedstawiania wyników testowych jest ich przedstawia­ nie w postaci tzw. centyli. C e n t y 1 to punkt na skali, poniżej którego leży określony odsetek rozkładu (Magnusson, 1981, s. 352). Podobnie jak inne miary położenia (np. mediana), centyle stanowią wygodne punkty odniesienia przy opisywaniu danego rozkładu wyników surowych i przy porównywaniu go z innymi rozkładami. Przypuśćmy, że w naszych badaniach okazało się, iż na 40 zbadanych osób 2 osoby były lepsze od osoby A, a 37 osób otrzymało wyniki gorsze niż osoba A. Jeżeli osobę A (i wszystkie inne osoby mające taki sam wynik jak ona) przydzielimy arbitralnie to jednej z dwóch grup: lepszych bądź gorszych od niej, to otrzymamy: 2,5 przypadka w grupie lepszych oraz 37,5 przypadka w grupie gorszych. Ponieważ 37,5 z 40 stanowi 94%, możemy powiedzieć, że wynik osoby A jest równy 94. centylowi. Innymi słowy, oznacza to tyle, że w badanej grupie 94% osób otrzymało wyniki gorsze od naszej osoby badanej (Cronbach, 1990, s. 110). Zwróćmy także uwagę, że przy takim sposobie obliczania centyli osoba, która wypadnie najlepiej, nie otrzyma wyniku centylowego równego 100. Jeżeli bowiem 2 osoby otrzymałyby 40 pkt., to jedną z nich przydzielamy do grupy gorszych, a drugą do grupy lepszych od niej. Wówczas każda z tych osób otrzyma wynik centylowy równy 97,5 (100 x 39/40). Gdyby wynik równy 40 otrzymała tylko jedna osoba, odpowiadający mu centyl wynosiłby 98,75 (100 x 39,5/40)8. Jeżeli przeliczamy wyniki surowe na centyle w taki właśnie sposób, osoba znajdująca się dokładnie w środku rozkładu zostanie opisana za pomocą 50. centyla. Centyl 50 odpowiada m e d i a n i e rozkładu. W tym sensie możemy powiedzieć, że 50 centyl opisuje poziom wykonania testu przez „typową” osobę badaną. Jak zatem szybko można obliczyć centyle? Przeanalizujmy ponownie tab. 4.2, w której przedstawiliśmy sposób obliczania norm typu standar­ dowego. Zaczynamy tak samo - od sporządzenia rozkładu częstości wyników surowych (kolumna 2), następnie kumulowanego rozkładu częstości (kolum­ na 3), poprawionego rozkładu kumulowanego (kolumna 4) do obliczenia proporcji (kolumna 5). Centyle otrzymamy, przeliczając proporcje na procen­ ty, i dla ułatwienia wyrażamy je w postaci liczb całkowitych (por. tab. 4.3). s Ten zabieg przydzielania, w jednakowej proporcji, osób badanych do grupy lepszych

146

i gorszych odpowiada poprawce na ciągłość (por. wyżej).

N

orm y

,

c z y l i n a d a w a n ie

z n a c z e n ia w y n ik o m

testo w ym

Tab. 4.3. Przykład obliczania norm typu centylowego (na podstawie Magnusson, 1981, s. 352; Brzeziński, 1996, s. 540) (1)

(2)

(3)

ws

f

cf

1

1

1

2

2

3

2

4

(4)

(5)

c f poniżej danego wiersza

(6) Centyle (C)

+ 0 ,5 /dla danego wiersza

P

0,5

0,0125

3

2,0

0,05

5

4,0

0,1

10

4

9

7,0

0,175

18

11,5

0,2875

29

1 5

5

5

14

6

5

19

16,5

0,4125

41

7

6

25

22,0

0,55

55

8

4

29

27,0

0,675

68

9

4

33

31,0

0,775

78

10

3

36

34,5

0,8825

88

11

3

39

37,5

0,9375

94

12

1

40

39,5

0,9875

99

Chociaż centyl definiowany jest jako odsetek, nie jest tym samym co powszechnie stosowane wyniki procentowe. W pierwszym wypadku mówimy bowiem o odsetku osób, które znajdują się poniżej jakiegoś punktu na skali, w drugim zaś odsetek to wynik surowy, dotyczący poprawnie rozwiązanych zadań. Skala centylowa pozwala na ocenę wyniku danej osoby w stosunku do wyników innych osób należących do określonej populacji. Są to wyniki czytelne, i dlatego chętnie stosowane. Problem polega jednak na tym, że skala centylowa nie odzwierciedla kształtu rozkładu wyników surowych. Rozkład otrzymywany w rezultacie przeliczenia wyników surowych na odsetki jest prostokątny - niezależnie od kształtu wyjściowego rozkładu wyników (por. Magnusson, 1981, s. 353). Rozkład prostokątny to inaczej rozkład równoprawdopodobny, czyli rozkład, w którym wszystkie wartości zmiennej pojawiają się z tym samym prawdopodobieństwem. Na rys. 4.7 przedstawiono rozkład prostokątny z naniesionymi nań centylami. Jak widać, wszystkie pola powierzchni rozkładu prawdopodobieństwa, odpowiadające kolejnym wynikom, są sobie równe i wynoszą 1%. Nie dotyczy to tylko dwóch skrajnych części. Pole każdej skrajnej powierzchni wynosi bowiem 0,5%. Skala centylowa liczy 101 jednostek (0 jest początkiem skali) i podział na 101 równych jednostek prowadziłby do tego, że pole całkowite nie sumowałoby się do 100% (por. Matuszewski, 1984, s. 64).

R

o z d z ia ł

4

Rys. 4.7. Skala centylowa (opracowano na podstawie Matuszewski, 1984, s. 64)

Normy cent yl owe następującego wzoru: CentyI (C) =

148

0,5%

CENTYL 0

1,0%

CENTYL1

190%

CENTYL2

1,0%

CENTYL98

1,0%

CENTYL 99

0,5%

CENTYL100

obliczamy według

c//_i+0,5i

Ż\T

100%

gdzie: cf oznacza liczebność kumulowaną, f - prosta liczebność, a N - liczbę badanych osób.

Skala centylowa ma jednak i inne wady. Jeżeli rozkład wyników surowych jest roz­ kładem normalnym, to skala centylowa pro­ wadzi do przeceniania wielkości różnic pośrodku rozkładu, a niedocenianiu ich na krańcach tego rozkładu (ib id e m ). W rozkła­ dzie normalnym bowiem najwięcej wyników lokuje się w środku rozkładu. Dlatego też różnice między wynikami skupiającymi się w środku rozkładu mogą w rzeczywistości być niewielkie, lecz nawet najmniejsze róż­ nice zostaną odzwierciedlone w centylach. Z kolei na krańcach rozkładu, gdzie rzeczy­ wiste różnice między wynikami mogą być duże, będą one odzwierciedlone jedynie przez małe różnice między centylami. Efekt ten przedstawiono na rys. 4.8. Normy centylowe są normami typu ran­ gowego (porządkowego). Oznacza to, że nor­ my tego typu dobrze odzwierciedlają upo­ rządkowanie osób badanych w grupie nor­ malizacyjnej, nie odzwierciedlają natomiast względnych różnic między tymi osobami. Jednym z rozwiązań tego problemu może być sporządzanie tzw. s i a t k i c e n t y l o ­ we j, w której centyle są tak rozmieszczone, aby odpowiadały równym odległościom w rozkładzie normalnym (por. Anastasi, Urbina, 1999, s. 91). Siatka centylowa po­ prawnie odzwierciedla rzeczywiste różnice między wynikami osób badanych. Na rys. 4.9 przedstawiono wyniki czterech osób badanych. Różnica w wynikach centylowych między osobą A i B oraz między osobą C i D jest taka sama i wynosi 10 pkt., co nie

(opracowano na podstawie Cronbach, 1990, s. 112)

N

o rm y

,

c z y l i n a d a w a n ie

z n a c z e n ia w y n ik o m

N CO

CD CD

N

Osi

O CD O 00 O o

CD

o

LO

o

normalnym Rys. 4.8. Związek między centylami a rozkładem

testo w ym

OJ

c

ro 0

~o

o co o

CM

N CM

I

N CO

I

149

R

o z d z ia ł

4

odpowiada rzeczywistej wielkości różnicy między nimi. Siatka centylowa pozwala to zróżnicowanie uchwycić (por. rys. 4.9). Rys. 4.9. Siatka centyiowa obrazująca możliwość porównywania dwóch wyników wyrażonych w centy lach (opracowano na podstawie Anastasi, Urbina, 1999, s. 91) d1- Dostarcza ona informacji o tym, co osoby badane potrafią zrobić, w odróżnieniu od interpretacji zorientowanej na normy, która mówi o tym, jak osoby badane są oceniane na t le innych osób do nich podobnych (należących do tej samej grupy normalizacyjnej).

Wszystkie testy są w gruncie rzeczy testami odwołującymi się do norm, a „normatywny układ odniesienia jest zawarty implicite w każdym badaniu testowym, bez względu na to, w jaki sposób wyraża się wyniki” (Anastasi, Urbina, 1999, s. 116; też Cohen, Swerdlik, 1999). To bowiem, co jest przedmiotem pomiaru, zależy od naszej wiedzy o tym, czego można oczeki­ wać na danym etapie rozwoju, a także naszej decyzji dotyczącej tego, jaki zakres wiedzy czy umiejętności powinien zostać uznany za standard wyko­ nania (a ta decyzja ma już charakter normatywny).

156

Podstawowe pojęcia: • grupa odniesienia • normalizacja rozkładu • normy • normy lokalne

N

orm y

,

c z y l i n a d a w a n ie

z n a c z e n ia w y n ik o m

testo w ym

• normy ogólnokrajowe • normy typu rangowego centyle • normy typu równoważnikowego równoważniki klasy równoważniki wieku • normy typu standardowego • przekształcenie liniowe • przekształcenie nieliniowe • skala ilorazów inteligencji • skala staninowa • skala stenowa • skala T • skala tetronowa

Literatura zalecana Anastasi A., Urbina S. (1999). Testy psychologiczne. Warszawa: Pracownia Testów Psychologicznych Polskiego Towarzystwa Psychologicznego. Brzeziński J. (1996). Metodologia badań psychologicznych. Warszawa: Wy­ dawnictwo Naukowe PWN. Matuszewski, A. (1984). Interpretacja formalna wyników w testach psycho­ logicznych, w: J. Brzeziński (red.), Wybrane zagadnienia z psychometrii i diagnostyki psychologicznej (s. 47-72). Poznań: Wydawnictwo Naukowe UAM. Ricks J.H. (1993). Normy lokalne - kiedy i dlaczego? w: J. Brzeziński, E. Homowska (red.), Zpsychometrycznych problemów diagnostyki psycho­ logicznej (s. 49-58). Poznań: Wydawnictwo Naukowe UAM.

157

R

K o n s t r u o w a n ie PROCEDURY

158

t e st u

o z d z ia ł

5

—po d sta w o w e

Każdy test składa się z pozycji testowych. Pozycje te można scharakteryzować za pomocą takich samych kategorii pojęciowych, jak cały test. I tak np. pytanie „Czy często miewasz zmienne nastroje?” ma swoją własną punktację (powiedz­ my „0” dla odpowiedzi „nie” i „1” dla odpowiedzi „tak”), i może okazać się pytaniem nierzetelnym (te same osoby pytane w różnych momentach dają różne odpowiedzi), może być pytaniem nietrafnym (odpowiedź „tak” lub „nie” może wskazywać na zupełnie inną cechę psychologiczną niż ta, o którą nam chodziło), wreszcie może być pozycją stronniczą (osoby należące do różnych grup społecznych mogą częściej udzielać jednej lub drugiej kategorii odpowiedzi). Stwierdzenie, że dobry test powinien składać się z dobrych pozycji testo­ wych, może się wydawać truizmem. Jednakże - o czym świadczy wcale nie taka mała liczba przykładów - etap budowy testu bywa niedoceniany. Jakość całego testu zależy od jakości jego elementów składowych, czyli właśnie pozycji testowych. Posiadanie odpowiedniej wiedzy na temat przedmiotu pomiaru nie wystarczy do tego, aby tworzenie testu zakończyło się sukcesem. Zbudowanie dobrego testu to proces wymagający dobrej znajomości obo­ wiązujących w tym zakresie procedur. W niniejszym rozdziale przedstawimy podstawowe zasady obowiązujące w tej dziedzinie. Mówiąc najkrócej, budowanie testu rozpoczynamy od konceptualizacji tego, co ma być przedmiotem pomiaru (definiujemy mierzoną cechę oraz dokonujemy jej operacjonalizacji). Następnie formułujemy dużą pulę pozycji testowych, którą poddajemy analizie językowej i treściowej. Odrzucając pozycje, które nie spełniają przyjętych kryteriów, tworzymy pierwszą, eksperymentalną wersję testu. Po przeprowadzeniu badań pilotażowych i obliczeniu statystycznych właściwości poszczególnych pozycji podejmujemy decyzję, które z nich nadają się do ostatecznej wersji budowanego przez nas narzędzia. Analiza statystyczna pozycji testowych pozwoli nam ocenić, które pozycje testowe nie wymagają już żadnych zmian, które należy poddać rewizji, a które całkowicie zmienić. Poprawioną pierwszą wersję testu ponownie sprawdzamy w badaniach pilotażowych. Jeżeli okaże się, że pozycji testowych spełniających nasze wymagania jest zbyt mało, rozpoczynamy całą procedurę właściwie od początku, tj. od zbudowania nowej puli pozycji testowych. Na rys. 5.1 przedstawiono kolejne etapy tworzenia testu.

Ko

n s t r u o w a n ie

testu

-

po dstaw o w e

pro cedury

Rys. 5.1. Etapy tworzenia testu Etap 1 Zdefiniowanie mierzonej właściwości i jej operacjonalizacjd

Etap 2 Określenie formatu bodźca i formatu odpowiedzi

Etap 3 Generowanie pozycji testowych

zbyt mała liczba pozycji spełnia założone warunki

Etap 4 Analiza językowo-treściowa pozycji

W:r' Etap 5 Ustalenie kit c a odpowiedzi

Etap 8 Obliczenie wybranych wskaźników statystycznych dla wszystkich pozycji testu

Etap 9 Zbudowanie ostatecznej wersji testu 159

R

o z d z ia ł

5

5.1. OD CZEGO ZACZYNAMY? Zanim przystąpimy do tworzenia pozycji testowych, musimy sobie od­ powiedzieć na dwa podstawowe pytania: czemu ma służyć tworzony przez nas test? oraz: jak definiujemy obszar interesujących nas zachowań?

Określanie celu pomiaru Pierwszym zadaniem, jakie stoi przed autorem nowego testu, jest określenie tego, czemu ma służyć test. Wyobraźmy sobie np., że chcemy skonstruować test kompetencji społecznych. Test ten może być przeznaczony dla celów selekcyjnych (wybieramy na jego podstawie osoby, które przyjmiemy do szkoły kształcącej przyszłych pracowników socjalnych), może być podstawą decyzji kadrowych (wpłynie na to, że będziemy awansować pracowników) bądź testem diagnostycznym (pomoże nam określać indywidualny zakres kompetencji społecznych jednostki). Trudno sobie wyobrazić, aby jeden test jednakowo dobrze realizował wszystkie trzy cele. Test, którego wyniki mają być podstawą selekcji, po­ winien dobrze różnicować w zakresie wysokich kompetencji społecznych, z kolei test przeznaczony do diagnozy indywidualnej powinien jednakowo dobrze różnicować na całym kontinuum mierzonej właściwości (a więc zarówno w zakresie niskich, jak i wysokich kompetencji). I podobnie, treść pozycji testowych powinna być inna wtedy, kiedy interesuje nas badanie osób, które starają się o przyjęcie na specjalistyczny kurs, a inna wtedy, kiedy chcemy określać indywidualne możliwości każdej osoby i np. planować na tej podstawie dalsze działania terapeutyczne. Jasne określenie celu głównego obszaru zastosowania testu i hierarchii decyzji, jakie będą podejmowane na podstawie jego wyników testowych, w dużym stopniu zwiększa nasze szanse na to, że ostateczna wersja testu spełni nasze oczekiwania. Określanie obszaru zachowań identyfikowanych z mierzonym konstruktem (procedura operacjonalizacji)1 Większość konstruktów psychologicznych to pojęcia bardzo szerokie, najczęściej nie posiadające wyraźnych definicji. Przykładami takich właśnie pojęć są: „wysiłek umysłowy”, „konformizm”, „zaangażowanie”, „lęk”, „popęd” czy „osobowość”. Tworząc test, musimy być przygotowani na konieczność precyzyjnego wskazania, co rozumiemy pod pojęciem „kom-

160

1 W literaturze przedmiotu opisuje się generalnie dwie strategie tworzenia narzędzi - st tegię racjonalną i empiryczną (Edwards, 1970; Wiggins, 1994). Punktem wyjścia konstrukcji metod za pomocą strategii racjonalnej jest teoria mierzonej cechy. W strategii empirycznej rozpoczynamy od dowolnej puli pytań i poszukujemy empirycznie potwierdzonych różnic między odpowiednio dobranymi grupami kontrastowymi. W skalach empirycznych kryterium zakwalifikowania twierdzeń do ostatecznej wersji skali jest związek między kryterium podziału na grupy a treścią twierdzeń (dokładniej na ten temat por. Paluchowski, 2001). Tu zajmiemy się strategią racjonalną jako bardziej ogólną.

Ko

n s t r u o w a n ie

testu

-

po dstaw o w e

pro cedury

petencji społecznych” czy „postawy”. Co więcej, nasze definicje powinny zostać sformułowane w języku dających się obserwować zachowań. Między pojęciami i obserwowałnymi zachowaniami może istnieć bardzo długi łańcuch powiązań i często trzeba wprowadzić wiele pośrednich pojęć i relacji, zanim ustalimy związek między terminami teoretycznym i za­ chowaniami. Wiązanie terminów teoretycznych z obserwacjami jest pod­ stawowym sposobem wyjaśniania, co przez nie rozumiemy. W każdym więc wypadku musimy być przygotowani na to, by każdej zainteresowanej osobie móc wyjaśnić treść ważnych dla nas pojęć przez dokładne pokazanie ich powiązań z obserwowałnymi zachowaniami. Procedura wiązania terminów teoretycznych (odnoszących się do nieobserwowalnych właściwości zdarzeń i obiektów) z terminami obserwacyjnymi (oznaczającymi obserwowalne właściwości i relacje) nazywa się procedurą o p e r a c j o n a l i z a c j i (por. Hornowska, 1989, 2000a). Zabieg operacjonalizacji to zbiór procedur pozwalających badaczowi (także autorowi testu) na powiązanie mierzonej cechy (pojęcia teoretycznego) z konkretnym zbiorem obserwacji. Innymi słowy, to zabieg, który określa, co należy zrobić i co należy obserwować, aby badane zachowania można było potraktować jako wskaźniki mierzonej cechy psychologicznej2. Cecha i narzędzie zatem są ze sobą ściśle związane, gdyż narzędzie odzwierciedla tę cechę na poziomie zachowań. I tak np. Zawadzki i Strelau (1997), konstruując swój kwestionariusz tempe­ ramentu (FCZ-KT), przyjęli za punkt wyjścia twierdzenia regulacyjnej teorii temperamentu, sformułowanej przez Strelaua (1995). Podstawowe dla tego kwestionariusza pojęcie temperamentu zostało zdefiniowane następująco: tem­ perament odnosi się do „(...) podstawowych, względnie stałych czasowo cech osobowości, które manifestują się w formalnej charakterystyce zachowania (parametrach energetycznych i czasowych). Cechy te występują we wczesnym dzieciństwie i są wspólne dla człowieka i zwierząt. Będąc pierwotnie zdetermi­ nowany przez wrodzone mechanizmy fizjologiczne, temperament podlega zmianom zachodzącym pod wpływem dojrzewania (i starzenia się) oraz niektó­ rych czynników środowiskowych” (Zawadzki, Strelau, 1997, s. 12). W obrębie poziomu energetycznego zachowania autorzy wyróżnili siedem własności temperamentu: wrażliwość sensoryczną, wrażliwość emocjonalną, odporność emocjonalną, odporność na dystraktory, odporność na zmęczenie oraz aktyw­ ność. W obrębie poziomu czasowego wyróżnili pięć kategorii zachowań: ruchliwość, szybkość, tempo, powtarzanie i utrzymywanie zachowania (ibidem , s. 48). Szczegółowe definicje wszystkich kategorii stały się podstawą wygenero­ wania wyjściowej puli pozycji testowych - w tym wypadku twierdzeń. Ci sami autorzy (Strelau, Zawadzki, 1998), tworząc inny kwestionariusz temperamentu (PTS), jako podstawę konstrukcji przyjęli pawłowowską kon2 Koncepcję operacjonalizacji szczegółowo omawiam w dwu pracach (Hornowska, 1989;

2000a).

161

R

o z d z ia ł

5

cepcję temperamentu. Do właściwości temperamentu Pawłów zaliczył: siłę procesu pobudzenia, siłę procesu hamowania, równowagę między tymi procesami i ruchliwość procesów nerwowych (ibidem, s. 10). Dla każdej z tych właściwości - na podstawie szczegółowej analizy prac Pawłowa oraz doświadczeń badawczych autorów - wyodrębniono 17 składników definicyj­ nych, a dalej wygenerowano różne ich wskaźniki na poziomie obserwacji (ibidem, s. 34). To samo pojęcie - temperament - zostało w obu wypadkach inaczej zdefiniowane. Konsekwencją różnych podejść teoretycznych było powstanie dwóch różnych kwestionariuszy temperamentu. Podsumowując: jeżeli chcemy zbudować test, to właściwym punktem startu jest wyraźne zdefiniowanie mierzonej cechy oraz jej operacjonalizacja. W ten sposób możemy określić obszar zachowań, które będziemy traktować jako wskaźniki interesującej nas cechy, a pozycje testowe powinny ten obszar odzwierciedlać. >- Dwa p i e r w s z e e t a p y konstrukcji testu to: • określenie celu pomiaru oraz • określenie obszaru zachowań identyfikowanych z mierzonym konstruktem

5.2. ZASADY BUDOWANIA POZYCJI TESTOWYCH Po zdefiniowaniu mierzonej właściwości i określeniu obszaru interesują­ cych nas zachowań możemy przystąpić do układania pozycji testowych. Wyjściowy zbiór pozycji testowych nazywać będziemy dalej pulą pozycji (ang. item pool). Pula ta powinna być stosukowo duża (zazwyczaj zaleca się skonstruowanie dwa razy tylu pozycji, ile liczyć ich ma ostateczna wersja testu), gdyż gwarantuje to nam uzyskanie odpowiedniej liczby pozycji speł­ niających wymagane kryteria. Zanim sami lub zaproszeni przez nas eksperci zaczną tworzyć pozycje testowe, powinniśmy najpierw odpowiedzieć na pytanie, jaki wybieramy format pozycji testowej. Zgodnie z Pophamem (1981) można mówić general­ nie o dwóch formatach pozycji: f o r m a c i e o t w a r t y m (ang. constructed-responseformat) i f o r m a c i e z a m k n i ę t y m (ang. selected-response format). W pierwszym wypadku zadanie osoby badanej polega na swobod­ nym udzieleniu odpowiedzi. Np. pytanie: „Co to jest błąd standardowy pomiaru?” posiada format otwarty. Osoba badana, o ile tylko rozumie sens pytania, odpowiada na nie całkowicie swobodnie, spontanicznie, posługując się swoim własnym językiem (por. też Frankfort-Nachmias, Nachmias, 2001). Natomiast w przypadku pozycji zamkniętych osobie badanej przedstawia się zbiór odpowiedzi, a jej zadanie polega na wybraniu jednej bądź kilku z nich. Pozycje zamknięte często też nazywa się pozycjami obiektywnymi z tego 162 względu, że ich ocena jest w mniejszym stopniu obciążona subiektywizmem.

Ko

n s t r u o w a n ie

testu

-

po dstaw o w e

pro cedury

Pozycje, z jakich składa się test, mogą mieć f o r m a t otwarty lub zamknięty: • typowymi przykładami pozycji o formacie otwartym są pozycje do uzupełnienia, krótkie wypowiedzi oraz opowiadanie; • typowymi przykładami pozycji o formacie zamkniętym są pozycje alternatywne, pozycje wielokategorialne z wieloma opcjami do wyboru, pozycje z dopasowy­ waniem, pozycje w formacie skali Likerta oraz dwubiegunowe skale przymiot­ nikowe.

Typowymi przykładami pozycji o formacie otwartym są pozycje do uzupeł­ nienia (ang. completion item), krótkie wypowiedzi (ang. short answer) oraz opowiadanie (ang. essay) - por. też Niemierko, 1975; Cohen, Swerdlik, 1999. • P o z y c j e d o u z u p e ł n i e n i a wymagają dokończenia przez osobę badaną rozpoczętego zdania. Formułowane są one najczęściej w sposób następujący3: rzetelność testu jest t o ............................................................. Pozycja tego typu powinna zostać tak zbudowana, aby odpowiedź prawid­ łowa (zgodna z kluczem) dawała się wyraźnie określić. W przeciwnym wypadku bowiem możemy napotkać na poważne trudności w ocenianiu odpowiedzi udzielonych na takie pozycje. • Pozycje testowe wymagające k r ó t k i e j w y p o w i e d z i formułuje się tak, aby osoba badana rzeczywiście mogła w związku z nimi przygotować zwięzłą wypowiedź. Zazwyczaj za krótką wypowiedź uznaje się tekst o objętości jednego lub dwóch paragrafów (Cohen, Swerdlik, 1999, s. 229). Pozycja tego typu może zostać zbudowana następująco: Jakie założenia przyjmuje się w klasycznym modelu wyniku prawdziwego? • pozycje testowe, na które odpowiedź ma charakter o p o w i a d a n i a , stosuje się wtedy, kiedy interesuje nas np. określenie głębokości wiedzy na dany temat. Pozycje tego typu nie tylko uruchamiają posiadaną wiedzę (wymagają bowiem odwołania się do pamięci), ale również pozwalają na ocenę stopnia jej integracji (zaplanowania i ustrukturalizowania wypowie­ dzi - ibidem), przykładowo: Omów badania psychologiczne poświęcone problemowi konformizmu i posłuszeństwa. W wypadku pozycji zamkniętych do najczęściej stosowanych w testach psychologicznych należą tzw. pozycje alternatywne (ang. alternate choice), ’ Aby ujednolicić sposób prezentacji tej części materiału, podawane przykłady będą generalnie dotyczyć testów właściwości poznawczych. Omawiane rodzaje pozycji testowych mają swoje zastosowanie również i w testach właściwości afektywnych.

163

R

o z d z ia ł

5

pozycje wielokategorialne z jedną lub wieloma opcjami do wyboru (ang. multiple choice), pozycje z dopasowywaniem (ang. matching), pozycje w for­ macie skali Likerta (ang. Likert format) oraz dwubiegunowe skale przymiot­ nikowe (ang. bipolar adjective checklist)4. • P o z y c j e a l t e r n a t y w n e to twierdzenia lub pytania zawierające tylko dwie możliwe odpowiedzi (tak-nie lub prawda-fałsz). Taki format właśnie posiada pozycja:

Potrafię polubić ludzi mających inne wartości niż ja fałsz prawda dla której przewidziano właśnie tylko dwa rodzaje odpowiedzi: „prawda” lub „fałsz”. Ten rodzaj pozycji nadaje się zarówno do testów właściwości poznawczych (testów umiejętności), jak i testów właściwości afektywnych (np. testów osobowości). Pozycje tego typu powinny być formułowane w prostym języku, warto też unikać sformułowań w postaci przeczeń (zwłaszcza podwójnych przeczeń), bowiem może wtedy istnieć niebezpie­ czeństwo niewłaściwej oceny odpowiedzi osoby badanej (por. Mehrens, Lehmann, 1973, s. 271-274). • P o z y c j a z w i e l o m a o p c j a m i d o w y b o r u składa się z trzonu (w którym przedstawione jest pytanie bądź problem), odpowiedzi prawid­ łowej (bądź zgodnej z kluczem) oraz kilku odpowiedzi nieprawidłowych (bądź niezgodnych z kluczem), nazywanych dystraktorami, przykładowo: Trafność kryterialna to inaczej: a. trafność diagnostyczna i prognostyczna

trzon odpowiedź prawidłowa

b. trafność predykcyjna i treściowa

dystraktor

c. trafność diagnostyczna i treściowa

dystraktor

d. trafność teoretyczna i treściowa

dystraktor

Dobra pozycja tego typu powinna: posiadać jedną prawidłową odpowiedź, wszystkie możliwości odpowiedzi powinny być gramatycznie równoważne, powinny być podobnej długości, powinny być zgodne gramatycznie z trzonem, a dystraktory nie powinny być dziwacznie sformułowane (por. Cohen, Swerdlik, 1999, s. 227). Czasami stosuje się testy z pozycjami wielokategorialnymi i wieloma opcjami do wyboru. Te jednak są trudniejsze do obróbki psychometrycznej. Ten rodzaj pozycji testowych stosuje się głównie w testach osiągnięć. • P o z y c j e z d o p a s o w y w a n i e m to pozycje składające się z dwóch list - listy bodźców i listy odpowiedzi. Obie listy są ułożone w porządku losowym. Zadanie polega na dopasowaniu bodźców do odpowiedzi. Przykła­ dowo: 164

4 Różne rodzaje pozycji testowych omawiają też: dla testów osiągnięć - Niemierko (1975), oraz dla testów osobowości - Cohen, Swerdlik (1999)

Ko

n s t r u o w a n ie

testu

-

po dstaw o w e

pro cedury

Połącz poszczególne pojęcia z ich definicjami, wstawiając numer definicji w wykropkowane miejsce obok litery oznaczającej dane pojęcie ......... a. zmienna kontrolowana

1. zmienna, która oddziałuje na inne zmienne

......... b. zmienna zależna

2. właściwość przyjmująca różne wartości dla obiektów, których dotyczy

......... c. zmienna niezależna

3. zmienna, której wpływ na zmienną zależną badacz jest w stanie ustalić

.. d. zmienna nominalna

4. zmienna po2:walająca stwierdzić, ile razy na­ tężenie danej zmiennej dla danego obiektu jest większe lub mniejsze od natężenia tej zmiennej dla innego obiektu

......... e. zmienna porządkowa

5. zmienna pozwalająca stwierdzić, o ile natę­ żenie danej zmiennej dla danego obiektu jest większe lub mniejsze od natężenia tej zmien­ nej dla innego obiektu

......... f. zmienna interwałowa

6. zmienna pozwalająca na uporządkowanie osób według przysługujących im wartości zmiennej

......... g. zmienna ilorazowa

7. zmienna kategorialna, jakościowa, będąca prostą klasyfikacją

......... h. zmienna

8. zmienna, która podlega oddziaływaniom ze strony innych zmiennych 9. zmienna, której wpływu na zmienną zależną badacz nie jest w stanie ustalić 10. zmienne, które burzą jasny obraz zależności między zmienną zależną a zmiennymi dla niej głównymi

Pozycje testowe tego typu powinny być konstruowane według następują­ cych zasad (por. Mehrens, Lehmann, 1973, s. 261-264): obie listy powinny być stosunkowo krótkie, lista odpowiedzi nie powinna się składać ze zbyt długich wyrażeń (najlepiej, aby były to pojedyncze zdania), pojedyncze zadanie powinno dotyczyć jednego pojęcia czy obszaru pojęciowego, lista odpowiedzi nie powinna być tej samej długości co lista bodźców (łatwiej wtedy bowiem ustalić prawidłowe połączenia tylko na drodze eliminacji), wreszcie: wszystkie zadania powinny być poprawne gramatycznie. Ten rodzaj pozycji również stosuje się przede wszystkim w testach osiągnięć. P o z y c j e w f o r m a c i e s k a l i L i k e r t a są twierdzeniami, do których dołączono pięć kategorii odpowiedzi: całkowicie się zgadzam, zgadzam się, trudno powiedzieć, nie zgadzam się, całkowicie się nie zgadzam. Osoba badana określa stopień aprobaty treści twierdzenia, wy­ bierając jedną z opcji odpowiedzi. Tego typu pozycje testowe wykorzystuje się z kolei przede wszystkim w testach właściwości afektywnych, głównie do pomiaru postaw (zgodnie z oryginalnym sposobem ich wykorzystania - por. Likert, 1932; też Brzeziński, 1978 - w sprawie szczegółowych zasad konstrukcji skali postaw Likerta). Przykładowo:

165

R

o z d z ia ł

5

Wszystkie dzieci powinny bezwarunkowo wykonywać polecenia swoich rodziców całkowicie się zgadzam

zgadzam się

trudno powiedzieć

nie zgadzam się całkowicie się nie zgadzam

D w u b i e g u n o w e s k a l e p r z y m i o t n i k o w e to z kolei rodzaj pozycji testowych zaczerpniętych z metody dyferencjału semantycznego. Osgood, Suci, Tannenbaum (1957; por. też Czapiński, 1978) zaproponowali - do pomiaru znaczenia konotacyjnego pojęć - stosowanie zbioru skal zdefiniowanych przez parę spolaryzowanych przymiotników, przykładowo: Gwiazda jasna

-1

gorąca

-1

duża

+1

+2

+3

ciemna

-2

-3

+1

+2

+3

zimna

-2

-3

+1

+2

+3

mała

Autorzy ci przeanalizowali szereg par przymiotników i stwierdzili, że większość z nich można pogrupować na trzy kategorie: wartościowanie (ang. evaluation ), siła (ang. potency) i aktywność (ang. activity). W efekcie otrzymali wystandaryzowane narzędzie, składające się z kilkunastu skal. Pozycje testowe w postaci dwubiegunowych skal przymiotnikowych by­ wają wykorzystywane poza orygimilną metodą dyferencjału semantycz­ nego. W takiej sytuacji jednak to na autorze testu ciąży obowiązek wyka­ zania w jaki sposób zbudowane przez niego skale przymiotników wiążą się z badaną właściwością, jak będą oceniane i interpretowane. Przedstawione przykłady formatu pozycji testowych nie wyczerpują oczy­ wiście wszystkich możliwości. Dobre opracowanie tego zagadnienia można znaleźć w pracach Niemierki (1975), Thorndike’a i Hagen (1977), Cronbacha (1990), oraz Cohena i Swerdlika (1999). Na koniec warto podkreślić, że decyzjo dotyczące formatu pozycji testowej powinny zostać podjęte bardzo starannie. Należy rozważyć konsekwencje wprowadzenia takiego, a nie innego formatu (dobrze jeżeli decyzje takie są poprzedzone badaniami empirycznymi)5. Tak zrobili np. Zawadzki i Strelau (1997), tworząc kwestionariusz temperamentu. Na jednym z etapów przygo­ towywania kwestionariusza poproszono osoby badane o wybranie jednej z dwóch możliwych opcji: TAK/NIE lub czterostopniowej skali Likerta (całkowicie się zgadzam, zgadzam się, nie zgadzam się i całkowicie się nie zgadzam - ibidem , s. 50). W badaniach okazało się, że osoby w grupie

166

5 Taką konsekwencją może być zwiększenie prawdopodobieństwa ujawnienia się tzw. stylu odpowiadania, tj. skłonności do odpowiadania na pozycje testowe niezależnie od treści tych pozycji. Do stylów najczęściej opisywanych należą tzw. tendencja do potakiwania, unikanie odpowiadania, poświęcanie dokładności na rzecz szybkości odpowiadania, udzielanie odpowiedzi składających się z kilku słów, gdy wymagana odpowiedź ma mieć formę opowia­ dania, czy nieco inny mechanizm znany jako odpowiadanie zgodnie ze zmienną aprobaty społecznej (Cronbach, 1990, s. 175; szerzej patrz Wiggins, 1994).

K o n str u o

w a n ie

testu

-

po dstaw o w e

pro cedury

wiekowej 20-65 lat preferują format TAK/NIE. Ponieważ kwestionariusz ten jest przeznaczony do badania dorosłych, autorzy zdecydowali się na taki właśnie format pozycji testowych. Ilustracją tego, co powiedzieliśmy na temat formatu pozycji testowych, niech będzie tab. 5.1, w której na przykładzie testu sprawdzającego poziom wiedzy z matematyki przedstawiono sposób konstruowania pozycji testowej wkfókategorialnej z jedną opcją do wyboru. Tab. 5.1. Konstruowanie pozycji testowej wielokategorialinej z jedną opcją do wyboru (na przykładzie testu sprawdzającego poziom wiedzy z matematyki) Rodzaj wiedzy: umiejętność mnożenia ułamków dziesiętnych Rodzaj pozycji testowej: obliczanie iloczynów dwóch ułamków dziesiętnych Cechy bodźca Cechy odpowiedzi 1. Zadanie z treścią wymagające oblicze­ 1. Odpowiedzi są podawane w postaci war­ nia iloczynu dwóch ułamków dziesięt­ tości iloczynów, w porządku malejącym nych lub rosnącym 2. Każdy z ułamków powinien zawierać jedno lub dwa miejsca po przecinku

2. Każde zadanie posiada cztery odpowie­ dzi do wyboru: a) odpowiedź prawidłowa b) dystraktor - błąd wynikający z nie­ prawidłowego określenia miejsca dziesiętnego c) dystraktor - błąd wynikający ze złego ustawienia („podpisania”) ułamków d) dystraktor - błąd wynikający z nie­ zrozumienia treści zadania

3. W żadnym zadaniu nie powinny się dwukrotnie powtórzyć te same liczby

5.3. ANALIZA ZADAŃ Mając już gotową pulę pozycji testowych, możemy przystąpić do ich oceny. Ocena ta powinna zostać przeprowadzona na trzech płaszczyznach: językowej, treściowej i statystycznej. Efektem tego będzie ustalenie ostatecz­ nej wersji budowanego testu. A n a l i z a z a d a ń obejmuje trzy etapy: • analizę językową • analizę treściową • analizę statystyczną

Analiza językowo-treściowa Pierwszym krokiem pozwalającym nam sprawdzić jakość wygenerowanych przez nas pozycji testowych jest sprawdzenie ich pod kątem poprawności językowej i trafności treściowej. Ten etap analizy zadań przeprowadza się

167

R

o z d z ia ł

5

zazwyczaj p r z e d uruchomieniem badań pilotażowych i przeprowadzeniem analizy statystycznej pozycji (Nunnally, 1978, s. 262)6. Taka wstępna selekcja pozycji testowych pozwoli na odrzucenie pozycji językowo bądź teoretycznie wadliwych i tym samym będzie sprzyjać zbudowaniu rzetelnego i trafnego testu Analiza językowa. Analiza językowa jest zazwyczaj przeprowadzana przez językoznawców. Ich zadanie polega na przeanalizowaniu każdej pozycji pod kątem jej poprawności gramatycznej, zrozumiałości, stosowanego słownictwa czy też długości, konkretności lub metaforyczności. I choć generalnie za właściwe uznaje się reguły danego języka, można sformułować kilka zasad ogólnych. I tak - pozycja testowa (por. Thorndike, Hagen, 1977; Nunnally, 1978; Crocker, Algina, 1986): • nie powinna być zbyt długa (preferowane są pozycje jednozdaniowe, chyba że mają stanowić opis pewnej sytuacji lub problemu); • powinna być raczej zbudowana ze zdań prostych niż złożonych, jeżeli dana pozycja wymaga dłuższego sformułowania; • powinna być sformułowana w trybie oznajmującym (przeczenia, zwłaszcza podwójne, mogą prowadzić do nieporozumień interpretacyjnych); • stosowany język powinien być prosty (nie powinny zawierać trudnych zwrotów lub wrażeń); • powinna być napisana językiem dostosowanym do przeciętnych kompeten­ cji językowych badanych osób (a więc innym dla dzieci oraz dla dorosłych); • powinna być poprawnie sformułowana gramatycznie; • nie powinna zawierać takich określeń, jak „czasami”, „rzadko”, „niekiedy”, „kilka” „wiele” „nigdy” czy „zawsze”, ponieważ osoby badane mogą im przypisywać różne znaczenia. Każda pozycja testowa jest po kolei analizowana. Autor testu może ją pozostawić bez zmian, przeformułować lub odrzucić. Staranna analiza języko­ wa pozwala wyeliminować zasadnicze błędy w sposobie formułowania pozycji testowych. Dzięki temu pozycje składające się na pierwszą wersję testu powinny być wolne od błędów językowych. Analiza treściowa. Kolejnym etapem wstępnej analizy pozycji testowych jest ich analiza pod kątem treściowym. Pytanie, na jakie powinien odpowie­ dzieć autor testu, to pytanie o to, czy wszystkie pozycje testowe można treściowo wywieść z teorii mierzonej cechy. Podstawą tej analizy jest oczy­ wiście treść pozycji testowych. I tym razem zespół ekspertów dokonuje oceny zgodności treści poszczególnych pozycji testowych z przyjętymi

168

() Niekiedy analizy językowo-treściowe są przeprowadzane po badaniach pilotażowych. Zaproszeni eksperci analizują tylko te pozycje, które spełniają formalne kryteria. Ponieważ zazwyczaj po badaniach pilotażowych wiele pozycji jest przeformułowywanych, ten sposób jest ekonomicznie mało efektywny, nie pozwala bowiem na zaoszczędzenie czasu i kosztów związanych z tworzeniem nowego testu (taka analiza powinna być przeprowadzona nie tylko dla wyjściowej puli pozycji, ale także i dla ostatecznej wersji testu).

Ko

n s t r u o w a n ie

testu

-

po dstaw o w e

procedury

wcześniej założeniami. Innymi słowy, zespół ten udziela odpowiedzi na dwa pytania: a) czy wszystkie pozycje testowe można traktować jako operacjonalizację mierzonej cechy, oraz b) czy pozycje testowe reprezentują uniwersum zachowań, ważnych z punktu widzenia tej cechy. Odpowiednio wysoki współczynnik zgodności między sędziami może być dobrą podstawą podjęcia decyzji o jakości pozycji testowej (por. omówienie problemu trafności treściowej w rozdz. 4). Ten rodzaj analizy pozwala także wyeliminować - już na wczesnych etapach konstrukcji testu - wiele pozycji nie spełniających kryterium trafności treściowej. Aby zilustrować praktycznie nasze rozważania dotyczące analizy językowo-treściowej, odwołajmy się do wspomnianego już kwestionariusza temperamen­ tu (FCZ-KT) Zawadzkiego i Strelaua (1997). Na pierwszym etapie konstrukcji kwestionariusza autorzy poprosili studentów psychologii i dyplomowanych psychologów o sformułowanie pozycji typowych dla zdefiniowanych wcześniej własności temperamentu. W ten sposób uzyskali 600 oryginalnych (czyli nie pochodzących z innych narzędzi) pozycji testowych (ibidem , s. 48). Następnie pozycje te zostały poddane ocenie językowej (przez 30 studentów wyższych lat polonistyki i dyplomowanego lingwistę) oraz analizie treściowej (przez 12 psychologów różnic indywidualnych). W efekcie tej procedury pozostały 392 pozycje (ibidem , s. 49), które zostały ocenione pod kątem formalnym.

Badanie pilotażowe Po odrzuceniu pozycji testowych źle sformułowanych pod względem językowym i nietrafnych treściowo przygotowujemy pierwszą wersję naszego testu. Tę wersję sprawdzamy następnie w badaniach pilotażowych. Badanie pilotażowe (próbne testowanie) powinno zostać przeprowadzone na tej grupie osób, dla której test jest przeznaczony. I tak np. jeżeli tworzony przez nas test jest przeznaczony do badania młodzieży uczącej się w gim­ nazjum, to badanie pilotażowe powinno zostać przeprowadzone na próbie uczniów gimnazjów. Obok decyzji: k o g o powinniśmy przebadać, musimy także podjąć decyzję j a k l i c z n a powinna być to grupa. W podręcznikach trudno znaleźć proste rady na ten temat, jednak najczęściej zaleca się prze­ badanie od 5 do 10 osób, licząc na każdą pozycję testową (por. np. Nunnally, 1978, s. 279; Crocker, Algina, 1986, s. 83; Cohen, Swerdlik, 1999, s. 230)7. Co więcej, próba ta nie powinna być nigdy mniejsza niż 100 osób. Im większa próba, tym oczywiście lepiej, bowiem pozwoli to nam uniknąć przypadkowych wyników (zalecenie to jest szczególnie ważne, kiedy planu­ jemy zastosowanie analizy czynnikowej). Jeżeli test jest stosunkowo długi, 7 Niestety, lektura wielu podręczników testowych wskazuje, że zasada ta nie jest prze­ strzegana, a prezentowane w nich wyniki analizy zadań mogą być - ze względu na zbyt małą liczebność próby - niewiarygodne.

169

R

o z d z ia ł

5

to dopuszczalną procedurą jest podział testu na części i zbadanie każdą z części innej grupy osób. Badanie pilotażowe powinno przebiegać w takich samych warunkach, w jakich gotowy już test będzie stosowany. Oznacza to, że zarówno instruk­ cja, ewentualne limity czasowe, charakter badania (indywidualny czy grupo­ wy), jak i atmosfera w trakcie badania powinny być takie, jak w trakcie właściwego badania tym testem. Jak pisze Nunnally (1978, s. 279): „Jeżeli w badaniu pilotażowym osoby badane mogą dowolnie długo rozwiązywać test, a w wersji końcowej planuje się wprowadzenie poważnych ograniczeń czasowych, to analiza zadań najprawdopodobniej dostarczy nam - wprowa­ dzających w błąd - informacji. Jeżeli odpowiedzi na pozycje testowe inwen­ tarza osobowości są uzyskiwane w atmosferze zachęcającej do szczerości, a ostateczna wersja testu będzie stosowana w atmosferze zniechęcającej do mówienia o sobie złych rzeczy, to analiza zadań przyniesie nam wadliwe dane o naszym teście” (por. też Cohen, Swerdlik, 1999, s. 230). Wyniki otrzymane w badaniu pilotażowym są następnie analizowane i każda pozycja testowa jest opisywana za pomocą wybranych wskaźników statystycznych. Typowymi wskaźnikami tu: wskaźnik trudności pozycji i współczynnik mocy dyskryminacyjnej. Do ostatecznej wersji testu włączane są tylko te pozycje, których właściwości statystyczne okażą się wystarczająco zadowalające.

Wskaźnik trudności Najprostszą miarą pozwalającą nam podjąć decyzję o tym, które pozycje testowe mogą wejść do ostatecznej wersji testu, jest tzw. wskaźnik trudności pozycji (ang. item-difficulty index). Wskaźnik ten oblicza się głównie w testach właściwości poznawczych (musi istnieć kategoria odpowiedzi prawidłowej, poprawnej) i jest on wykorzystywany do wybrania takich pozycji testowych, które mają odpowiedni - z punktu widzenia celu testowania - poziom trudności8. Wskaźnik trudności jest definiowany następująco:

T = T = pi*lOO% N

gdzie: T oznacza wskaźnik trudności, n, - liczbę osób, które odpowiedziały prawidłowo na daną pozycję testową, a N - ogólną liczbę osób, które udzieliły odpowiedzi na tę pozycję. Innymi słowy, jest to proporcja osób, które poprawnie odpowiedziały na daną pozycję testową (p,), wyrażona w procen­ tach. Im wyższa wartość T, tym łatwiejsza jest dana pozycja testowa (bo tym więcej osób znało prawidłową odpowiedź). Ze względu na taki właśnie sposób interpretacji wielkości współczynnika T czasami nazywa się go K Odpowiednikiem tego wskaźnika w testach osobowości jest tzw. wskaźnik częstości odpowiadania w określony sposób (ang. item-endorsement index), który pozwala ustalić, jak

170

często osoby badane odpowiadają np. „tak” na daną pozycję testową.

Ko

n s t r u o w a n ie

testu

-

po dstaw o w e

pro cedury

wskaźnikiem łatwości zadania, aby nie wprowadzać zbędnych trudności interpretacyj nych. Jaka zatem wartość tego wskaźnika uprawnia nas do zakwalifikowania danej pozycji testowej do ostatecznej wersji testu? Jeżeli naszym celem jest różnicowanie badanych osób na całym kontinuum zmienności cechy, to dobrą pozycją testową jest taka pozycja, która gwarantuje nam to zróżnicowanie. A dana pozycja różnicuje tym lepiej, im bardziej jej wskaźnik trudności zbliża się do 50%9. Dlatego też optymalne pod względem trudności są takie pozycje testowe, których trudność oscyluje wokół tej wartości. Taka prosta reguła decyzyjna może być stosowana pod jednym wszakże warunkiem, a mianowicie, że pozycje testowe nie pozostają ze sobą w żad­ nym związku. Zazwyczaj jednak założenie to jest trudne do spełnienia. Większość testów to testy jednorodne, a im bardziej jednorodny jest test, tym większe są korelacje między jego pozycjami. Aby zilustrować tę zależ­ ność, wyobraźmy sobie taką sytuację: nasz test składa się z 10 identycznych pozycji (np. „Co to jest współczynnik trudności pozycji testowej?”). W takim teście korelacje między poszczególnymi pozycjami testowymi będą oczywiś­ cie maksymalne i wyniosą 1. Gdyby trudność wszystkich pozycji testowych wynosiła 50% i gdybyśmy takim testem przebadali grupę 10 osób, to otrzy­ malibyśmy następujący rezultat: dokładnie 5 osób znałoby poprawną od­ powiedź, a 5 nie umiałoby jej udzielić. W efekcie zamiast dobrze zróżnicować badaną grupę pod względem wiedzy o zasadach budowy testu otrzymalibyś­ my podział tylko na dwie kategorie: tych, którzy mają maksymalną wiedzę na ten temat, i tych, którzy nic nie wiedzą. To, oczywiście, nie może być dobry sposób postępowania. Co zatem możemy zrobić? W takim przypadku zaleca się, aby pozycje testowe posiadały zróżnicowaną trudność (od najłat­ wiejszych do najtrudniejszych); zróżnicowanie to powinno być tym większe, im większa jest korelacja między pozycjami. Pozycje testowe należy dobrać tak, by średnia trudność całego testu oscylowała wokół 50% (por. Nunnally, 1978, s. 242-243; Anastasi, Urbina, 1999, s. 235; Cohen, Swerdlik, 1999, s. 232). W taki właśnie sposób m.in. dobrano pozycje do ostatecznej wersji testu S ł o w n i k w Skali Wechslera WAIS-R(PL) - por. tab. 5.2. W niektórych wypadkach jednak ogólna reguła, że średnia trudność testu powinna oscylować wokół 50%, nie ma zastosowania. Dotyczy to przede wszystkim testów przeznaczonych do celów selekcyjnych. Testy tego typu 9 Aby wyjaśnić, dlaczego tak się dzieje, musimy najpierw przypomnieć sobie, jak oblicza się miarę zróżnicowania (czyli wariancji) dla pozycji dwukategorialnej. Otóż miara ta jest definiowana następująco: V x= P ,(li

gdzie: p, oznacza proporcję odpowiedzi prawidłowych, a i/, proporcję odpowiedzi nieprawid­ łowych (pl + qi = 1) - por. np. Ferguson i Takane (1997). Otóż jak łatwo się przekonać, miara ta będzie miała największą wartość wtedy, kiedy p i = q, = Q,5, czyli 50% (bo 5 0 x 5 0 = 2500 porównań). W każdym innym wypadku wartość ta będzie mniejsza.

171

R

o z d z ia ł

5

Tab. 5.2. Wartości wskaźnika trudności dla poszczególnych pozycji oraz średnia trudność testu Słownik z baterii WAIS-R (PL) (opracowano na podstawie Hornowska, 1993b, s. 180) Nr pozycji testowej

T

Nr pozycji testowej

T

1

94,4

18

57,9

2

79,1

19

56,9

3

74,5

20

55,6

4

73,2

21

55,0

5

73,1

22

54,6

6

70,0

23

51,1

7

69,6

24

49,7

8

68,4

25

47,4

9

68,2

26

45,9

10

66,6

27

44,8

11

66,3

28

40,9

12

63,8

29

35,2

13

62,6

30

32,0

14

61,9

31

29,6

15

60,7

32

28,6

16

60,2

33

09,3

17

59,2

34

06,4

35

05,1

T= 53,65%

powinny zawierać pozycje testowe o takiej trudności, jaka jest najbliższa pożądanemu współczynnikowi selekcji. I tak np. jeżeli interesuje nas wy­ branie najlepszych 30% kandydatów, to najoptymalniejsze będą te pozycje, których wskaźnik trudności waha się właśnie wokół 30% (po uwzględnieniu problemu zgadywania wskaźnik ten może być nieco wyższy - patrz niżej). Innymi słowy, im bliżej punktu krytycznego (punktu selekcji) znajduję się wskaźnik trudności pozycji, tym lepiej z uwagi realizację celu pomiaru. To właśnie przeznaczenie testu powinno decydować o tym, jakie pozycje testowa znajdą się w ostatecznej jego wersji. Decyzji tych - jak piszą Anastasi i Urbina (1999, s. 242) - „nie można podejmować w sposób rutynowy, nie wiedząc, do czego będą wykorzystywane wyniki testowe”. Problem zgadywania. Przedstawiona wyżej reguła postępowania może być stosowana w wypadku pozycji z formatem otwartym. W wypadku pozycji z formatem zamkniętym musimy jeszcze dodatkowo uwzględnić problem zgadywania. Nikogo, kto rozwiązywał jakiekolwiek testy, nie trzeba przekony172 wać, że przy braku wiedzy szansa udzielenia prawidłowej odpowiedzi na pytanie:

Ko

n s t r u o w a n ie

testu

-

po dstaw o w e

pro cedury

C o to j e s t z m i e n n a ? jest znacznie mniejsza niż wtedy, kiedy pytanie zostałoby sformułowane w następujący sposób: Z m i e n n a j e s t to: a) w ł a ś c i w o ś ć p r z y j m u j ą c a r ó ż n e w a r t o ś c i d l a o b i e k ­ t ów, k t ó r y c h d o t y c z y ; b) w ł a ś c i w o ś ć p r z y j m u j ą c a t y l k o j e d n ą w a r t o ś ć d l a w sz y s t k i c h obiektów. Efekt zgadywania musi zatem zostać uwzględniony przy doborze pozycji testowych do ostatecznej wersji testu. Zgadywanie w bezpośredni sposób wpływa na wartość wskaźnika trudno­ ści. Osoby, które nie znają prawidłowego rozwiązania, mogą skreślić właś­ ciwą odpowiedź, i tym samym otrzymana przez nas wartość p, będzie większa niż zazwyczaj. Aby technicznie rozwiązać problem zgadywania i uwzględnić go w schematach doboru pozycji testowych, przyjmuje się założenie, że osoby badane nie dysponują żadną wcześniejszą wiedzą i że odpowiadają w sposób całkowicie losowy (wszystkie opcje odpowiedzi są dla nich jed­ nakowo prawdopodobne czy jednakowo atrakcyjne). To założenie znane jest jako m o d e l l o s o w e g o z g a d y w a n i a (ang. random guessing model) - por. Crocker, Algina, 1986, s. 312; Suen, 1990, s. 75. Wiele praktycznych sytuacji pokazuje jednak, że najczęściej osoby badane dysponują już jakąś wcześniejszą wiedzą na temat przedmiotu pomiaru i na jej podstawie od­ rzucają z góry niektóre odpowiedzi jako mało prawdopodobne. Dokonując wyboru, wybierają zatem jedną możliwość z mniejszej liczby pozostałych, co zwiększa szansę udzielenia odpowiedzi prawidłowej. Do problemu tego wrócimy jeszcze nieco dalej. Przyjmując założenie o losowym zgadywaniu, możemy określić, ile wynosi proporcja osób, które podały prawidłowa odpowiedź, mimo że jej faktycznie nie znały. Proporcja ta zależy od liczby kategorii odpowiedzi, w jakie wyposażona jest dana pozycja testowa, i wynosi Hm, gdzie m jest liczbą kategorii do wyboru. Dlatego też trudność pozycji testowych - z uwzględ­ nieniem zgadywania - powinna być obliczana jako suma proporcji osób, które faktycznie znały odpowiedź, oraz tej części spośród nie znających odpowiedzi, którzy ją losowo wskazali, tj: T„ - (p0 + q