La Evaluación Educativa, Su Práctica y Otras Metáforas

La evaluación educativa, su práctica y otras metáforas

Joan Mateo Andrés

ICE - HORSORI

Universitat de Barcelona

Versión en español publicada por: © I.C.E. Universitat Barcelona - © Editorial Horsori, Barcelona, España, 2000 De la obra titulada: La evaluación educativa. su práctica y otros metáforas Creada por: loan Mateo Andrés Todos los derechos reservados en lengua española

Contenido

Adaptado por: Alfaomega Grupo Editor, S.A. de c.v. Copyright © 2005 Alfaomega Grupo Editor, SA de C.v. Pilágoras 1139, Col. Del Valle, 03100 México, D.E www.atfaornega.com.mx

Revisión de contenido: Luis Bretel B.

Diagramación: Marybel Carvajal Diseño: José Antonio Mesones

Copyright © 2006, derechos cedidos para esta edición a Laucats S.A. Primera edición, 2006 Tiraje de esta edición: 28,000 ejemplares

La presente edición se terminó de imprimir en noviembre del 2006 en los talleres gráficos de Empresa Editora El Comercio, S.\. Ubicados en: Juan del Mary Bernedo 1318 Chacra Ríos Sur Lima 1, Perú

[SBN: 978-970-[5-1409-2

PRÓLOGO (DR. JESÚS GARANTO ALÓS) _ LA EVALUACIÓN EDUCATIVA, SU PRACTICA Y OTRAS METÁFORAS NOTA DEL AUTOR

. .

Il 17

1. LA EVALUACIÓN EDUCATIVA 1.1. Naturaleza de la evaluación 1.2. Historia y desarrollo de la evaluación 1.3. Perspectiva funcional de la evaluación 1.4. Componentes del modelo evaluativo 1.5. La metaevaluación 1.6. Algunos tópicos de interés 1.7. Ámbitos básicos de la evaluación educativa Bibliografía

.. . . . . . . .. ..

21 21 24 36 39 41 43 48 55

2. LA EVALUACIÓN DEL APRENDIZAJE . DE LOS ALUMNOS 2.1. Cambios fundamentales en la evaluación de los aprendizajes del alumnado .. 2.2. Los retos de la reconceptualizacién de la evaluación de los aprendizajes , . 2.3. Modelos de evaluación de [os aprendizajes .. 2.4. El proceso evaluativo . 2.5. Procedimientos tradicionales de evaluación de los aprendizajes . 2.6. Procedimientos mixtos de evaluación de los aprendizajes : .. 2.7. Procedimientos alternativos de evaluación de los aprendizajes 2.8. Evaluación de referencia normativa y evaluación de referencia criterial .. 2.9. A modo de conclusión , 90 Bibliografía 92

57 57 61 65 68 72 81 85

88

6

3. LA EVAL UACIÓ N DEL PROFE SORAD O. HACIA UN MODE LO COMP RENSI VO DE EVAL UACIÓ N SISTE MÁTIC A DE LA DOCENCIA.............................................. 95 3.1. Introd ucción , 95 3.2. Aspectos previos a la elaboración de un sistema de evaluación del profesorado 96 3.3. Fases en el diseño de un sistema de evaluación del profesorado.......................................................................... 102 3.4. Evalua ción y desarrollo profesional..........................................

123 Bibliog rafía 124

l ,

1

¡ , JI I

4. LA EVAL UACIÓ N DEL CURR ÍCULU M 4.1. Introducción 4.2. El currícu lum 4.3. La evaluación del currículum. Naturaleza e importancia 4.4. La evaluación del currículum y su pertinencia 4.5. Aproxi macion es evaluativas a la realidad educativa 4.6. Model os de evaluación de programas 4.7. El proceso evaluativo 4.8. La evaluación del currículum como actividad cooperativa Bibliog rafía 5.

LA EVAL UACIÓ N DE CENTR OS 5.1. El centro como unidad clave de la nueva arquite ctura organizativa de la educación 5.2. Los centros educativos. naturaleza 5.3. La calidad educati va 5.4. Factores asociad os a la calidad 5.5. Indicadores y evaluación de la calidad educati va 5.6. Enfoqu es evaluativos 5.7. Orienta ciones en la evaluación de centros 5.8 Modelo s evaluativos institucionalizados 5.9. El proceso evaluat ivo 5.10. Alguno s elementos para la reflexión y el debate 5.11. A modo de síntesis Bibliog raña

6. LA EVAL UACIÓ N INSTIT UCION AL y LA GESTI ÓN DE LA CALID AD EN LAS UNIVE RSIDA DES 6.1. Los nuevos retos de la educación superior 6.2. Las universidades en europa. factores comun es 6.3. La evaluación en europa. tendencias y desarrollo 6.4. La evaluación institucional en la educación superior: un modelo compre nsivo y una nueva referen cia

129 129 130

¡

1.32 1.33 lJ8 144 156 159 163 165 165 166 169 170 173 175 177 lH2 lH9 1')3 llJ8 2()0

203 203 211 2] 3 216

7

\

\

I I

\ 1

6.5. Experiencias en el ámbito de la evaluación institucional 6.6. Organismos .estrarégicos dinamlzadores de los planes de evaluac ión

6.7. El modelo evaluativo adoptado en españa 6.8. La evaluación institucional y la mejora de la calidad 6.9. Evaluación y acreditación: un terna a debate en el espacio europeo de educación superior 6.10. Recomendaciones del consejo de europa para la garantía de la calidad de la educación superior 6.11. Como resumen Y cierre Bibliografía 7. LA EVAL UACIÓ N DE LOS SISTE MAS EDUC ATIVO S 7.1. La educación y la nueva sociedad del conocimiento. El contexto social 7.2. Los nuevos retos de la educac ión 7.3. La evaluación educativa como exigen cia social : 7.4. Principios generales del nueva paradig ma organízatívo de la educación 7.5. Ámbitos de decisión en la evaluación del sistema educativo 7. 6. Componentes básicos para la evaluación de los sistemas educativos 7.7. Los órganos institucionales para la evaluación de los sistemas educativos y sus actividades estratégicas más habituales 7.8. Opciones de futuro para la evaluación del sistema educativo 7.9. A modo de resumen Bibliog raña

. 217 . .. ..

. 231 .. 23:

.. 23~ " . 23'. . 23' . 23' .. 24 .. 24: . 24: .. 24' 25' 25, . 26 . 27 . 27

A Xavier

Prólogo La evaluación educativa, su práctica y otras metáforas

Si siempre resulta arriesgado lanzarse a la aventura de prologar lo que durante largo tiempo ha sido trabajo intelectual y profesional de quien lo solicita, en este caso no sólo lo es sino que también resulta un atrevimiento por mi parte que, por supuesto, acepto con sumo agra­ do, pero con una gran dosis de timidez y humildad, máxime des­ pués de haber leído con gran aprovechamiento y satisfacción el contenido del libro que ahora, lector, tienes en tus manos. y acepto por un doble motivo:

1. Este libro es un valioso compendio acerca de la evaluación fruto del trabajo intelectual, docente y profesional de quien puede considerarse, sin lugar a dudas, uno de los especialistas más prestigiosos del tema tanto en el contexto europeo como latinoamericano. Valioso ya que es fruto no de la improvisa­ ción, sino de una profunda, exhaustiva, rica y sugerente re­ flexión y aplicación de sus contenidos a lo largo de muchos años y en contextos y realidades muy diversas. Compendio de contenidos, por otra parte, en los que el autor aborda las distin­ tas realidades educativas objeto de evaluación de una forma magistral y en un lenguaje asequible para cualquier profesio­ nal de la educación interesado en la temática Ca ello nos tiene acostumbrados tanto en sus escritos como en sus ponencias, conferencias y docencia universitaria).

13

Es un libro del que estába mos necesi tados y que mucho s está­ bamos espera ndo desde hace tiemp o que pasa revista, no de maner a frívola sino en profun didad y sin prisas, a los tópico s y ámbito s más signifi cativo s de la evalua ción educat iva y nos plante a el reto perma ­ nente de tener que pasar" de las musas al teatro" (tarea "engre scador a") los conten idos y propue stas en él formu ladas. Libro, desde hace tiempo anunciado para forma r parte de la Colec­ ción de Cuadernos de Educación que prestig ia a la misma así como al resto de colecciones del amplio fondo editorial del Instituto de Cien­ cias de la Educa ción de la Univer sidad de Barcel ona y honra a quie­ nes, como yo, ejercem os en este momento la direcc ión de dicho Institu to. 2. Acept ar prolog ar el libro del profes or Joan Mateo es posibl e­ mente hacerl e un flaco favor por la posibl e incom petenc ia e insign ificanc ia del prolog uista ya que muy bien hubier a podi­ do formu lar tal deman da a prestig iosos entend idos en la mate­ ria que hubier an sabido "escrib ir en favor (proferni)" del lago -de la palabr a, de lo escrito - con mayor conoci miento de cau­ sa y, por lo tanto, dando una mayor releva ncia a la obra. Por ello, es ésta una dema nda que me honra y enorgu llece, máxi­ me cuand o los futuro s lectore s sólo podrán decir de la misma , de su conten ido que parabi enes ya que el deleite y aprove cha­ miento de su lectura DO les dejará otra alternativa. S6lo desde la amista d me atrevo a presen tar la que creo será una de esas obras que tiene el éxito editor ial garant izado por el conoc imien­ to prestig ioso del autor sobre el tema, por ser el tema de rabios ay perma nente actual idad y por las aporta ciones que tan magis tral­ mente formu la. Estoy conven cido que nadie tras su lectura podrá ha­ cer suyo y en relaci6 n con el conten ido del libro aquel dicho latino de par~riebant montes et nascitur ridiculus mus (que traducido para la ocasión y de forma totalm ente libre muy bien podría ser aquella otra expresión castell ana del "tamp oco hay para tanto") . A buen seguro que los conten idos evaluativos abordados en el libro responderán a las necesi dades e inquietudes profesionales de quiene s están, c~mo tú lector, interes ados por la temática. Seguro que el apro­ vecham iento por la lectura de cuanto a contin uaci6n se expon e será 6ptimo y podrá ser justam ente apreciado y agradecido. Parece como si la evalua ción se hubiera colado de rondón e instala­ do definitivamente en la cotidianeidad de la vida del ser human o siendo una de sus actividades habituales. Aunqu e nos parezc a extraño en la

vida cotidia na estamos permanentemente evalua ndo sean cuales sean las circunstancias, realidades, experiencias, relacio nes en las que nos encontramos: la calidad del aire, los sabore s de una determ inada comi­ da, el aspecto estétic o de un cuadro o un parque , la bellez a de las muje­ res o de los hombr es, la maner a de compo rtarse en una determ inada situaci6n, los valores explicitados o no ante determ inadas realidades, el trabajo realizado, los aprendizajes asumidos. Ningú n fenóm eno ni ac­ tivida d huma na escapa a Ia evalua ción sea ésta realizada desde la espontaneidad, la ímprovísacíén, las primer as impres iones que propor ­ cionan una idea aproxi mada (sin haber decidido previa mente evalua ry de forma absolutamente inconsciente) hasta una evalua ción formal, ri­ gurosa, científica que nos aproxima a un conoci miento más objeti vo de la realida d evalua da. Evalu ar es, ante todo y en prime r lugar, aprec iar, establ ecer el valor de un objeto , un servic io, una acción o como el propio Joan Mateo dice es un proces o de-rec ogida y análisi s de inform ación rele­ vante con el fin de describ ir cualqu ier realida d educat iva de maner a que facilite la formu lación de juicios sobre la adecua ci6n a un patrón o criteri o de calida d debati do previa mente , como base para la toma de decisiones. Así entend ida se presen ta como un mecan ismo regula dor para poder describ ir, valora r y reorien tar la acción de los a?ente s que operan en el marco de una realida d educat iva especí fica. Slen~o tam­ bién la evalua ción un proces o genera dor de cultur a evalua tiva que implic a ofrece r vision es y análisi s no simpli ficado ras de las realida ­ des educat ivas, interpr etar la inform ación desde todos los punto~ de vista de los agente s implic ados, estable cer diálog os en profun.~d entre las partes, ejerce r una acción crítica , buscar el consen so, d~sena r alterna tivas de acción , tomar decisio nes y establ ecer compr omiso s. Aunqu e en ocasio nes la evalua ción puede ser fugaz. ~ sin conse­ cuenci as, las más de las veces condu ce a la toma de deCISIones y a la acción ; es decir, que la evalua ci6n inspira , orient a y condic iona de alguna maner a la acci6n y las condu ctas. . Podem os decir con Claud e Thélo t (antig uo respon sable de la D1­ recció n de Evalua ción y Prospe ctiva del Minist erio francé s de Educa ­ ción Nacion al) que:

•

la evalua ci6n facilita eleme ntos a la reflexi ón. de cada actor (alumn os, enseña ntes, admin istrado res, admin istraci 6n .) so­ bre el estado del sistem a en el que trabaja e indirec tamen te .sobre la propia acción en el seno del sistem a,

14

15

•

mediante el método comparativo, podemos provocar una me­ jor comprensión, una visión más ajustada a los problemas de los centros de enseñanza o, en general, de los métodos educa­ tivos y favorecer de alguna forma la emulación entre ellos.

Ambas funciones tienen en definitiva como objetivo final mejorar la escuela a partir de las modificaciones de la acción que generen. La evaluación, finalmente, pretende un mejor conocimiento de la realidad y ha de informar para provocar la reflexión contribuyendo así a la realización de los objetivos establecidos, poniéndose al servicio de las decisiones, contribuyendo a la regulación del sistema y aumentando el desarrollo, la creatividad, la innovación y la investigación de nue­ vas soluciones, como recientemente apuntaba Walo Hetmacher C!:'residente de I~ Fundación de la regiones europeas para la investiga­ ción en educación y formación). Desde finales de la Segunda Guerra Mundial los sistemas educati­ vos están en permanente revisión en las distintas latitudes del globo (en unas con más urgencia que en otras ya que los niveles de desarro­ llo socioeconómico de las sociedades son diferentes). Son muchos los países que han experimentado una expansión cuan. titativa de la escolarización por el acompañamiento socioeconómico a una mayor concienciación de la importancia de la educación en el desarrollo de los pueblos que ha comportado una modernización de infraestructuras, la reforma de estructuras, organización y currícula edu­ cativos, la mayor igualdad entre los sexos y niveles socioculturales más presupuestos económicos, etc. ' ~sde h~e algún tiempo, para muchos de estos países, la preocu­ pacion ha dejado de estar centrada de forma exclusiva en el acceso de la población a la escolarización y a la extensión más amplia posible de los servICIOS, para S1l1 olvidarnos de lo anterior. centrar más la atención en los contenidos de los sistemas educativos, en lo que ocurre en el interio~ d~ los mismos, en la calidad de los procesos de enseñanza y aprendizaje. EXIste, pues, un consenso creciente en que es necesario no sólo que la población en edad escolar esté escolarizada, sino que ade­ m~ en esa escuela se incorporen de forma efectiva aquellos conoci­ nuentos y competencias que son necesarios para desarrollarse y participar . activamente en la sociedad en la que viven. .La calidad ha pasado a estar en el primer plano de la agenda edu­ catrva y, por lo tanto, del quehacer evaluativo entendiendo la calidad como eficacia (una educación de calidad es aquella que logra que los alumnos aprendan aquello que está establecido en los planes y pro-

gramas curriculares), relevante en términos individuales y sociales (una educación de calidad es aquella cuyos contenidos responden de forma adecuada a lo que el individuo necesita para desarrollarse corno persona a nivel intelectual, afectivo, moral y físico y socialmente en los distintos ámbitos societarios. Un tercer parámetro de dicha cali­ dad, y por lo mismo de la evaluación de la misma, hace referencia a los procesos y medios que el sistema pone a disposición de los alum­ nos para el desarrollo educativo: adecuado contexto físico, profesio­ nales convenientemente capacitados; materiales de trabajo apropiados, estrategias didácticas, etc. La conveniencia de evaluar un sistema educativo en todos sus ámbitos y modalidades es! hoy una necesidad y una exigencia percibida desde muy diversos sectores de la sociedad. En nuestro país dicha exi­ gencia se encuentra explicitada en la Ley de Ordenación General del Sistema Educativo de 1990. En su artículo 62, apartado I señala que «la evaluación del sistema educativo se orientará a la permanente ade­ cuación del mismo a las demandas sociales a las necesidades educati­ vas y se aplicará sobre los alumnos, el profesorado, jos centros, los procesos educativos y sobre la propia administración». Una segunda ley de 1995 hace referencia explicita a los centros docentes. Posterior­ mente en Cataluña, por referirnos a alguna de las comunidades autóno­ mas en 1997 un orden establece de forma detallada los pasos a seguir en I~ evaluación (se había creado ya en diciembre de 1993 el Consell Superior d' Avaluació del Sistema Educatiu teniendo como tarea el aná­ lisis y la evaluación externa del sistema educativo de nivel no universi­ tario). Hoyes más que evidente la necesidad de evaluar el rendimiento de los centros escolares en su organización, funcionamiento y resulta­ dos, de identificar y diagnosticar sus problemas, de realizar una labor sistemática de revisión de la labor docente y todo ello no sólo para conocer sino sobre todo para introducir los mecanismos de motiva­ ción, corrección y orientación más idóneos. El objetivo último o pri­ . mero -segün como se analice- consiste en hacer el sistema educativo más rentable y eficaz, es decir, que se produzca una mejora de la cali­ dad y de los logros educativos, que los procesos funcionen adecuada­ mente y que se consigan los resultados esperados. Evaluación de los aprendizajes de los alumnos, evaluación de los profesores, evaluación del currículum, evaluación de los centros, eva­ luación de la enseñanza superior, evaluación de los sistemas educati­ vos son los capítulos en los que, después de introducir la temática de la evaluación en el capítulo primero, se abordan de forma sisterná­

16

tica y rigurosa las distintas realidades de la evaluación educativa. En ellos encontrará el lector un actualizado, inapreciable y rico material de reflexión y trabajo que a buen seguro resultará muy sugerente y orientará la práctica evaluativa de las distintas realidades contempla­ das. Material, por otra parte, que no pretende dar respuesta absoluta y definitiva a la evaluación de realidades que de por sí son tremenda­ mente complejas y en las que como tales la multideterminación de las mismas debe llevarnos a no caer en el simplismo y a "dar tiempo al tiempo" para encontrar, sin precipitaciones ni imposiciones, respues­ tas y prácticas suficientemente consensuadas en los diferentes aspec­ tos implicados en la evaluación y en las realidades evaluadas. Los reales decretos no modifican per se la realidad y es preciso tener en cuenta que son muchas y muy variadas las sensibilidades existen­ tes (ante la práctica evaluativa) de los alumnos, los enseñantes, los centros, los sistemas educativos como para que no seamos capaces de ir con prudencia para que ante la evaluación no se produzca ni inhibi­ ción participativa ni comportamientos defensivos. Comentar pormenorizada o esquemáticamente el contenido de cada uno de los capítulos llevaría necesariamente a desvirtuar sus diáfanos y ordenados contenidos por lo que dejo que el lector, si ha decidido perder algún minuto de su tiempo leyendo esta sencilla introducción, pase directamente a abrir el telón no del gran teatro del mundo, pero sí las páginas de una obra cuyos contenidos no tienen desperdicio alguno.

Jesús Garanto Alás Catedrático de Diagnóstico e intervención en Trastornos de conducta Director del Institut de Ciéncies de l'Educació Universitat de Barcelona

Nota del autor

Lo que realmente tengo son preguntas y no respuestas.

(Eduardo Chillida, Discurso de entrada en la Real Academia de Bellas Artes de San Fernando, 1994)

Justamente éste es el tipo de pensamiento que me ha acompañado a lo largo de toda la elaboración del libro. Al iniciarlo partía del supuesto que la evaluación constituía un conocimiento perfectamente estableci­ do y de lo que se trataba era de detectar sus principios básicos y ver cómo se aplicaban a los diferentes contextos evaluativos. Desde esta lógica, la respuesta a cualquier interrogante la deberíamos encontrar al analizar sistemáticamente los fenómenos a la luz de la teoría. La primera sorpresa surge cuando, a través del esfuerzo de con­ ceptualización, descu bres que no existe en realidad una teoría evaluativa, sino simplemente un conjunto de prácticas más o menos sistematizadas y que su base conceptual está formada sustancialmen­ te por un conglomerado de metáforas altamente elaboradas y que apa­ recen de manera recurrente y superpuesta a lo largo de los distintos intentos explicativos de las acciones evaluativas, No debemos creer que estas metáforas son meros productos de la casualidad o recursos de la imaginería de los expertos, aplicados a ilustrar de manera ocasional los manuales evaluativos. De hecho cons­ tituyen una parte (sino la parte) fundamental de la estructura cognitiva 1 de la evaluación. House (1983) argumenta que los conceptos evaluativos se derivan en gran medida de metáforas fundamentales, generativas y profunda­ mente asentadas, que con mucha frecuencia permanecen ocultas, pero que sustancialmente definen la realidad del mundo del evaluador. Así identifica un conjunto de ellas que son características a gran parte del pensamiento evaluativo, por ejemplo: se asimila el proceso

18

de evaluación a un proceso productivo, los programas sociales se inter­ pretan como máquinas, las estructuras organizativas como estructuras arquitectónicas. En el modelo CIPP se emplean metáforas derivadas de distintas disciplinas, como homeostasis y metamorfismo procedentes el campo de la biología, diagnosis de la medicina,ambiente de la ecología social, input y output de la producción industrial, etc. El problema reside en que la mayoría de estas metáforas llevan aso­ ciados valores primarios y que si en ocasiones no somos conscientes de la presencia del término-metáfora, mucho menos lo somos de los valo­ res que lo acompañan. Así tenemos que valores como productividad, competitividad, ete. están implícitos en algunas de las expresiones a que hemos hecho referencia, que a su vez están muy arraigadas en la cultura americana. Cuando Óscar Wilde afirma que la vida imita al arte, lo que real­ mente quiere expresar es que nosotros construimos la realidad me­ diante lenguajes que en origen son más culturales que naturales. En defmitiva, lo que pretendemos plasmar, es que la mayoría de las metáforas que configuran nuestro pensamiento evaluativo coti­ diano, no son construcciones aleatorias y que trasladan a nuestras prác­ ticas y juicios evaluativos un sinfín de preconceptos y prejuicios sobre los que es fundamental tener conciencia. Así, House sugiere que muchas de las metáforas utilizadas en la evaluación, derivan de procesos (como el industrial) que tienen sus orígenes en el misnúsimo sistema central de valores de la sociedad americana. Sugerencia a la que añadimos la voz de alerta acerca de cómo esto puede incidir perversamente en nuestra realidad, cuando es evidente que actuamos, en la evaluación como en otras áreas de conocimiento, desde posiciones de verdadera colonización externa. Todo lo anterior y la propia experiencia de tratar de sistematizar y plasmar mi conocimiento y mi información evaluativa en el espacio acotado que supone un libro, es lo que me ha conducido a pensar lo difícil que es encontrar respuestas a las cuestiones que continuamente nos plantea la evaluación. Es más, me ha enseñado a desconfiar de quienes tienen o pretenden tenerlas todas. No se puede acudir a la evaluación con recetas, la evaluación es una actividad compleja y exige trabajo colaborativo, reflexión y organiza­ ción. Es un proceso de indagación y de construcción, de participación y de compromiso, cultural en su naturaleza y técnico en su proceso. Lo . que he tratado es de presentar la evaluación y su práctica desde el pen­ samiento actual, procurando alimentarme de numerosas fuentes y sin

19

eludir su diversidad y complejidad, aunque en ocasiones ello supon­ ga un discurso enmarañado y algo recurrente. A menudo lo he adornado con planteamientos muy personales, de los cuales espero no tenerme que arrepentir. Siempre he pensado con respeto hacia mis lectores y confiaba que de esta manera, huyendo aunque fuera brevemente del discurso convencional, les ofrecía algo más comprometido, algo realmente núo. Por supuesto he hecho inter­ venir todas las metáforas que he podido, tratando, eso sí, de introdu­ cirlas comprensivamente a fin de que quien trague sea porque quiere. y al final, como al principio, sigo pensando como Chillida, que tengo más preguntas que respuestas. Barcelona, verano de 2000

1. La evaluación educativa

Desde una perspectiva amplia la evaluación es el descubrimteruo de la naturaleza y el valor de algo... na es exactamente una búsqueda de relaciones, un inventario de la situacion presente o'una prediccián del éxito futuro, Es algo de todo esto, pero sáto en la medida que contribuye a entender la sustancia, lafuncí6n y el valor del objeto evaluado.

(Stake y Denny, 1969)

1.1. Naturaleza de la evaluación 1. i.t. EVALUACIÓN, PODER y CONOCIMIENTO

La evaluación supone una forma específica de conocer y-de relacio­ narse con la realidad, en esIe caso educativa, para tratar de favorecer cambios optimizadores en ella. Se trata de una praxis transformadora que para incidir en profundidad, precisa activar los resortes culturales, sociales y políticos más relevantes de los contextos en los que actúa. Habitualmente se define como un proceso de recogida de infor­ mación orientado a la emisión de juicios de mérito o de valor respecto de algún sujeto, objeto o intervención con relevancia educativa (Mateo, 1998). EsIe proceso deberá ir necesariamenIe asociado a otro de toma de decisiones encaminado a la mejora u optimización del objeto,su­ jeto o intervención evaluada. Sin embargo, convendrá que esta defi­ nición eminente técnica se vea matizada y enriquecida por alguna de las reflexiones que expondremos a continuación. Aproximarse al conocimiento y a la práctica evaluatíva en el mun­ do de la educación supone hacerlo sobre una realidad que participa de las mismas incertidumbres, cambios y escisiones que se regístran en la ciencia educativa. Ello le confiere a la evaluación un carácter com­ plejo en la medida que debe desenvolverse, en sus dimensiones teóri­ ca y práctica, en los Ierrenos poco firmes y llenos de vericuetos de la acción educativa y del cambio social.

22

Desde la perspectiva metodológica, en la evaluación se dan cita conjunta los principios de la investigación, de la construcción de ins­ trumentos de recogida de información y de la medición. Pero, la eva­ luación sobrepasa, sin duda, cada una de estas actividades. La evaluación constituye un universo en sí misma en el que se desarrolla una de las actividades de mayor trascendencia e influencia en la vida social y educativa. Su desarrollo resulta fundamental para la mejora y la innovación de todos los ámbitos educativos: sistemas, programas, servicios, profeso­ res, alumnos etc. y es desde la evaluación que se le confiere sentido y significado a la medición y a los procesos de recogida de información y al tipo de construcción científica que se pretende lograr y no al contra­ rio. Con ello recalcamos el carácter instrumental y subalterno de estas actividades respecto del núcleo básico de ese universo al que aludía­ mos y que fundamentalmente gira alrededor del proceso de construc­ ción del conocimiento evaluativo. Quisiéramos enfatizar, consecuentemente, que la naturaleza Intima de la evaluación va ligada a la construcción de un tipo específico de conocimiento: el axiológico (Rul, 1992). Evaluar supone siempre ne­ cesariamente el acto de establecer el valor de algo y, para ello, no bas­ tará con la mera recogida de información evaluativa sino que precisaremos interpretarla, ejercer una acción crítica sobre la misma, buscar referentes, analizar alternativas, ofrecer visiones no simplifi­ cadas de las realidades evaluadas, etc. Evaluar implicará, por encima de todo, la creación de una cultura evaluativa donde ubicar adecuada­ mente esta forma de conocimiento. No se nos escapa el acto de poder que supone la asignación de valor sobre las cosas, los hechos o las intervenciones. La evaluación legítima el valor de ciertos tipos de actividad educativa frente a otros, y discrimina, por tanto, entre lo que tendrá a partir del hecho evaluar ivo, reconocimiento social y educativo y lo que no. A la complejidad de la acción evaluativa tendremos que añadir la importante cota de responsabilidad que le corresponde a su ejercicio, que adquiere irremediablemente connotaciones de acto de poder (Kvale 1990). Desde la evaluación se orienta la actividad educativa de tal forma que los sujetos y los contextos de actuación se ven condiciona­ dos no tan sólo a partir de los resultados surgidos de la evaluación, sino desde el mismo momento en que se focaliza y determina los elementos y objetivos sobre los que ejercerá su actividad. En la evaluación se produce una paradoja que no se da habitual­ mente en otras actividades de creación del conocimiento: aquello que

23

sustantiva la evaluación (la asígnación de valor) no es lo que la legi­ tima (la mejora del objeto evaluado). Esta duplicidad de objetivos es justamente la que le otorga a la evaluación su carácter propio frente a otros tipos de conocinúento y su complejidad como actividad. Siem­ pre habrá que mantener presente la consecución de ambos objetivos, una evaluación incapaz de asignar adecuadamente las valoraciones correspondientes no gozará de validez, una evaluación de la que no se deriven acciones de mejora perderá su credibilidad. Todos estos elementos son los que de forma reiterada irán apare­ ciendo en los diferentes apartados de nuestro libro a medida que va­ yamos desgranando los ámbitos de aplicación de la evaluación educativa e irán caracterizando sus contenidos. En todo momento trataremos de huir de una presentación de la evaluación como un mero proceso técnico cuya lógica se aplica de acuerdo a pautas lineales, la evaluación moderna es fundamentalmente una actividad matricíal e interactiva que implica culturalmente a los sujetos y a sus contextos.

1.1.2. CONCEPCIONES EVALUATIVAS

La propia complejidad mencionada supone la coexistencia de di­ ferentes aproximaciones evaluativas que fundamentalmente pueden agruparse alrededor de dos grandes propuestas: (a) La evaluación centrada en los resultados, en la que ésta se aso­ cia al uso de tecnologías educativas, especializadas en fórmu­ las estandarizadas de recopilación de la información que restringen el análisis a realizaciones fragmentarias y parciales. (b) La evaluación orientada al estudio de los procesos, buscando la percepción global de la información y favoreciendo la apli­ cación de las conclusiones obtenidas mediante la evaluación de realidades educativas inmediatas. En cada caso deberemos mantener nuestras reservas, en el prime­ ro porque una percepción exclusivamente técnica, limita su compren­ sión en profundidad y en toda su complejidad. El reduccionismo tecnológico ofrece una visión determinista y preconcebida de la reali­ dad y de su evolución. En el segundo caso, los resultados que se obtienen acostumbran a ser muy irregulares; así, es frecuente encontrar trabajos bajo esta pers­

24

25

pecti va que se han llevado a cabo con la ingenuidad de presentar aná­ lisis escindidos del contexto o que desprecian el efecto regulador que proporciona el hecho de tener en cuenta también los resultados. Su marco teórico y sus realizaciones tecnológicas suelen ser insuficien­ tes, lo que evidencia sus limitaciones conceptuales y metodológicas. La complejidad conceptual del hecho evaluativo y su diversidad metodológica han supuesto importantes cambios en las concepciones evaluativas que podríamos resumir con House (1993) en las siguientes: De ámbito conceptual. La concepción actual es absolutamente pluralista, frente a la visión monolitica anterior, debido a que acepta una multiplicidad de métodos, criterios, perspectivas, audiencias, etc. También se está produciendo un reconocimiento progresivo del papel que tienen los valores en la evaluación, a la vez que se asume el carácter eminentemente práctico de la disciplina. De ámbito estructural. La transformación más relevante que se ha producido es el reconocimiento explícito del carácter multidisciplinar de la evaluación. De ámbito metodológico. La inclusión de los métodos cualita­ tivos ha hecho que actualmente, el debate ya no se centre tanto en la legitimidad como en la compatibilidad o incompatibili­ dad entre las diversas concepciones. De ámbito práctico. Se ha producido un desplazamiento claro desde una concepción instrumental de la evaluación hasta una visión "iluminativa" en la que se reconoce su carácter cultural y político.

1.2. Historia y desarrollo de la evaluación 1.2.1. LOS INICIOS. CONCEPCIÓN ESTÁTICA DE LA EVALUACIÓN

En un primer estadio, la evaluación se entendía como una medi­ ción valorada hasta el punto de utilizarse de forma perfectamente inter­ cambiable los vocablos medición y evaluación educativa. El comienzo formal de la utilización de la medida en el campo de las ciencias humanas puede situarse en los trabajos de R. Fechner, quien, en la segunda mitad del siglo XIX, introdujo la medición psico­ física, primero en los laboratorios de psicología experimental y, des­

pués, asociada al estudio de las diferencias individuales de donde sur­ ge la psicometría. Fue F. Galton quien introdujo la expresión "test mental", en un primer intento de clasificar a los individuos a partir de una inteligen­ cia promedio, y por la necesidad de tipificar las condiciones adecua­ das para examinar a los sujetos y poder compararlos entre sí. Para analizar los datos obtenidos en el laboratorio antropométrico del Museo de South Kensington, Galton recurrió a métodos estadísti­ cos y determinó promedios y medidas de varianza Recurrió a la co­ rrelación como medida de asociación para solucionar el problema de descubrir la magnitud de semejanza entre las características indivi­ duales de los padres y los hijos. Así fue el primero en aplicar los conceptos estadísticos de curva normal, media, mediana, varianza y correlación de datos psicopedagógicos. Aunque no profundizó en la metodología estadística, ayudó a K. Pearson a desarrollar los métodos estadísticos asociados al estudio de las diferencias individuales, K. Pearson formalizó el coeficiente de correlación múltiple y sentó las bases de gran parte de la estadística multivariada. Los estudios de F. Galton sobre las diferencias individuales se extendieron rápidamente por Alemania, Estados Unidos y Francia, entre otros países. En Alemania, en el año 1896, F. Kreaepelin creó un laboratorio psicológico en el que se midieron los tiempos de reacción de la me­ moria, la percepción, la discriminación y la fatiga. En Estados Unidos, las pruebas mentales recibieron la influencia de la obra realizada en Europa La figura más relevante fue J. McKeen Cattell, discípulo de F. Galton, quien realizó pruebas mentales y físi­ cas en el Columbia College. La contribución de Francia al campo de la medida de las diferen­ cias individuales puede centrarse en A. Binet, quien construyó las primeras escalas para la medida de la inteligencia. A. Binet, en cola­ boración con H. Simon, elaboró y publicó en 1905 una escala métrica de la inteligencia. Sin embargo, a principios del siglo XX el principal reto en el cam­ po de la investigación pedagógica era crear test propiamente escola­ res y elaborar escalas de comprobación de conocimientos, ya que las pruebas de laboratorio y los test psicofísicos de hasta entonces resul­ taron insuficientes para el estudio de los problemas escolares; ade­ más, los test mentales no cubrían las áreas propias del rendimiento escolar.

26

27

Aunque se considera que J. M. Rice fue el iniciador de la medi­ ción en pedagogía, ésta no se estableció con plena vigencia hasta J904, con la publicación de Introduction to the theory of mental and social measurement, de R. L. Thorndike. A partir de 1910, la línea iniciada por J. M. Rice en el campo de la educación se desarrolló rápidamente, con la aparición de escalas de redacción, de ortografía y de cálculo aritmético. Más tkde se crearon las baterías de rendimiento, con la publicación de la primera edición de los Stanford Achievement Tests, en 1923, que definieron muchas de las características de la actual medición educativa. La línea abierta por los test objetivos de rendimiento gozó de gran aceptación en Estados Unidos, donde se establecieron numerosos pro­ gramas estatales y nacionales, que en 1947 se fundieron en el Educational Testing Servíce, el cual elaboró a partir de entonces la mayoría de las pruebas de rendimiento en universidades, escuelas pro­ fesionales, organismos gubernamentales y otras instituciones estado­ unidenses. Las dos guerras mundiales estimularon considerablemente el mo­ vimiento en pro de la creación de test de todo tipo al servicio de la comunidad. Pero el fervor por el testing decreció a partir de 1950, e incluso surgieron algunos movimientos que se mostraron hipercríticos con dichas prácticas.

1.2.2. LA "GENERACIÓN DE LA MEDIDA"

E. G. Guba y I. S. Lincoln, en Fourth Generation of Evaluution (1989), se refirieron a esta etapa de la historia de la evaluación como a la primera generación, por lo que la denominaron "generación de la medida". La filosofía de la medición y la evaluación, equivalentes en aquellos momentos, puede coucretarse en los siguientes puntos: Evaluación y medición eran conceptos virtualmente intercam­ biables. Incluso el uso del término "evaluación" era poco fre­ cuente. Si se mencionaba alguna vez era siempre en compañía del de "medida", que solía colocarse en primer término: "me­ dición y evaluación". Ambos iban inevitablemente ligados al paradigma científico. Así, cuando Rice inició sus trabajos so­ bre la eficiencia escolar, el paradigma ya estaba perfectamente definido en las demás ciencias, y no dudó en asumirlo. El mis­ mo camino siguió R. W. Tyler cuando realizó el estudio que le

-

ocupó ocho años, entre 1932 Y 1940, Y que después publicó

con el título Eight Year Study of Secundary Education. Su in­

vestigación se basó en un experimento pretest y pos test reali­

zado con un grupo de control. .

Ambas materias se focalizaron en el estudio de las diferencias

individuales, siguiendo la pauta darwiniana recogida en los tra­

bajos de GaIton.

La práctica de una y otra tenía poca relación con los programas escolares y con el desarrollo del currículum. Se entendía que las pruebas procuraban información sólo acerca de los sujetos. Nadie se planteaba la posibilidad de que el currículum no fue­ ra correcto, y aún menos la consecuente petición de responsa­ bilidades a quien correspondiera. Se orientaban hacia medidas tipificadas en su doble significado: condiciones de aplicación y grupos normativos de referencia.

1.2.3. PERSPECTIVA DINÁMICA DE LA EVALUACIÓN

En 1932, R. W. Tyler, profesor de la Universidad estatal de Ohio desde 1929, fue nombrado director de una investigación que preten­ día mostrar que los estudiantes formados en centros de secundaria "con programas reformados de corte progresista, funcionaban al mismo ni­ vel cuando pasaban a las facultades universitarias que aquellos que ha­ bían asistido a escuelas con programas convencionales. Los resultados quedaron recogidos en la obra mencionada con anterioridad.. Su mayor contribución fue insistir en que el currículum necesita­ ba organizarse en torno a unos objetivos. Estos constituían la base de la planificación, ya que guiaban a los profesores y servían como crite­ rio para seleccionar materiales, concretar los 'contenidos, desarrollar procedimientos instruccionales y preparar los exámenes. Además, constituían la base para el estudio sistemático del programa: había nacido la evaluación propiamente dicha. Se trataba, en palabras de los ya mencionados, Guba Lincoln, de la "segunda generación Hasta Tyler, la evaluación se había centrado exclusivamente en formular juicios acerca de los estudiantes tomados individualmente y a partir de pruebas de norma de grupo. La lógica de Tyler orientó la evaluación hacia una nueva conceptualización de corte mucho más dinámico, como un mecanismo que debía provocar una mejora conti­ nua del currículum y de la instrucción educacional.

29

28

Para Tylcr, la referencia central en la evaluación eran los objeti­ vos preestablecidos, que debían ser cuidadosamente definidos en tér­ minos de conducta, El objetivo del proceso evaluativo era determinar el cambio ocurrido en los alumnos, pero su función iba más allá de hacerlo explícito a alumnos, padres y profesores: servía también para informar sobre fa eficacia del programa educativo y para el perfeccio­ namiento continuo del docente.

eficaz de los fondos federales como por el logro de los objetivos edu­ cativos fijados. Como resultado de estas nuevas necesidades en el campo educati­ vo, que la evaluación debía afrontar, se inició un periodo de reflexión y se publicaron numerosos ensayos teóricos. Se pretendía clarificar la rnultidimensionalidad a la que se enfrentaba el proceso evaluativo. Estas reflexiones y conceptualizaciones teóricas enriquecieron el ámbito conceptual y metodológico de la evaluación.

1.2.4. EL DESARROLLO EN LA DÉCADA DE 1960 1.2.5. LAS APORTACIONES DE CRONBACH y SCRIVEN

Probablemente, la nueva concepción evaluativa se vio impulsada por la oleada de críticas desatada en Estados Unidos, a fines de la década de 1950, cuestionando la eficacia del sistema educativo. Se puede tomar como referencia del cambio de actitud el enorme desen­ canto producido por el lanzamiento del primer satélite soviético en 1957, que sorprendió a una colectividad acostumbrada a ser la prime­ ra en todo y convencida de su superioridad moral, social, polltica, económica y educativa. Se había aceptado como axioma que el sistema educativo había sido el motor del progreso económico y social, y que la escuela cons­ tituía el instrumento más eficaz para promover las metas de la demo­ cracia. Si tradicionalmente se le reconocía este papel relevante en los éxitos del país, también era lógico que se le hiciera responsable de los fracasos. Todo ello desembocó en acciones de distinto orden, como la pro­ moción de grandes proyectos de desarrollo del plan de estudios, en un esfuerzo por mejorar la calidad de los programas escolares. Sin em­ bargo, y a diferencia de lo que había sido usual en Estados Unidos, donde la responsabilidad educativa correspondía a las autoridades locales, por primera vez, y debido en parte a la creciente preocupa­ ción por la calidad de la enseñanza, en 1965 se aprobó una ley, la Elementary and Secondary Act, por la que el gobierno federal instrumentaba los medios legales para intervenir en las administra­ ciones educativas locales, tomando la iniciativa de subvencionarlas directamente. Paralelamente, y por las mismas razones, apareció un movimien­ to, impulsado por profesionales de la educación y legisladores, que aspiraba a concienciar al conjunto del tejido social de la importancia de exigir responsabilidades (accountability) al personal docente en general, y a sus responsables en particular, tanto por el uso correcto y

De aquellos años destacaron dos ensayos que tuvieron una influen­ cia decisiva: el artículo de L. J. Cronbach, "Course improvement through evaluation" (963) y el de M. Scriven, "The methodology of evaluation" (967). Del análisis de L. J. Cronbach sobre el concepto, funciones y me­ todología de la evaluación, destacan las siguientes ideas: Si la evaluación aspira a ser un instrumento de gran utilidad para los programadores, deberá focalizar su actividad en torno a la toma de decisiones derivadas de la propia evaluación. La evaluación intentará actuar desde el proceso mismo de de­ sarrollo del programa, sin esperar a que éste haya finalizado. La evaluación se deberá centrar más en el estudio de las carac­ terísticas estructurares del propio programa que en estudios de corte comparativo. De M. Scriven destacan las siguientes observaciones: la evalua­ ción puede adoptar dos funciones distintas, la formativa y la surnativa. La evaluación formativa es la que se pone al servicio de un programa en desarrollo, con objeto de mejorarlo, mientras que la evaluación sumativa es fa que se orienta a comprobar la eficacia del programa una vez aplicado. En el mismo artículo, Scriven critico la importancia dada a la eva­ luación respecto a la consecución de unos objetivos previamente es­ tablecidos, porque, señaló, si los objetivos carecen de valor, no tiene ningún interés saber hasta qué punto se han conseguido. Destaco tam­ bién la necesidad de incluir en el proceso evaluativo tanto fa evalua­ ción de los objetivos como la determinación del grado en que éstos son alcanzados.

Resulta clarificadora la distinción establecida por Scríven entre evaluación intrínseca y extrínseca como dos formas distintas de valo­ rar un elemento de la enseñanza. En una evaluación intrínseca se va­ lora el elemento por sí mismo, mientras que en la evaluación extrínseca se evalúan los efectos que produce el elemento. En contraposición a J. L. Cronbach, M. Scriven defendió el carácter comparativo que debe presidir los estudios evaluativos.

1.2.6, EL PUNTO DE VISTA DE GLASER

Desde una perspectiva más técnica y dentro de la evaluación orien­ tada a los objetivos, fue también importante la aportación de R. Glaser, en 1963, quien desplazó la preocupación por establecer debidamente los objetivos a cómo han de ser medidos. A los test referidos a la norma les sucedieron, en cuanto a interés de estudio, los referidos al criterío. R. Glaser estableció la distinción básica entre la medición con re­ ferencia a la norma, centrada en detectar la posición relativa de un estudiante respecto a lo que es normativo en su grupo, y la medición con referencia al criterio, que se establece por comparación a "un nivel absoluto de calidad".

1.2.7, ECLOSIÓN DE LOS MODELOS EVALUATIVOS

Los trabajos de Cronbach y Scriven sentaron las bases de la eva­ luación en su acepción moderna y el inicio de lo que Guba y Lincoln denominaron la "tercera generación evaluativa", caracterizada por un período de proliferación de modelos que trataban de sistematizar la acción evaluadora y que resultan de un gran valor heurístico y orien­ tativo, Algunos de estos modelos, a pesar de las críticas contra la evalua­ ción centrada en los objetivos, e ignorando las aportaciones de Cronbach, insistieron en la línea de Tyler, y se mantuvieron en el marco por él diseñado. Son los denominados modelos de "consecu­ ción de metas", en cuya órbita giran los primeros trabajos de R. E. Stake, N, S. Metfessell, W. B. Michael y E. A. Suchman. Por el contrario, los modelos que siguieron la línea propuesta por Cronbach centraron sus esfuerzos en asociar el proceso evaluati va al de la toma de decisiones. De hecho, toda la evaluación moderna acepta

como algo axiomático la necesidad absoluta de establecer esta co­ nexión. Plantear alternativas de acción justificadas a partir de la re­ flexión sobre la evaluación constituye la razón de fondo de la actividad evaluativa, ya que abre el camino a la operatividad para la mejora de la realidad educativa evaluada. El máximo exponente de esta línea fue D. L. Stufflebeam (1973), quien llegó a definir la evaluación como "el proceso de delimitar, obtener y proveer de información útil para juzgar entre alternativas de decisión". El modelo CIPP (siglas de los cuatro momentos de ac­ tuación de la evaluación que definen este modelo: contexto, input, proceso y producto), creado por D. L. Stufflebeam y E, G, Guba, es posiblemente el más conocido y el más utilizado hasta la actualidad. En la misma línea se encuentran el modelo CSE (California State Evaluation), elaborado en la Universidad de Califomia por M. C. Alkin, y el UTO (unidades, tratamientos, operaciones) de Cronbach. Finalmente, y aún dentro del paradigma racional-cuantitivo, debe citarse el modelo de análisis de sistemas, cuyos' rasgos· característicos son los siguientes: La realidad evaluada tiene un orden formal que se debe anali­

zar.

Toda realidad dada está relacionada con el entorno que la ro­

dea.

La interdependencia de todos los elementos internos y exter­

nos del 'sistema queda explicitada en los cuatro imperativos

funcionales: adaptación, consecución de los objetivos, integra­

ción y mantenimiento de las pautas.

Este enfoque de la evaluación ha sido defendido por autores como A. M. Rivlin, P. H. Rossi, F. N. Freeman y S. Wight, mientras que las críticas a los modelos de base racional-positivista se sintetizan en las siguientes: Sólo se consideran los propósitos del grupo en el poder.

Los métodos utilizados son monistas y dogmáticos.

Los comportamientos observables son reducidos a indicadores

que no reflejan su complejidad y riqueza.

Plantean una visión teóríca de la realidad.

A mediados de 1970, la crisis entre paradigmas se extendió a los planteamientos evaluativos. Aparecieron las llamadas alternativas

32

cualitativas, que concen traron el esfuerzo de la evaluación en los pro­ cesos educativos y en cómo son percibidos por la audiencia. Se utili­

zaron procedimientos de corte antrop ológic o e incluso periodístico,

extend iéndos e el uso de la etnom etodol ogía y de otras metod ología s derivadas de ella, agrupa das bajo la denominación de "naturalistas Siguiendo la clasifi cación propue sta al hablar de las metod ología s de investigación, los model os cualita tivos pueden dividir se en dos grupos: los de adscri pción cultural-interpretativa y los sociocríticos , 1.2.8. MODELOS CULTURAL-INTERPRETATIVOS

Scriven (1973), inicial mente adscrito a la corriente positivista, re­ accion ó ante la evalua ción absolu tamen te predet ermina da por los objetivos, y señaló la import ancia de incluir como objeto de interés de la evaluación los resultados no previstos en la planificación origi­ nal. Planteó el. model o "orien tado al consum idor" (libre de objeti­

vos), en el que el evalua dor, libre de la referencia obliga da que marca n los objetivos, opera sobre las necesi dades del propio consumidor. La evalua ción se consid era más como un servicio cliente -consu midor que depend iente de las instituciones burocráticas. La escuel a de orient ación cualita tiva vincul ada a la Unive rsidad de Stanfo rd fue la impul sora del model o conoc ido como de "critic a artístic a", cuyo defens or más decidi do fue E. W. Eisner (1986). Di­ cho model o parte de una concep ción artístic a de la enseña nza, en la que el papel del docen te se concib e como el de un expert o que inter­ preta una realida d, es decir, como un artista. Con esta propu esta se rompí a radica lmente con los model os conve nciona les de base em­ pírico -exper imenta l. Para Eisner, el evalua dor es un expert o en educac ión que interpre­ ta aquello que observ a tal y como sucede en un medio cultural satura­ do de significados. La interpretación depen de de la compr ensión que se tenga del contexto, de los símbolos, de las reglas y de las tradici o­ nes, de las cuales participan las personas, los objetos, los fenóm enos y los hechos. La critica educativa, al igual que la artística, toma la forma de un documento escrito, cuya finalidad es ayudar a los otros a ver, compren­ der y valorar la calidad de la práctica educativa y sus consecuencias.

33

1.2.9. MODELO DE "EVALUACIÓN ILUMINATIVA"

En 1972, M. Parlett y D. Hamilton propugnaron un model o que denominaron de "evalu ación ilumin ativa", que según lo definie ron sus propios autores tiene como objetivo primordial descub rir y docu­ mentar a cualqu iera que participa en el esquema, sea docen te o alum­ no, para discer nir y discutir los hechos más relevantes de la .mnovaclón que se pretende introducir. Su aplicación se articula a partir de cuatro factores: la definic ión del proble ma que se ha de estudi ar, la metod o­ logía, la estructura conceptual subyacente y los valores implíc itos". En la definición, la evaluación iluminativa se centra en el análisis de los procesos de negociación que tienen lugar en el aula. Estos proce­ sos son vivos y cambiantes, y la evaluación será efectiva a partir de la familiarización intensiva con los problemas. Por ello, el diseño de la evaluación tiene que ser progresivo, los problemas se van explicitando con el transcurso de los propios hechos.

En la metodología, la evalua ción es la consec uencia del pacto y, la negociación, por lo tanto, implic a apertura y fl.e;ctbilidad metodológic a. Las técnicas más emple adas son la observación, la entrevista, el aná­ lisis docum ental y los cuestionarios. Según la estructura conceptual, las acciones fundam entale s en el proces o ilumin ativo son: compr ender a fondo e.l contex to y s~s interrelaciones, analizar las implicaciones y explicItar las perspecti­ vas subjetivas. Atend iendo a los valores implícitos, el evalua dor asume una POSI­. ción neutral, no imparcial, tiene sus propias concep ciones y ha de explicitarlas. Su tarea consis te en organizar las opiniones, rec~pilar datos, sugerencias y alternativas, promo ver el contra ste de opuuo nes y facilitar la proliferación de iniciativas de anáhsl.s y de cambio. . G. M. Jcnkin s y S. Kemm is, en 1976, y a partir de las conclusio­ nes de la segun da confe rencia de Camb ridge sobre el tema "Reco nsider ación del estudi o de casos", definieron y caracterizaron esta práctica indaga dora como model o de investigación. Este hecl~o facilitó su utilización en el ámbito de la evaluación, donde el estudi o de casos ya tenía un consid erable prestigio como práctic a evaluativa propia, inmers a en la tradición histórica e interpretativa. Autore s como R. E. Stake, en Estado s Unido s, y L. Stenho use, E. R. House y J. ElIiot, en el Reino Unido, los han incorporado en su praxis evaluativa.

34

1.2.10. MODELO DE EV ALUACrÓN RESPONDENTE

R. E. Stake, en un notable giro de sus planteamientos iniciales, de caráct er positi vista, elabor ó en 1975 el model o de "evalu ación

respondente". Se conoc e con este nombre porque "respo nde" a los problemas y a las cuestiones reales que afectan a los alumnos y al profesorado cuand o desarrollan un programa educativo determinado. Es un model o evaluativo centrado en el sujeto; el evalua dor responde a aquello que las diferentes audiencias desean conocer, y negocia con el sujeto lo que hay que hacer. El modelo de R. E. Stake también es conocido como el modelo de la "figura", por las dos matrices de datos que permiten obtene r des­

cripciones y juicios , de acuerdo con el esquem a propuesto por el au­

tor para la recopilación de información. .

El modelo de evalua ción democ rática de B. McDo nald (1977) in­

cide sobre el carácter político de la actividad evaluativa. Ls tarea del

evaluador consis te en buscar caminos para resolver situaciones pro­ blemáticas. Ha de identificar los diferentes grupos que toman las de­ cision es educa tivas, a menud o en confli cto, propo rciona rles la información que ellos consideran más valiosa, favore cer la mejora personal y colect iva, así como ayuda r a operat ivizar las pautas de mejora. J. Elliott y L. Stenhouse se inscriben en el mismo marco de pensamiento.

1.2.11. LA ETAPA DE PROFE SIQNA LIZAC róN

La etapa de profesionalización, que se extendió a lo largo de las décadas de 1970 y 1980, fue extraordinariamente prolífica. La apari­ ción de un gran número de modelos cataliz ó la reflexión en torno ,¡ los planteamientos teóricos y prácticos subyacentes, y consolidó la evaluación como un ámbito específico de investigación: la investiga­ ción evaluativa. En este contexto, no tardaron en aparecer las revistas especializadas y las asociaciones científico-profesionales. Además, las grandes universi­ dades empezaron a ofrecer cursos y programas evaluativos, no sólo postgrados o doctorados, sino también titulaciones de primer ciclo. En resumen, esta época se caracterizó por ser un período de eclo­ sión de los modelos, en el que éstos se consideraban una guía siste­ mática de la evalua ción educat iva. La evalua ción centra da en los objetivos fue evoluc ionand o hacia la orientada a la toma de decisio -

35

nes. Ello hizo que se recrudecieran las críticas al model o científico­ lógico-positivista en la medid a en que se produc ía un acerca miento a las ciencias sociales. .

Tambi én tuvo lugar una reaparición de la clásica polém ica entre paradigmas: método nomotético frente a métod o idiográfico; métod o clínico frente a método experimental; explicación frente a ~ompren­ sión. En definitiva, se produjo una dicotomía entre la perspectrva cuan­ titativa y la cualitativa. Por último, hay que menci onar como rasgo destacable de este período la pluralidad tipológica de los r:rodel.os y las metod ología s evalua tivas funda menta das en la divers idad paradigmática. 1.2.12. LA CUARTA GENERACIÓN EVALUATIVA

A partir de 1990 tuvo lugar un nuevo mome nto del desarr ollo evaluativo. Algun os autores, como Guba y ~incoln, ~onsideraro~ que el parad igma que resolv ería la plurah dad eXiste nte sena el constructivista-respondente, al integrar el enfoque respondente de R. E. Stake y el paradi gma constructivista. . La diversidad de posturas ha resultado ser muy fértil para el.desa ­ rrollo de prácticas evaluativas. La permeabilidad de los paradl~mas como característica del método, en el sentido de que cada paradigma podría incorp orar aquellos elementos que enrique~ieran sus ~plica­ cienes, y el hecho de que su utilización .en la real.ldad educat iva no depen diera de la ideolo gía del invest igador , smo d~1 grado de estructuración y tipo de organización que presen te la realidad, fueron las principales aportaciones de esta década. . Sin embargo, parece claro que la evaluación tal como se percibe en la actualidad no puede reducirse a ser defini da como un proces o metod ológic o o técnico. Guba y Lincol n .caracterizar~n ~sta cuarta generación adjetivando el proceso evaluativo con las siguíen tes cua­ lidades: -

Sociop olítico Conju nto de colaboración De enseñanza/aprendizaje Continuo, recursivo y muy divergente Emerg ente Con resultados impredecibles Que crea reali dad

37

36

A ello debe añadir se que el proces o evalua tivo es, sobre todo, un

en

proces o genera dor de cultura evaluativa. La evalua ción consis te e os asumid ser ~n proces o de constr ucción de valore s que han de ­ integra dos en la cultura de la person a, del colecti vo y de la institu ción.

De esta maner a se optimi zan las accion es de la realida d evalu ada para favore cer el cambi o en profundidad.

1.3. Perspectiva funcional de la evaluación

1.3.2. FASES DEL PROCE SO EVALU ATIVO

Una vez config urada la evalua ción, desde la perspe ctiva operat iva,

como proceso, conven drá estable cer sus fases características, las acti­ tes.

referen vidade s que implic a cada una de ellas y sus princip ales Así,la s fases características del proces o genera l de evalua ción son:

la planifi cación , el desarr ollo, la evalua ción y la metaev aluaci ón, que pasare mos a disecc ionar a contin uación . La planifi cación y diseño de la evalua ción implic a las siguien tes activid ades:

1.3.1. LA EVALU ACIÓN COMO PROCE SO

Desde una perspe ctiva funcional, la evalua ción educat iva es un de proces o de reflexión. sistemática, orienta do sobre todo a la mejora los de la calidad de las acciones de los sujetos, de las interve ncione s profeslO~ales, del funcio namie nto institucional o de las aplicac ioaes a la realida d de los sistem as ligados a la activid ad educativa. Supon e un proces o compl ejo que, a su vez, incluy e otros como: - Recogid.a de inform ación respec to de indica dores que reflejen, lo más flelmcnt~ posible, la Situación inicial, los proces os o los produc tos refend os a los agente s anterio nnente citados. - Det~nn~nación del grado de congru encia entre necesi dades, realiza ciones y objetivos. - Elabor ación de juicios de mérito o valor a partir de unos crite­ nos estable cidos o consen suados durant e el propio curso de la evalua ción.

- Toma de decisio nes que condu zca a la elecció n y a la aplica­

ción de la alterna tiva de interve nción más adecua da a partir de

la infonn ación evalua da o que se halla en proces o de evalua­ cien.

- Seg~imiento y contro l de la alterna tiva elegid a y nueva eva­ luacíón de las consec uencia s deriva das de la aplicación. La evalua ción así entend ida se presen ta como un mecan ismo re­ guiado r, posiblemen~ el más import ante de que se dispon e para des­ el cribir, valora r y reonen tar la acción de los agente s que operan en fica. especí iva marco de una realida d educat

-

Establ ecer su propósito, finalid ad y función. Especi ficar los juicios que se han de emitir, las decisio nes po­ tenciales que deberí an tomars e y las audien cias que habrá que atende r. Defini r el objeto de la evalua ción y las fuentes de información. Delim itar los proced imient os de la evalua ción (mode lo e ins­ trumen tación ). Defini r los agente s que efectu arán la evaluación. Establ ecer la ternporalización de la acción evaluativa.

Por su parte, el desarrollo, recogi da y tratam iento de la inform a­ a­ ción implic a las activid ades de obtenc ión de la inform ación, codific dos. ción, registro, análisis y elabor ación de los primer os resulta ende La evalua ción y utilización de los resulta dos evalua tivos compr n, el análisis de resultados y la formu lación de juicios (interpretació dise­ cias, audien las con clasifi cación y compa ración ), negoc iación minac ión de los resulta dos y seguim iento. Finalm ente, bajo el términ o metaev aluaci ón se incluy en todas las activid ades orienta das a evalua r la propia evalua ción efectuada.

1.3.3. FUNCIONES Y TIPOS DE EVALU ACIÓN

Debem os a Scríve n (1967) la distinc ión entre evalua ción format iva y sumati va. La evalua ción format iva es aquell a que centra su inter­ venció n en los proces os de maner a que trata desde su inicio de incidir en su mejora , mientr as que se asigna el calific ativo de sumat iva para ue la evalua ción focaliz ada sobre los resulta dos y en la que se persig acción la fundam entalm ente el contro l de los mismo s, reserv ándose mejora dora para futuras interve ncione s.

39

38

~._~~iI¡\r'ij;··j

~~dL·,-ª~!h~iét'í]Jl~'~,1.J

. r

PLANIFICACiÓN

1-

Establecer propósito, Ilnalidad. función, juicios a emi\\T, decrsicnes potenciales, audiencias, objeto de evaluación, fuentes de Información, procedimientos, agentes y

1.4. Componentes del modelo evaluativo

temoorenzaclón.

I

I

DESARROLLO

!

CONTRASTACIÓN

1-l-­

es decir, trelamienlo de la lnformaclón.

Análisis de resultados, rormutaclén da juicios (rnterpreiectcn, clasificación y

y seguimiento.

I

METAEVALUACrÓN

1-­

Un modelo evaluativo completo deberá considerar una serie de componentes básicos sobre los que reflexionar para estimar la íorma en que se concretará la participación y cuáles tienen que ser sus ca­ racterísticas.

Recogida, ccontcaclén. registro, análisis, etcétera,

comparación), loma de oecrstores, divulgación de resultados, negociación con las audiencias

nalla presencia de la evaluación formativa ha de ser por pura lógica mucho mayor que la de la sumativa y ha de ser la torma predominante de actividad evaluativa.

I

Evaluación de la evaluación.

El valor de la aportación de Scriven, se inscribe en la oportunidad del momento en que lo hizo, Una época en que la única lógica exis­ tente par~.aphcar la evaluación, era la sumativa, El enf oque formari­ VO permitió amphar conceptualmente el sentido y significado de la evaluación, Sin embargo, con el paso del tiempo, se ha ido pervirtiendo el concepto, de manera que lo que son dos funciones de la evaluación se ha c.onvertido en dos tipos de evaluación, que muchos autores prcscn­ tan incluso como enfrentados. La evaluación es una acción conceptualmente única que, sin em­ bargo, dependiendo del momento o de la necesidad, adopta funciones diversas (diagnóstica-formativa o sumativa). Lo que le confiere culi­ da? no es el calificativo. sino la oportunidad del momento de aplica­ cien, .Ia adecua~~ón de acuerdo al objetivo perseguido y nuestra capacidad de utilizarlas complementariamente. Ambas funciones se necesitan mutuamente, y responde a un planteamiento totalmente obsoleto el pensarlas como excluyentes; así, desconocer el valor for­ mativo de la eva~uación sumativa nos parece una incongruencia e Ignorar la aportación sumativa de la evaluación formativa un error. . Desde una perspectiva holística no son sino las dos caras de la misma moneda, aunque es evidente que desde la perspectiva funcio­

1.4.1. OBJETO Y FUENTES DE INFORMACIÓN

Cualquier componente del sistema educativo puede ser objeto de evaluación. Sin embargo, para llevarla a cabo es necesario someter el sistema a un proceso de contextualización y operativización, idcntifi­ cando sus aspectos más relevantes, que serán los sometidos a los pro­ cesos evalualivos. La acción evaluadora siempre se inicia con la recopilación de in­ formación; las fuentes están constituidas por todas las entidades, do­ cumentos o personas que puedan facilitar datos significativos para el proceso evaluativo.

1.4.2. ESTRATEGIAS E INSTRUMENTOS

Para la recopilación de información es preciso determinar las téc­ nicas, estrategias o instrumentos que se utilizarán. La elección depen­ derá de la finalidad y del contexto. En general, es aconsejable utilizar además una amplia gama de procedimientos a fin de superar los posi­ bles sesgos o limitaciones.

1.4.3. AGENTES Y MOMENTOS DE LA EVALUACIÓN

Los agentes son los ejecutores de la evaluación. Cada metodolo­ gía determina el carácter de agente de sus participantes. Así, en las metodologías positivistas suele ser el propio investigador, que por lo

41

40

general conserva el carácter de agente externo; en cambio, en los enfo­ ques cualitativos, los participantes actúan como objeto y como agentes. El momento o los momentos evaluativos vienen condicionados, entre otros aspectos, por la finalidad y el objeto. Así, una evaluación de necesidades tendrá que llevarse a cabo antes de poner en marcha cualquier programa de intervención; en cambio, la mejora de un pro­ ceso requerirá que la evaluación se efectúe durante el mismo.

1.4.4. CRITERIOS DE VALORACIÓN

La evaluación necesita referentes de valor con los que comparar los resultados obtenidos y, por tanto, para emitir el juicio valoranvo y las sugerencias pertinentes que se requerirán en la posterior torna de decisiones. Pueden concretarse tres referentes principales: -

El propio objeto-sujeto evaluado. La referencia se establece por comparación con la individualidad objeto de evaluación. El grupo normativo. Se busca la posición relativa del objeto evaluado respecto de la media del grupo al que pertenece. Un criterio prefijado. La valoración se hace por comparación respecto al criterio de excelencia preestablecido.

1.4.5. AUDIENCIAS E INFORMES

La utilidad de la evaluación depende no s610 de su excelencia sino también de que se establezca una buena comunicación entre los evaluadores y los interesados en ella, asegurando así su impacto. Esto exige que se preste atención a las potenciales audiencias a las que hay que llegar, así como a los informes que se les presentan. Los especia­ listas recomiendan que la comunicación no sea excesivamente for­ mal, pero sí precisa, que responda a los interrogantes y necesidades evaluativas que se tenían planteados y que se exprese en un lenguaje claro y conciso. En cualquier caso, un buen informe evaluativo deberá formular claramente los juicios valorativos respecto a los contenidos evalua­ dos, aconsejar las posibles alternativas de decisión, establecer pautas para su elección y estrategias de seguimiento y posterior evaluación de la opción escogida.

1.5. La metaevaluación El término "metaevaluación" fue acuñado por Scriven, y ha~e refe­ rencia a la incorporación, en la práctica evaluativa, de la reflexión res­ pecto a la calidad de la propia evaluación efec~ada. Para proceder .a la ió necesario , como en cualquier proceso evaluativo, metaeva1uaci n es señalar los aspectos básicos que se van a evaluar y establecer unos

criterios o normas que actúen como referencia Para ello, se tlene~ en

cuenta las normas y los criterios establecidos por el Joint Committe,

asamblea que se ocupa de la ética profesional de los evaluadores.

1.5.1. CATEGORÍAS BÁSICAS DE LA EVALUACIÓN

En cuanto a los criterios de calidad de la evaluación, el Joint

Committe on Standards for Educational definió claramente, en 1988,

cuatro características básicas: la utilidad, la factibilidad, la legitimi­ dad y la precisión.

La utilidad

La primera categoría, la utilidad, comp~cndc las normas para que la evaluación sea informativa, oportuna e 1~f1u~ente. Esto exige que los evaluadores se familiaricen con las andjencras, conozcan sus ne­ cesidades de información, diseñen evaluaciones que.respo~dan_ a esas necesidades y transmitan con claridad la información adecuada, cuando ésta sea necesaria. ." . Las normas implícitas en esta categona son las siguientes: _ La identificación de la audiencia.

_ La confianza en el evaluador.

La selección y alcance de la información.

.

_ La interpretación valorativa.. La claridad, difusión y oportunidad del informe.

_ La trascendencia de la evaluación.

En definitiva, las normas de utilidad ay~darán a det~rminar y va­ lorar si una evaluación satisface las neceSidades prácticas de infor­ mación de una audiencia determinada.

42

43

La factibilidad

La precisión

El criterio de factibilidad incluye las normas que reconocen que una evaluación. educativa ha de realizarse en un contexto real y con un costo asequible, Una preocupación clave es que el diseño de la evaluación sea realizable en un marco real y que el coste en recursos h~manos, materiales y tiempo, sea razonable en función de los propó­ sitos. Las tres normas de esta categoría son las siguientes:

La cuarta categoría, la precisión, incluye las normas que determi­ nan si una evaluación ha producido la información adecuada. La medi­ ción de un objeto tiene que integrar informaciones variadas, considerando el contexto en el que tienen lugar. La información obte­ nida debe ser técnicamente adecuada y los juicios han de guardar una relación lógica con los datos, sin ninguna clase de extrapolación impru­ dente. Las once normas implícitas en la precisión son las siguientes:

Procedimientos prácticos.

Viabilidad política.

Relación coste/producto ajustada.

. En re~umen, las evaluaciones tienen que ser realistas, prudentes, diplomáticas y económicas.

La legitimidad . La tercera categoría, la legitimidad, incluye las normas que refle­ Jan ~l hecho de que las evaluaciones educativas afectan a las personas de distintas maneras. Estas normas están pensadas para proteger a las personas afectadas por la evaluación.

Las ocho normas de legitimidad son las siguientes:

-

Obligación formal.

Conflicto de intereses.

Exposición total y sincera.

Derecho a la infonnación pública.

Derechos del sujeto.

Interacciones entre personas.

Equilibrio del informe,

Responsabilidad económica.

-

Identificación del objeto. Análisis del contexto. Propósitos y procedimientos descritos. Fuentes de información confiables. Mediciones válidas. Mediciones fiables. Control sistemático de los datos. Análisis de la información cuantitativa. Análisis de la información cualitativa. Conclusiones fundamentales. Informe objetivo.

Estas normas intentan asegurar que la evaluación proporcione in­ formación adecuada sobre las características del objeto de estudio y determine de este modo el mérito o el valor del mismo. El conjunto de las norrnas expuestas propone una filosofía del tra­ bajo evaluativo y constituye el referente más claro del que se dispone para determinar la calidad de una evaluación.

1.6. Algunos tópicos de interés 1.6.1. EVALUACIÓN Y CONTROL

E? definitiva, estas normas exigen que las evaluaciones se reali­ c~n siempre de f0l1l1;a legal, con la ética y el respeto necesarios, por el bienestar de los participantes en la evaluación, así como de los afecta­ dos por los resultados.

Conviene distinguir entre evaluación y control, dado que existe una cierta confusión, debida a que en ambos procesos se utiliza una información parecida. Partiremos en nuestra exposición del pensa­ miento de Rul (1992) quien, a nuestro juicio, es quien mejor precisa la distinción entre ambos conceptos.

44

La acción evalua dora se encue ntra implíc ita en el proces o evaluativo, es critica y supone ofrece r visiones no simplificadas de la realidad. Posibilita la interpretación de los hechos y el diagnóstico real y en profundidad de los problemas, e implica tanto a los sujetos evaluados como a los agentes que la realizan. Bien aplicada siempr e es genera dora de cultura evaluativa. El control es una prerrogativa y una obligación de la sociedad, responsable subsidiaria de la regulación de la acción educativa que ejerce a través del poder político. Para su activación exige un impor­ tante grado de simplificación, no porque sea simplista, sino porque opera sobre la realidad instrumental. Su acción, la de control, si es correcta, genera una cultura norma­ tiva, complementaria de la evaluativa. Aplicadas conjuntamente, me­ joran la realidad educativa y vertebran el cambio en profundidad. En definitiva, el control es respon sabilid ad exclus iva del poder legítimamente constituido, y su misión consiste en posibilitar el man­ tenimiento de la organización a través del equilibrio entre norma (ex­ pectativa social) y realización individual. La evaluación, por su lado, incide en el aprendizaje social de valo­ res (interiorización) y en la confor mació n de la cultura. Su puesta en march a corresponde a los distintos estamentos de la sociedad educa­ tiva. La acción conjunta de ambos factores (evaluación y control) debe gestionarse desde el marco de un model o evaluativo, pues nunca se producirá una acción evaluativa global y convincente sin ese instru­ mento racional y racionalizador. La dificu ltad de genera r, forma lizar y operat ivizar un model o

evaluativo reside sobre todo en la capaci dad de lograr un sistema jus­ to y eficiente que relacione adecuadamente evaluación y control. 1.6.2. EVALUACIÓN, DESCENTRALIZACIÓN Y CRISIS DE LEGITIMIZACIÓN

Hemos destacado en nuestra exposición que la naturaleza de la eva­ luación reside en su capacidad de asignar valores, de generar conoci ­ miento evaluativo. Sin embargo, el conocimiento y los valores están en nuestra sociedad inmersos en una profunda crisis de legitimidad. En lo que concie rne al conoc imient o social es bien conocido el alto grado de desacuerdo que existe en los ámbitos universitarios tan-

45

to en lo que se refiere a su cuerpo de conocimiento, a sus métodos, a sus conceptos básicos como a sus datos.

.'

Sin embargo, más que deplor ar la pérdid a de universalidad del conocimiento válido y el colapso de las modernas narrativas de legi­ timación, los autores post-modernos como Lyotard (1984)" recono ­ cen y aceptan la primacía de los discursos locales y. hete~?geneos. Con el colapso de las narrativas globales de legltl~aCIOn, losco? ­ textos locales se han conve rtido en esenCiales. BaJO la con~lclOn postrnoderna, la interacción local y las redes i~ter-Iocales c~ns.tltuyen el verdadero punto de partida de la constr ucción del conoc imient o'. Mejor que buscar un conocimiento evaluativo universal, se persi­ guen interpretaciones valorativas ~e la realidad elaboradas por la gente que tendrá que compartir las deCisiones Y sobre todo las consecuen­ cias derivadas de las mismas. . En el contexto del conocimiento post-moderno, la descentraliza ­ ción de las administraciones educativas no es meramente una nueva manera más eficiente de administrar o articular las pr~~uestas edu.ca ­

tivas o una respuesta a las deman das locales para facllI~ la partl~l

­ pación democrática. Es, por encim a de ~odo, una tendenCia, un ~mpho

movimiento que está forzando a cambi ar los modelos de administra­ ción centralizados hacia redes de comunidades autónomas mucho más acordes con el cambio que previamente ya se ha producido y que ha ido del conocimientos universal al local (Kvale, 1990). 1.6.3. EVALUACIÓN Y CALIDAD EDUCATIVA

Es evidente que se está produciendo una nueva configuración y organización social cuyo rasgo central consiste en que el conoc muent o y la infonn ación están reemp lazand o a los recursos ~aturales, a la fuerza y al dinero, como variables clave de la generaCIón y distribu­ ción del poder en la sociedad. Esta nueva configuracl?n SOCial lle~a asociada una profunda transformación en la orgamzaclón del trabajo que a su vez está en la base del claro aumento de la desigualdad entre los sujetos (Tedesco, 2000). . . El conocimiento ha pasado a ser, en opinió n de los expertos, el factor fundamental del desarrollo social, cultural y econó mico de las personas y de los países. Sia finales del siglo XVIII era la tierra la que limitaba la capacidad de produc ción y :n el XIX y XX lo fue el capital, en la actualidad el desarrollo econo nuco se f~ndamenta, en las sociedades modernas, en el capital humano. Sólo mcrem entand o

46

los "stocks" de conocimiento de los ciudadanos, es posible extraer un buen rendimiento de los factores físicos de producción. En la medida que la creación de este "stock" exige una transmisión de los conocí­ mie?tos, la educación adquiere en el marco de las sociedades postmdustriales un papel decisivo en su desarrollo (Serra, 20(0). . La evolución de la sociedad, particularmente de aquellas que uti­ lizan las nuevas tecnologías de producción basadas en el uso intensi­ vo de conocimientos e información, pone en evidencia la necesidad de que para poder gestionar la enorme complejidad de estos procesos, se requiere que la inteligencia y la formación de gran calidad no pue­ de estar concentrada en la cúpula de la pirámide, sino que, ésta, debe­ rá estar distribuida de forma más o menos homogénea en todo el tejido social. . En consecuencia, los niveles de calidad y de calificación de los CIUdadanos debe~ de superar ciertos niveles mínimos, sino se quiere entrar, en la lógica actual, en procesos de exclusión. Por otro lado, estas nuevas desig~~dades provocan "un sufrimiento más profundo, porque son percibidas más como un fenómeno personal que socioecon6mico y estructural" (Tedesco, 2000, p. 83). .Estos análisis ponen en evidencia la importancia crucial que ad­ quiere hoy la definición de políticas educativas que garanticen a to­ dos una enseñanza de muy buena calidad. Tal como señala muy acertadamente Tedesco (2000, pp. 85 Y 86), "la educación también modifica su papel, ya que, por un lado, será la variable más importan­ te que permitirá entrar o, por el contrario, quedarse fuera del círculo ~onde se definen y realizan las actividades socialmente más significa­ uvas; y por el, será necesario educarse a lo largo de toda la vida para poder ad~ptarse a los requerimientos cambiantes del desempeño social y productivo. En el futuro, paradójicamente, será necesaria una movili­ dad muy intensa para mantenerse en la misma posición. Este fenómeno tiene consecuencias muy importantes sobre el comportamiento de la demanda educativa. Asumir que debemos educamos a lo largo de toda la vida, que ningún aprendizaje es definitivo y que el acceso al conoci­ miento no garantiza el ascenso social, modifica profundamente la re­ presentaci6n social tradicional que se posee sobre la educación. Se requieren así unas demandas educativas más cualificadas". Parece evidente que en el marco de la sociedad de la información y del conocimiento~ la educación deberá aceptar nuevas realidades y nuevos retos. En pnmer lugar, el nuevo papel que se asigna a la edu­ caci6n imposibilita que ésta pueda ser totalmente cubierta desde una sola institución: la escuela (en su sentido más amplio).

47

Será preciso movilizar a toda la sociedad en su conjunto para que redescubra su dimensión educadora y acepte su responsabilidad en la coordinación de los diferentes agentes que en ella operan para garan­ tizar en todo el momento la universalización de la educación; pero aún es más, deberá incluir entre sus garantías el acceso al conoci­ miento socialmente significativo a todos sus ciudadanos y consecuen­ temente facilitar la continuidad de la acción educativa a lo largo de toda la vida de los ciudadanos. Sin embargo, hemos de ser conscientes que desde esta nueva pers­ pectiva ya no es posible pensar que la regulación de la adquisición del conocimiento por parte de los sujetos vendrá exclusivamente de las instituciones o se producirá espontáneamente basada en la acci6n de los mecanismos sociales a lo largo de toda la vida del sujeto. El individuo deberá adquirir un importante grado de compromiso en su desarrollo personal y deberá adoptar nuevas actitudes que le permitan el acceso a la información y al conocimiento. Es por todo ello que la educaci6n en sus momentos de acción reglada, deberá abor­ dar con valentía la necesidad de ampliar sus contenidos incorporando a los conocimientos académicos clásicos, el desarrollo en los sujetos de un conjunto de competencias y actitudes del todo necesarias en ese nuevo marco de auto-responsabilidad que estamos dibujando. Por todo ello y tal como hemos visto, universalizar la educación ya no es el único reto importante, es del todo preciso que la sociedad adquiera un nuevo compromiso y es conseguir que la educación se construya bajo unos parámetros de calidad que la dimensionen dentro de las nuevas necesidades y que la hagan social y culturalmente sig­ nificati va. Sólo desde una educación de calidad se podrá minimizar los efectos que conducen a la exclusión social y facilitar la equidad entre los sujetas y la cohesión social de las sociedades. Es justamente en este escenario donde se produce el redescubrimiento de la evaluación como uno de los instrumentos más importantes para gestionar eficiente y racionalmente la calidad en la educación. A lo largo de cada uno de los apartados en que hemos subdividido nuestro trabajo y que no hacen sino reproducir los ámbitos educati­ vos más importantes, trataremos de establecer la relación entre el co­ rrespondiente proceso evaluativo y la gestión de la calidad en aquel ámbito.

48

49

1.7. Ámbitos básicos de la evaluación educativa 1.7.1. LA EVALUACIÓN DE LOS APRENDIZAJES DE LOS ALUMNOS

Tal como se desprende del análisis del proceso histórico, la eva­ luación estuvo ligada en un principio a la valoración del aprend izaje de los alumnos, en consonancia con el hecho de que su desarrollo inicial se produjo en el marco de los avances experimentales asocia­ dos a la psicometría y la pedagogía experimental. Así, uno de los capítulos que abordaremos será el de la evaluación de los alumnos donde en los últimos diez años se ha producido un cambio fundamental en el enfoque clásico respecto de la valoración del proceso de enseñanza-aprendizaje. La tendencia actual se centra en orientar toda la atención en valo­ rar los resultados de los aprendizajes de los alumnos en detrimento de los medios, en términos de recursos para la enseñanza, que se han invertido para conseguirlos y a valorar la enseñanza en tanto en cuan­ to conlleva la consecución de resultados (Eisler, 2000). El centro de gravedad se sitúa en los outputs más que en los inpurs. Se cumple con ello, uno de los principios básicos del nuevo paradig­ ma organizativo de la educación, el de la primacía de las finalidades (Hutmacher, 1999), según el cual, se exige que las decisiones y la acción se orienten de una manera prioritaria conforme la voluntad de alcanzar los objetivos establecidos.

1.7.2. EVALUACIÓN DE LA ACCIÓN DOCENTE DEL PROFESOR

Otro de los ámbitos fundamentales de la evaluaci6n educativa es el de la evaluaci6n del profesorado. El profesorado, considerado de forma individual, y muy especialmente como colectivo constituye uno de los ejes principales sobre el que gravita la calidad de la enseñanza, y su evaluación se está convirtiendo en un tema capital en las socie­ dades occidentales. Sin embargo, hemos de ser conscientes que aunque se considere la evaluación del profesorado, tanto por parte de los expertos como de la comunidad educativa, como por parte del propio profesorado, como un elemento clave en la mejora del sistema educativo, a nadie se le escapa que su formalización resulta muy compleja y problemáti­ ca, por no decir conflictiva y aunque en los países occidentales se ha

tratado de resolver esta situaci6n, aún no se han encontrado solucio­ nes plenamente satisfactorias. Así y en primer lugar, aquello de lo que se hace responsable al profesorado, la calidad de la enseñanza, no: es un término definido desde el punto de vista operativo, y no es ningún secreto que detrás del mismo subyace un constructo muy complejo, en cuya configura­ ción intervienen numerosos agentes, entre los que se da una ingente multiplicidad de interacciones. Entre los docentes surge el temor de que, desde las administracio­ nes educativas, en un exceso de simplificaci6n, se identifique calidad de la enseñanza con rendimiento escolar, y que se les quiera responsabilizar en exclusiva de la posible cadenas de petici6n de res­ ponsabilidades en tomo al funcionamiento global del sistema educa­ tivo, ignorando, por un lado, la amplitud conceptual que abarca el término "calidad de la enseñanza" y, por otro, lo err6neo de atribuir los resultados académicos a los docentes, olvidando que también se hallan determinados por la acción de otros factores. Entre estos facto­ res pueden citarse la procedencia sociocultural de los alumnos, las condiciones del centro, su funcionamiento, etcétera. En definitiva, son varias las previsibles dificultades con las que hay que contar cuando se pretende estructurar, en la práctica, un plan evaluativo del profesorado. Algunas, de orden conceptual, se centran fundamentalmente en la dificultad de determinar los referentes que permitan determinar la evaluación y los criterios evaluativos que se van a aplicar. Otras dificultades son de orden técnico y metodol6gico, ya que las diversas técnicas, desde la autoevaluación hasta los test de capacidad o competencia, pasando por las medidas indirectas, observaciones o entrevistas, no acaban de convencer al profesorado. También se presentan dificultades relacionadas con la cultura evaluativa. El reto de un programa de evaluaci6n del profesorado no se ubica en el terreno de lo técnico. La evaluaci6n no es s610 un argu­ mento procesual, sino sobre todo un instrumento generador de cultu­ ra evaluativa. Incluso existen dificultades de gestión política de la evaluaci6n. ¿Dónde se inserta la evaluaci6n del profesorado dentro del contexto general de la acción educativa en un sistema escolar de­ terminado? Con frecuencia, los procesos se asimilan a.la simple reco­ gida de informaci6n. Otras dificultades son de legitimación de la evaluación. ¿Cuál es el marco legal idóneo dentro del cual legitimar los propósitos, el al­ cance y las consecuencias que se derivan del proceso evaluativo y en

51

50

el que establecer las garantías necesarias para preservar los derechos de los evaluados? Finalmente, existen también dificultades de orden deontológico. ¿Cómo preservar y garantizar el derecho a la intimidad y al honor de los evaluados, a la par que ejercer el debido control y las acciones que de él se deriven, tal y como legítimamente le corresponde a la socie­ dad? De estos y otros interrogantes nos ocuparemos en el capítulo decli­ cado a la evaluación del profesorado que, por su importaricia, consti­ tuirá otra de las piezas fundamentales de nuestro trabajo.

1.7.3. EVALUACIÓN DE PROGRAMAS

El siguiente capítulo estará dedicado a la evaluación de progra­ mas. La evaluación de programas educativos cuenta con una larga tradición en los Estados Unidos, donde está reconocida como espe­ cialidad académica específica desde la década de los 60. Uno de los problemas que presenta como praxis, radica en que el objeto de evaluación, es decir, los programas no son entidades per­ fectamente definidas y detrás del constructo pueden localizarse signi­ ficados y dimensiones muy diferentes. Stake (1976), considera que un programa es toda actividad orga­ .nizada que se prolonga en el tiempo para conseguir unos objetivos, que cuenta con un sistema de gestión y de financiación, que se dirige a un grupo de individuos y despierta el interés de muchos otros. Para construir una praxis convincente, la primera tarea del evaluador será conocer a fondo sus claves estructurales, comprenderlas y ser ca­ paz de describirlas con precisión. Éstos serán los pasos previos al dise­ ño de intervención que se inicia en el análisis de necesidades y llega al de los resultados. Generalmente, la propia extensión de los progra­ mas hace impensable diseños en los que se abarquen en su totalidad. La mayoría de diseños operativos se centran en unas cuantas catego­ rías del mismo. En la definición del modelo evaluativo se ha de tener en cuen ta que los programas no son entidades invariables, sino que constituyen en esencia modelos dinámicos de intervención. Desde esta óptica los estudios adoptarán enfoques muy diversos en los que el evaluador se centrará no sólo en los resultados, sino también en los procesos de desarrollo del programa, en especial en cómo a partir de ellos se ge­ neran dichos resultados.

Bajo la misma lógica que comentábamos en la evaluación de los aprendizajes de los alumnos, la tendencia actual es centrar el interés de la acción evaluativa en los resultados, pero no como entidades aisladas, como ocurría en las décadas de los 60 y setenta, sino en el marco complejo del proceso global de la intervención educativa, tra­ tando de identificar, comprender y explicar sus interacciones y el sen­ tido general que la orienta para tratar de optimizarlo. En el capítulo que dedicaremos al tema, trataremos de enmarcar las anteriores reflexiones en el contexto de los diferentes modelos y métodos que actualmente se emplean en la evaluación de programas; así como, describir y explicar las fases más significativas de sus pro­ cesos de evaluación, las características básicas de sus informes y otras metáforas de interés en la evaluación de programas.

1.7.4. EVALUACIÓN DE CENTROS

Seguirá al capítulo dedicado a la evaluación de programas el dedi­ cado a la evaluación de centros educativos. En el marco de los siste­ mas educativos, la importancia de los centros en la consecución de la calidad educativa es poco menos que vital. La escuela constituye la unidad funcional donde interaccionan todos los elementos que ope­ ran en el sistema. Su análisis es fundamental para comprender los procesos educati­ vos y la plataforma ideal para activar la evaluación del conjunto del sistema y de muchos de sus componentes. La idea de calidad educativa va asociada a la de calidad del siste­ ma, y ésta se vertebra primordialmente sobre la calidad de los centros educativos. Sin embargo, uno de los primeros problemas que tendre­ mos que afrontar en el análisis y exposición referidos a la evaluación de centros consistirá en la propia ambigüedad e indeterminación que envuelven al término calidad educativa. En este apartado trataremos de recorrer descriptivamente los dife­ rentes tipos de modelos de evaluación de centros, establecer sus ca­ racterísticas y analizar sus diferencias, para posteriormente aterrizar en aquellos que hemos adoptado administrativamente en nuestra rea­ lidad y proceder a estudiarlos y comentarlos con más detalle. A estas alturas ya poseemos suficiente bagaje experiencia1 en relación con este tema como para atrevemos a incidir crítica pero constructivamente en él.

53

52

1.7.5. LA EVALUACIÓN DE LA ENSEÑANZA SUPERIOR. LA EVALUACIÓN INSTITUCIONAL

Capítulo aparte merece la denominada evaluación institucional, que hace referencia fundamentalmente a la evaluación de las univer­ sidades como instituciones de educación superior. La Universidad como institución ha estado diseñada históricamente para atender a una demanda restringida y, sin embargo, se ha visto enfrentada en los últimos años a la responsabilidad de dar respuestas válidas a una demanda cada vez más masiva. En nuestro país consti­ tuye un servicio público que da cobertura a más de un millón y medio de estudiantes, hecho que supone comparativamente el alcanzar unas tasas de escolarización similares a las que tenía la enseñanza primaria en los años 30 (Michavila, 1998). Por otra parte, se atribuye a la Universidad una segunda función: la investigación. Ambas responsabilidades la han convertido, sin duda, en un factor de alto valor estratégico de desarrollo económico y so­ cial de las sociedades modernas, lo que se traduce en un incremento de interés en conocer y controlar su funcionamiento por parte de las mismas. Paralelamente, en los últimos años, las universidades no han que­ dado al margen del conjunto de cambios que se han operado en el sistema social, económico y tecnológico en el mundo. Cambios que son interpretados, según las corrientes de pensamiento, como un peli­ gro para su supervivencia o como una oportunidad para el crecimien­ to y ampliación de sus bases de actuación. Todo ello ha provocado la proliferación de reformas en los siste­ mas universitarios de los países más avanzados que han afectado no tan sólo a todos sus ámbitos internos, sino también a sus sistemas relacionales con la administración, con las otras universidades y con los agentes más significativos que operan en la sociedad. Uno de los resultados más evidentes de estos nuevos enfoques se sitúa en la necesidad de profundizar en la autonomía institucional. La autonomía no hay que percibirla meramente como una nueva forma más eficiente de gestión, sino que une a su evidente capacidad de mejora de la misma la consecución de una de las aspiraciones más sentida en los ambientes universitarios: la capacidad de garantizar la libertad de investigación y de enseñanza que a su vez son las garantes de la creación y diseminación del conocimiento libre. Es en este marco donde realmente cobra sentido la necesidad de establecer y sistematizar procesos de autorregulación interna y de ren­

dición de cuentas externa, como contrapartida a la nueva libertad ad­ quirida; y es en este contexto en el que se ha ido generando los deno­ minados modelos de evaluación institucional. La mayoría de los modelos desarrollados para la evaluación de las universidades se han centrado, hasta ahora, fundamentalmente, en la evaluación de la actividad docente y de la productividad científica, lo cual no excluye que la tendencia de futuro sea la de ampliar notable­ mente sus campos de acción. La evaluación institucional se define, habitualmente, como un pro­ ceso mediante el cual se pretende dar apoyo a la mejora continua como garantía de la calidad de la institución (AQSUC 2000). Trata de ser un mecanismo de progreso racional, de mejora de la unidad eva­ luada, de rendición de cuentas y de participación de la comunidad educativa en la gestión de la mejora de la calidad. A través de nuestro capítulo dedicado al tema, trataremos de refle­ jar los procesos que hay que desarrollar para poder cumplimentar esta función, describir los esfuerzos realizados por las administraciones en nuestro país para articularlos y exponer algunas de las controver­ sias surgidas en tomo al tema.

1.7.6. LA EVALUACIÓN DE LOS SISTEMAS EDUCATIVOS

La preocupación de las sociedades por la calidad de la educación que imparten sus sistemas educativos constituye un sentimiento am­ pliamente compartido por la mayoría de los países occidentales. No son ajenas a ella algunas nuevas ideas de gran predicamento, como son la vinculación entre educación y desarrollo del capital humano, entre éste y la competitividad y la importancia que se la da hoy en día al conocimiento para el desarrollo social y económico. Esta concepción actual de la educación genera cierto desasosiego ante la posibilidad de que la escuela no cumpla debidamente con su función y fracase a la hora de ofrecer una educación con garantías. La gestión de la mejora de la calidad educativa se ha convertido en un tema prioritario en el marco de la mayoría de las políticas edu­ cativas; aún hay más: a veces, constituye su elemento clave, su inspi­ ración y un argumento privilegiado en la defensa de éstas. Consecuencia de esta preocupación ha sido la creación en la ma­ yoría de países occidentales de organismos cuya misión específica es institucionalizar las prácticas evaluativas dirigidas a diagnosticar y

54

55

evaluar la calidad educativa y a proponer medidas de mejora para SllS respectivos sistemas educa ti vos. Sin embargo, aún estamos lejos de que la evaluación de los siste­ mas educativos constituya una política coordinada entre países y una práctica generalizada, globalizadora e integradora que promueva una verdadera cultura de la evaluación.

estos ámbitos aporta elementos complementarios en la comprensión y evaluación de los otros y no deben considerarse de forma absoluta­ mente independiente. De su desarrollo, de su institucionalización, de su alcance y de sus problemas trataremos en el capítulo que cerrará nuestro libro.

Bibliografía I

"LA

EVOLUCJO~ y

... DALUGAAA UNA SERIE DE VARIA6LES

OIVERSIFICACION METOOOLOGICA DE LAACCION EVALUATIVA...

)

DEFINIDORAS DE LA ACCION EVALUATIVA...

,

QUE POR SU COI'ICEPCIOI'I DIFERENCIADA, GENERAN ACCIONES EN ESFERAS DIVERSAS DE LA EDUCACiÓN'

~

Gona>pclón Bnltopom~I¡jCll. Ge~on

I

MedlclOnda loo 8?1'ondl~8 ea RIC:', .... ÜtlllZ8CjÓn:de--I08'recÚ.r80~; dl!lipDn'ble~._-

Evaluación dei/cursA; de ·,hten8-efta~; :d.e-Ios ­

_~!'telia~~~ y ;,~~I",I;.l;Ir?qul~:~;~./-.

,-

-~~nO~\mlen~08 sobre te "eveluacI6ri' de tofb~Btt.ialante8.

Destrezas. de,construcción _y, adr(llf1i.$~ración .de pruebas. Clasifk;:,i:w'ón,., pu~t~aci~r Y"caUlic~ciór)\., _ ;~",;¡';?', >;'-,:'iPrOeesó - ""'. " , ",:: ' ..'_ > más comun es a la mayoría de los evaluadores del currículum: 1. Identificación del aspecto curricular a evaluar. Esta fase su­ pone determ inar el núcleo central que será objeto de evaluación y los objetivos que se persiguen con ella. Solventar esta fase supone plan­ tearse previamente los dos aspectos siguientes:

(a) Defini r la audiencia a la que va dirigida la evaluación: legisla­ dores, polfticos, dirección, administradores, los propios edu­ cadores implicados, la opinión pública, etc. Probablemente es imposible plantearse una evaluación que cubra las expectati­ vas de todas las audiencias, por ello convendrá definir la pri­ maria o las más importantes. Su conocimiento y el diálogo nos ayudará a solventar el tema de determinar el objeto básico de evaluación y algunos de sus objetivos. (b) Determ inar el propósito de la evaluación: para la mejora, para proced er a la correspondiente petición de responsabilidades, como instrumento de reflexión y de cambio, etc. (c) Identificar los aspectos más significativos del objeto de evalua­ ción. El ámbito curricular que hayamos fijado, por sí mismo, tiene elementos más sustantivadores que otros. Determinarlo será también parte de la tarea evaluativa en esta fase. Esta primer a fase trata de asegurar la relevancia de la evaluación y evitar que ésta se consum a en problemáticas menores sin ningún inte­ rés para nadie.

2. Valoración de la evaluabilidad. Una vez determinada la natu­ raleza y el alcance de la evaluación a realizar e identificados sus as­ pectos más significativos, se impone una reflexión previa al propio desarrollo de la evaluación en tomo a la viabilidad de llevarla a cabo. Esta valoración inicial implica efectuar un listado de los compo­ nentes básicos del objeto a evaluar, de los objetivos que persigue, de

los resultados que cabe esperar y de los efectos que puede producir, bien sean los esperados u otros inesperados. También implica diálogo en profundidad con las partes implica­ das, análisis de los posibles rechazos, de los recursos de todo tipo con los que contamos, capacidad del sistema, costos previsibles, etc. '. Todas estas precondiciones, nos orientarán respecto de la viabili­ dad estratégica del estudio, de su oportunidad, de la sensibilización frente a él y también de su viabilidad técnica y metodológica. Esta reflexión previa debe conducimos a un ajuste del estudio para incrementar su posibilidad real de ejecución. En la evaluación ~an importante como lo que se hace es el cómo se hace. Toda acción evaluativa debe generar cultura y nada justifi ca entrar en procesos alienantes, bien sea por falta de sensibilización de los agentes como por planteamientos técnicamente erróneos. . .. Para realmente optimizar el currículum es precis o movilizar las capacidades de mejora de las personas y éstas no se activa n sino se reconocen y se involucran en el proceso y la única vía conocida para conseguirlo está en la participación y en la transparencia, al mar~e~ obviamente de la calidad técnica del estudio que es lo que le conferí­ rán validez y credibilidad.

3. Fase de diseño. Se pasa a continuación a diseñar la realización de la evaluación. El diseño constituye el soporte técnic o del método , sin embargo, independientemente de las características que éste im­ ponga los momentos que acostumbran a definirlo son los siguientes: (a) Recogida de información. En este paso, los evaluadores deben identificar las fuentes de información esenciales y los medios de que se servirán para recogerla. Tendrán también que pl~uü­ ficar los momentos de recogida y establecer el correspondien­ te programa de actuación. (b) Organización de la información. En esta fase, los evaluadores tendrán que organizar la información recogi da de tal forma, que la hagan interpretable y utilizable para las audiencias com­ prometidas. (e) Análisis de la información. Aquí convendrá que los evaluadores seleccionen y apliquen los análisis técnicos más apropiados. La elección de las técnicas generalmente depen derá de la natu­ raleza del núcleo fundamental de información a analizar y del tipo de relación que conviene esclarecer para facilitar la inter­ pretación evaluativa de los fenómenos.

158

159

, Aq~Í posiblemente la cualidad que le vamos a exigir al proceso e­ la precisión en las actuaciones.

4. Utilización de la información evaluativa. Señalábamos en el primer capítulo de nuestro libro, que una de las paradojas que se dan e? la evaluación, es que aquello que la sustantiva (la emisión de jui CIO~ de valor) no es lo que la legitima (la toma de decisiones para la meJ.ora). Cuando hablamos de la utilización de la evaluación estarnos ~aclen~o referencia a las acciones que habrá que desarrollar para de. nvar e Implementar procesos de mejora como resultado de la activi­ dad evaluativa. Generalmente esta fase contempla las siguientes: (a) El informe evaluativo. En este apartado es en el que lo, e~aluadores deciden/negocian la naturaleza del informe. oe vramente, para ello deberán tener muy presente a la audiencia a la que va dirigido, que es la que en el fondo determinará en mayor medida, no el contenido pero SÍ la naturaleza del mis. mo. Conviene que la forma en que esté escrito facilite el deri­ ~ar propuestas de acción de mejora. Se acostumbra a incluir en el los datos más relevantes y sus análisis respectivos. (b) La in~l~sión de la información evaluativa en la planificación estratégica. Es mgenuo y responde a un pensamíento absoluta. mente lineal, el pensar que de la evaluación se derivan directa. mente las acciones de mejora. Cuando ello ocurre acostumbra a ser por que la mejora ya era evidente por sí misma y posible. mente no precisaba de la acción evaluativa. Por ello en el aparo tado ant~nor señalábamos que el informe debe aportar la mfo~aclón d~ tal forma que facilite su derivación, pero ésta debena producirse a través de incluir la información evaluativa en el contexto de la planificación estratégica del ente respon­ sable del ámbito curricular objeto de evaluación. (c) Reciclaje de la información. La información evaluativa básica debe ser objeto de continuo mantenimiento con el fin de ir retroalimentando permanentemente los procesos de mejora con. tenidos en los planes estratégicos.

4.8. La evaluación del currículum como actividad cooperativa Hace ya más de 30 años que Hilda Taba (1962) ya defendía que la evaluación era una actividad de naturaleza particularmente coopera­ tiva. Esta cooperación la consideraba esencial para llevar a buen tér­ mino el proceso evaluativo del currículum, para diseñar el plan general, seleccionar los instrumentos, el modelo evaluativo a aplicar y final­ mente para ejecutar los diferentes estadios que hemos mencionado. Entendía que en una evaluación del currículum centrada en la es­ cuela, es absolutamente necesario contar con la participación de los profesores, los administradores, los estudiantes y los padres, en gene­ ral de todos los miembros de la comunidad educativa. Taba indicaba que, posiblemente, la razón de mayor peso para esta cooperación es que la única forma de conseguir una fotografía completa del currículum es a partir de involucrar a todos los que, de una forma u otra, se ven afectados por él. Vamos a tratar de repasar la naturaleza de esta participación de acuerdo al diferente estatus de cada uno de ellos.

4.8.1. ALUMNOS

Es evidente que la primera responsabilidad de los alUDIDOS es con­ vertirse en agentes activos de sus propios aprendizajes y desde los nuevos principios de la evaluación moderna se acepta que los estu­ diantes deben asumir gran parte de la responsabilidad sobre la eva­ luación de sus propios aprendizajes como paso necesario para desarrollar en ellos una verdadera autonomía como aprendices. Sin embargo, lo que estamos proponiendo va más allá, deberían partici­ par también sustancialmente en la evaluación del currículum. Los alUDIDOS pueden trabajar conjuntamente con sus profesores en el aula o en comités de seguimíento del funcionamiento del currí­ culum, analizando y decidiendo sobre el valor y la efectividad de muchos de sus componentes. Naturalmente, su participación vendría condicionada por le edad y el nivel de madurez. Como señala Posner (1992), involucrar a los alUDIDOS en su propia evaluación y en la del currículum es una forma de posibilitar su dere­ cho a dirigir su propia vida de forma socialmente aceptable y de ma­ nera personalmente significativa.

160

La autoevaluacíón provee a alumnos y profesores de información valiosa y fundamental, para nutrir la autonomía de los alumnos más que s.u dependencia (Pratt, 1994). Entienden que, aunque aprendices, también deben ser capaces de enjuiciar el nivel y el significado del aprendizaje. Lo~ al~mnos juegan un papel decisivo en la detenninación de qué procedumentosde evaluación, de entre los usados por sus profesores, son los más eficaces para juzgar si se están produciendo o no lo, debidos aprendizajes. Existen experiencias (Paulson y Meyer, 19911 resJ?ecto a la creación por parte de los estudiantes de portafolios con. temendo sus propios trabajos y comentarios respecto de la calidad v la cantidad de aprendizajes que están incorporando en relación ca;} unidades concretas del currículum. También son dignas de mencio­ nar experiencias realizadas con alumnos de evaluación entre pares v otras en las que son invitados a evaluar a sus propios profesores. . Todo ello muestra una tendencia clara a que los alumnos jueguen un papel cada vez más importante en los procesos evaluativos, tanto en lo que hace referencia a sus propios aprendizajes, como a la eva­ luación de diversos componentes del currículum, especialmente aque.. l~os en los que se ~an acumulando evidencias de la significación que tienen sus aportaciones.

4.8.2. PROFESORES

~os profesores son, sin duda, los profesionales que de manera mas obvía, deberían asumir protagonismo en la evaluación del currícu­

lum. Sin embargo, la realidad es que, al menos como colectivo no se les ha tenido, históricamente, en la debida consideración. Su participación se ha resumido en muchos casos a acciones indi­ viduales, valiosas pero que no es justamente lo que se debe propugnar como modelo general de actuación. Si una aportación de las corrien­ tes humanística y naturalista ha resultado de gran valor, es generar praxis evaluativas inconcebibles sin la participación del profesorado. ~os profesores deberían involucrarse como colectivo en el trabajo curricular, y es evidente que una parte sustancial de la tarea evaluativa del ~s~o les corresponde. En la actualidad, es cada vez mayor la conc.lencla, .sea cual sea la variante metodológica empleada, que de­ ben Jugar diversos roles de importancia en la evaluación curricular. Su experiencia en el aula les hace ser testigos excepcionales de cómo los alumnos responden en el día a día a las propuestas curriculares, de

161

si los contenidos están bien secuenciados o dimensionados,si las meto­ dologías sugeridas son las más idóneas, o si las propuestas evaluativas capturan correctamente el tipo de conocimientos que se persigue eva­ luar, etc. Nadie mejor que ellos pueden elaborar juicios respecto de los ele­ mentos que van analizando desde su propia experiencia individual y colectiva. En el marco de un trabajo colaborativo y dentro del proyec­ to curricular del centro se deberían sistematizar sus aportaciones a la evaluación curricular. Lo señalado para los alumnos, respecto de la importancia de que se sientan protagonistas de su propia actividad que en definitiva for­ ma parte esencial de su propia vida, es en este caso mucho más válido y trascendental, ya que la tipología de actividad a la que estamos ha­ ciendo referencia se enmarca en el núcleo duro de su propio desarro­ llo profesional. Nadie mejor que ellos es capaz de analizar sus sentimientos y los de sus alurrmos respecto del programa en acción, y es absolutamente evidente que en las propuestas evaluativas actuales, los profesores están llamados a convertirse en la clave de la evaluación de proceso de las propuestas curriculares. Ha de quedar absolutamente claro que el tiempo en que la partici­ pación del profesor en la evaluación curricular se resumfa a pasar test a sus estudiantes o a contestar cuestionarios elaborados por los evaluadores, responden a una mentalidad absolutamente periclitada. Su presencia activa y su participación continuada son claves en las concepciones comprensivas de la evaluación.

4.8.3. LOS EVALUADORES

Tal como hemos visto, la evaluación es una actividad que exige la participación de diversos colectivos, la cooperación entre todas las partes involucradas en la evaluación curricular es absolutamente ne­ cesaria. Sin embargo, alguien tiene que encargarse de coordinarlos y de activar el proceso; ésta es una tarea que exige ala vez habilidades sociales y conocimientos técnicos; estamos haciendo referencia a los evaluadores .al equipo evaluador. Es aconsejable que las -personas que componen el equipo, formen parte del sistema donde se desarrolla la actividad curricular a evaluar, conocer el sistema y sus objetivos es indudablemente una enorme

162

ventaja. Sin embar go, también presen ta alguna dificultad que acos­ tumbr an a resumirse en que no es sencill o ser crítico respec to del sistem a desde el propio sistema, y que a veces los expert os interno s sufren de cierta descon fianza acerca de su formación como expert os y un importante grado de incom prensi ón por parte de sus propio s com­ pañero s. Aun con todo, es aconsejable que el equipo sea fundam entalm en­ te interno, lo que no signifi ca que no sea importante que colabo re con él algún experto extern o. La presen cia del evalua dor profesional no tiene por qué provo car ningún tipo de distorsión, su papel es básica ­ mente de observ ador y colabo rador, aporta conoci miento s técnicos y cierta objetividad en los juicios y en la toma de decisiones. Tambi én su presencia colabo ra notabl ement e a generar actitudes de mayor ob­ jetivid ad y profes ionalid ad por parte de los otros miemb ros del equi­ po. E! equipo en su conjun to tiene como misión planifi car la actividad evaluativa que implic a activa r el sistem a a fin de poder cumpl ir con tareas tales como: localiz ar y acudir a las fuentes que mejor inform a­ ción puedan aporta r, selecc ionar los instrumentos, técnicas o estrate ­ gias más potent es y apropi adas, analiz ar la inform ación, coordi nar los debates interpretativos, consen suar los juicios y negoc iar las me­ didas de mejora en el marco de la planificación estratégica. Esdec ir, su respon sabilid ad es diseña r y hacer funcionar la logística del siste­ ma evaluador. Sería conve niente regula r el sistem a de nombr amien to de estos equipo s y al menos ante la ausencia de normativa se impon e la con­ sulta desde los órgano s de gobier no a los de participación en particu ­ lar y a las partes afectadas en general, para determ inar la compo sición , sino ideal al menos consen suada, de sus miembros. Será necesario cuidar de su formac ión para la práctic a evaluadora y habilit ar los apo­ yos necesarios para que realme nte pueda n llevar a término su tarea. 4.8.4. LOS MIEMBROS DE LA COMUNIDAD

Incues tionab lemen te, la educac ión es una actividad cuyo interés trascie nde lo escola r o institu cional , y que eviden temen te provoc a repercusiones de tipo social, e inclus o políticas que no se puede n ig­ norar, y la evalua ción se convie rte en mucha s ocasiones en una forma más de constr uir o hacer dichas polític as.

163

Por todo esto, aquellos afectados por la educac ión deberían ser involucrados en la toma de decisiones acerca de ella, y en esta afirma ­ ción incluimos también los asuntos relacionados con el currículum. Los padres en el caso del currícu lum escolar y los agente s socia­ les, culturales y económ icos en general, deberían partici par de mane­ ra activa en la evalua ción del currículum. Existen ciertas valoraciones sobre la impor tancia de los conten i­ dos curriculares en la posterior vida activa de los sujetos, sobre el tipo de formación recibida, sobre. la satisfacción de los usuarios, etc., en las que posibl ement e la opinió n de la comun idad educat iva en gene­ ral es fundamental, e ignorarla constituiría un grave error. Existe n experiencias interesantísimas sobre la partici pación de los padres y otros miemb ros de la comun idad (1991) en la mejor a del curríc ulum que arroja n luz sobre sus posibi lidade s como factor optimizador y dan idea de su import ancia y necesi dad y que conve n­ dría extend er a todos los ámbitos de la actividad evaluadora. Por otro lado, involucrar a todos estos miemb ros de la comun idad, es introducir en la socied ad conciencia de su impor tancia como agen­ te educador. El sistema educativo resulta cada vez más insuficiente para alcanzar a cubrir todas las necesidades formativas de las perso­ nas. Sólo desde un esfuer zo conjun to, respon sabiliz ando de forma integral a la socied ad en su conjun to y actuando inteligente, compr o­ metida y coordi nadam ente a lo largo de toda la existen cia del sujeto se podrán atender debidamente.

Bibliografía ARNAL. J., DEL RINCÓN, D. Y LATDRR E, A. (1994), Investig ación Educativa. Funda­

mentos y Metodología. Barcelona: Labor. A. (1981), Currículum Theory. Itasca 111.: Peacock. Y CAMPBE LL, D (1935), Curricu lum Develop ment. Nueva York: American Book. CRONBA CH. L. J. (1982), Designi ng Evaluat ions ofEduc ational and Sodal Programs. S. Francisco. Ca.: Jossey-Bass. CHAPMAN, W. (1991), "The Illinois Experience: Stale Grants to Improv e Schools Thorough Parent Improvement", Phi, Delta, Kappa (enero), p~. 3 55-358. DEWEY, J. (1938), Experie nce ond Education. Nueva York: Macrnil lan. . EISNER, E. W, (1975), Thc percept ive Eye. Toward the Reform aüon 01 Educati onal Evaluation. Stanford, Ca.: Standard Evaluation Consortiurn. EISNER, E. W. (1981), The Method ology 01 Qualitative Evaluat ionThe Case 01 Educati onal Connoí sseursh íp and Educati onal Criticismo Stanfor d: Stanford University Press. BEAUCH AMP, G. CASWEL L H. L

164

EISNER, E. W. (1993), Educational imagina/ion: Evaluation Planning 01 School

Programs (32 ed.), Nueva York: Macmillan. GARc1A, M. P. (1999), Evaluación del Proyecto Curricular de Educación Secunda­ ria Obligatoria en un Instítuto de Educaci6n Secundaria. Un caso de Investiga­ ción Cooperativa. Murcia: Universidad de Murcia, tesis doctoral inédita. HOUSE, R. E. (1990), "Trends in Evaluation", Educational Researcher (abril), pp. 24-28. LIGHTFOOT, S. L. (1983), The Good High School. Nueva York: Books Inc. ORNSTEIN, A. C. y HUNKINS, F. P., Currículum, fiundations, principies and issues. Bastan, N. E.: AIIYII and Bacon. PARLETT, M. Y HAMILTON, D. (1976), "Evaluatíon as a 1llumination New Approach to the Study of Innovative Programa", en G. V. (ed.), Evaluatian. Studtes Review Annual. Beverly HiIls, Ca.: Sage. PAULSON, A. y MEYER, C. (1991), "What Makes a Portafolio a folio?", Educational Leadership (febrero), pp. 60-64. !'ÉRgz, A. (1983), "Modelos Contemporáneos de Evaluación, en Gimeno y A. Pérez (eds.), La enseiianza: su teoría y su práctica, pp. 426-449. Madrid: Akal Uníver­

sitaria.

POPWEWI1Z, Th. S. (1988), Paradigma e Ideologia en Investigación Educativa. Ma­ drid: Mondador!. POSNER, G.l. (1992), Analyring the Currículum. Nueva York: McGraw-Hill. PRA1T~ D. (1994), Currículum Planninp: Design ond Development. Nueva York: Harcout Brace, University Publishers. PROVUS, M. (971), Discrepancy Evaluation for EducaJional Program Improvement and Assessment. BerkeJey, Ca.: McCutchan. SAYLOR, ALEXANDER y LEWIS (1994), Currículum Planning for Better Teaching and Learning. Nueva York; Harcourt Brace Jovanovich. SHEPHERD, G. D. Y RAGAN, W. B. (1992), Modern Elemeruary Curriculum (7' ed.), Nueva York: Holt Rinehart and Winston. STAKE, R. (1967), "The Countenance of Educauonal Evaluation", en Teachers College Record (abril), pp. 523-540. STAKE, R. (1975a), Program Evaluation: Particulary Responsive Evaluation. Kalamazoo, Mich.: Evaluation Center of Westem Michigan Umversity. STAKE, R. (1 975b), Evaluating the Arls in Educa/ion. Columbus, Oh.: Merrill. STAKE, R. (1976), Evaluating educationat programs. The need and the response. Nueva York, N. Y.: McGraw-HilI. STUFFLEBEAM, D. (1971), Educational Evaluation and Decisíon Making. Itasca, Ill.: Peacock. TABA, H. (1962), Currículum Development: Theory and Practice. Nueva York: Harcourt Brace lovanovich. TALMAGE, H. (1985), Evaluating the Currículum, What, Why and How, in National Associarion for Secondary School Principal s, pp. 1M8. TYlER, R. (949), Basic Principies ofCurrículum and lnstruction. Chícago: Uruversity of Chicago Press. WILES, J. y BONDl, 1. (1989), Curriculum Development: A Guide lo Practíce.

5. La evaluación de centros

Local, pero 1W provinciano. La angustia de ser provincial y perifái~o es que estás condenado por el centro a no ser ~apaz de Juzgar tu propl~ trabajo. Cuando aceptas el juicio del centro sm te~er el luyo, . ento~ce:J además de provincial eres provinciano. Sed localístas y seréis umver­ sales. (Robert Hughes, La Vanguardia, 21 de septiembre de 2000)

5.1. El centro como unidad clave de la nu~~a arquitectura organizativa de la educación Como resultado de las profundas mutaciones que se producen en las sociedades industrializadas y en sus economías, y tal ~omo ten­ dremos ocasión de profundizar más adelante cuando analicemos la evaluación de los sistemas educativos, en los países eur?peos y de forma más general en los del mundo industria.lizado, los ~Is«:mas es­ tán realizando un verdadero cambio de paradigma orgamzativo. . Este cambio comporta una extensión importante de los mecams­ mos de evaluación a todos los niveles de enseñanza y entre ellos ocu­ pa un lugar preeminente la escuela. Sin lugar a dudas, la escuela es la unidad funcional básica del sistema y mejorarla supone la mayor apor­ tación que se puede hacer a la mejora global del mismo. . Los centros representan una pieza clave en la nueva arquitectura organizatíva. Su estatus en la gestión de ~a calidad se valora gracias a su constitución en comunidades educativas autónomas y .responsa­ bies, encargadas de realizar a nivel local el proyecto educativo global fijado por el conjunto del sistema, pero con una capacidad ~e autono­ mía y una responsabilidad amplias en cuanto a las modalidades .ac­ tuación que le permitan profundizar y generar un producto educativo propio que resalte su propia iden.tidad. '. En el nuevo paradigma orgamzattvo, cada escuela se conv.terte e~ un centro de reflexión y de innovación pedagógicas. La reflexión sera

167

166

inducida desde la autoevaluación y la evaluación externa y está ex­ clusivamente al servicio de la calidad educativa . Por otro lado, se exige cada vez más insistentemente que la escue­ la dé cuentas a la sociedad de su eficacia y efectividad. El problema está en que la institución escolar tradicional aporta pocas respuestas sólidas, razonadas o razonables a estas cuestiones que afecten a sus resultados, a sus procesos y a sus efectos. Con la evaluación de centros se persigue modificar las actitudes del contexto escolar y generar una actitud reflexiva que también dé confianza en la capacidad de realizar progresos. En este marco y tal como señala Hutmacher (1999), los instrumentos de desarrollo y de evaluación se han de construir casi en su .totalidad tanto desde las perspectivas educativa y social como culturaL La evaluación se reali­ za bajo la necesidad de atender dos perspectivas básicas: -

Una descripción evaluadora de la situación y de los resultados actuales, dentro de la tensión entre los objetivos y las condi­ ciones y circunstancias locales. Una apreciación de los procesos y de la dinámica del desairo­ 110 en la cual se inscribe el centro, teniendo en cuenta los obje­ tivos que tiene asignados.

y desde dos procesos fundamentales: -

Los procesos de evaluación internos, donde la dinámica de activación procede sustancialmente del propio centro. Los procesos externos, que vienen caracterizados por ser indu­ cidos externamente.

5.2. Los centros educativos. naturaleza Las instituciones educativas constituyen en la actualidad organi­ zaciones muy complejas que pueden ser analizadas desde diferentes puntos de vista. Así, y desde una perspectiva muy descriptiva, un centro educativo podría considerarse como una realidad dinámica en la que confluye un conjunto de actores: profesorado, personal no docente, alumnos, padres, etc., con el objetivo de alcanzar unos objetivos de aprendizaje desde unas prácticas pedagógicas concretas.

Dentro de la propia déscripci6n podemos concebirlas como "or­ ganizaciones formales" que pueden ser evaluadas tomando co~o en­ terios de referencia principios de eficacia. Desde esta perspecliva,. es habitual analizar básicamente los nombrados factores de prodUCCión que acostumbran a aglutinarse en tomo a ~uatro grandes bloques, se­ gún hagan referencia al contexto, a las vanables de entrada, al proce­ so o al producto tconiext, input, process, product). ." Otra manera de concebirlas es como "comumdades educativas, es decir, como espacios de relación interper.sonal, ámbitos donde c?n­ vive un conjunto de personas, dentro de Ciertas reglas y en relación con unos fmes. La aproximación evaluativa estará ori~ntada fundamental~ente por la necesidad de comprender en profundidad los hechos qu~ nenen lugar en el marco de la institución, a fin de logra: que los trUem~r~s perciban sus problemas y contradicciones Yfocalicen sus potenciali­ dades a fin de conseguir el cambio. Finalmente una tercera vía es la de postular enfoques en los cua­ les los centro; son considerados como organizaciones en continuo proceso de desarrollo y que mantienen una ~strecha relación ¿e inter­ dependencia con el medio en el que están Situados'.Caractenza estas instituciones la búsqueda continuada de un mayor. ajuste entre el.ce~­ tro y el contexto social, mediante un proceso continuo de aprendizaje y de desarrollo interno. El diseño específico de un modelo evaluativo por un centro estará condicionado: por el concepto que tengamos respecto de él, por el ca­ rácter que asignemos al término calidad educativa y p~r la manera e~ que ambos extremos estén interrelacionados. El conjunto orientara definitivamente el enfoque evaluativo que se adoptará.

168 169

5.3. La calidad educativa Entornó 'SoCiocultural: '< •

Bntomo-sociocultural: -Tlpologra. ~N!~I scclocunurat, Nlvel'socloeconómlco>

,flecuf$QS,e9ucativ,ol? y CU,IIUraJes. .:

InslalaCionas',-depo'rtlv~.

Ca:ractert8tl~s del centro: j.'~'

,Expactafiva~'l3:~_l,Jcal¡vas, ,.

Hábitat:'.'

.t';' ':TjPP.'fJ,Qf~,,;:,

T~rn~f1q,d8,1!'l'poblac¡ón, .

.Tamaño.

Ocupaciones.' .

, Nivelo modalidad .

Tasas de paro. Medios.oe comunicación. :Nivelasde inmigración•.

qU8j~~~8~ _', \ Relaolo~es con :,Ia )comUn·¡d~d. ' 2. Infra,8etructur:8

'lnstalaclones v.recorsos.

'Servicios,

Personal. .

ApOYOSi externos,

La calidad educativa es posiblemente uno de los temas más em­ pleados en cualquier discurso pedagógico, y a la vez resulta uno de los más difíciles de definir o concretar. En la actualidad constituye un axioma casi obsesivo el que la evaluación ha de estar orientada hacia la consecución y mejora de esta calidad educativa, pero parece evi­ dente que deberíamos previamente debatir, aunque sea brevemente, su naturaleza y su sentido. Lo que sí que parece aceptado, de manera general, es que la química básica de la calidad se produce en el con­ texto del centro, de aquí que reflexionemos sobre ella, justamente en este apartado. Tomando como referencias las distintas aproximaciones y pers­ pectivas que aparecen en la literatura (Oarvin,'1988; Harvey y Oreen, 1993; Rodríguez, 1995) y con De Miguel (1995), nos podemos aproxi­ mar a la comprensión del término cualidad partiendo de los criterios expresados con mayor frecuencia. Así tenemos:

3~,'e.structura

'Ó!9/W9s"de.Qpl;li~.mo:, unIpersonales, y ~Iegiados. Egl,J:Ip.,l:l{>de,pl"Ofesora~? 'Hespcii18éiblas.{je coórdlnaci6h'didáetlcit­ lR~6~,q";ls,~~le~,d~.I'ol?~ic¡os. " . qrganos de participaciÓn de la comunidad escolar . , "

, l,:

4. Función' ,

,~:¡~i~r~i~~~:'fr~~lh6(j~li,~aS ~d~:~'t;p'la~ s'ufunclÓn'a trav~~ deld¡se~~," 'planificación ..: y.

-:

¡ .,',

".-)':;>;,!.":,, •. '..

.,.}:. ;),\j~>-t,'.i(-: - -");;:

Permiten hacer compara~i6n es objetivas entre :':'...01. '::; ,.,'" -,-. ,-". ,,-,_>.: . ".qo,s:~d~Psist$rra._·,-'

i :

i!

o,"

:;;j; ','

Facilitan el estudio d~ \end~,ncias evolutivas en ~n sis\~I'J~; y, p,,,PO,piOpanpis\j!,s PíjW s~: prospectiva.'

,.

.

Focalizan,I'¡~¡~ricI611~acj~ip~p':Jnfusérlti6os .".• , 'delslste¡na, marcandPppsitlles :direcCioi,,'. de' trabajo,

"

266

267

7.8. Opciones de futuro para la evaluación del sistema educativo La actividad evaluativa a nivel nacional e internacional de los paí­ ses occidentales, aunque cargada de grandes dosis de entusiasmo, to­ davía se encuentra, a nuestro juicio, en situación precaria en gran parte de ellos: las intervenciones desarrolladas acostumbran a ser par­ ciales e incompletas (cuando no guiadas por intereses ajenos a la pro­ pia educación) y generan en muchos casos resistencias y críticas más que notables; la coordinación entre los diferentes organismos encar­ gados de la evaluación del sistema tanto de ámbito estatal como inter­ nacional aún es insuficiente y llena de recelos; las bases de datos nacionales e internacionales presentan importante lagunas por cubrir; los recursos de los organismos evaluativos son escasos; etc. No qneremos con estas afirmaciones, hacer un diagnóstico pesi­ mista de la situación. más bien alertar sobre la necesidad de seguir trabajando sobre los procesos de implantación de la práctica evaluativa a nivel del sistema y de desarrollo de los organismos responsabilizados de esta función y la necesidad de sensibilizar a amplios sectores del mundo social, político y educativo de la importancia del tema y de lo imprescindible que es el que se impliquen adecuadamente en la tarea. Uno de los elementos que a nuestro juicio requiere una importante dedicación es el de determinar los ámbitos de actuación más impor­ tantes, aquellos que conformarían de manera estructural los polos básicos de reflexión y actuación sobre el sistema y desde el sistema. Sin pretender resolver este aspecto, sí que vamos, de manera muy breve, presentar algunos de ellos, a los que hemos denominado opcio­ nes de futuro, que no son otra cosa que contextos de actuación que consideramos prioritarios que se atiendan desde la actividad evaluadora y desde la iniciativa y coordinación de los organismos institucionales dedicados a la evaluación. Estos espacios de actuación los considero complementaIios a las tres actividades clásicas de evaluación expuestas:

a

-

Evaluación diagnóstica de etapas y sectores del sistema educa­ tivo. Participación en estudios internacionales. Desarrollo de un sistema de indicadores propios.

7.8.1. CREACIÓN DE OBSERVATaRlOS DEL SISTEMA EDUCATIVO

Definir políticas educativas que garanticen de forma generalizada una enseñanza de calidad no es una tarea fácil. En una sociedad en continuo cambio, establecer lo que es sustantivo frente a lo espurio y avanzarse al propio cambio anticipándose en la modificación de los currícula y en la selección de las metodologías de instrucción, exige una acción reflexiva de amplio calado y ejercida desde una pluralidad de posicionamientos que van más allá de los propios ~duca~ores. En una sociedad compleja, la educación no puede discurrir de for­ ma simple y llana sin tener en cuenta la compleja red de interrelaciones que debería establecer con los otros sistemas que operan en la ~~alI­ dad para poder potenciar su acción, dotarla de significado y flexibilizar e incrementar su capacidad de respuesta. . Aislarse es condenar la educación a la burocratización y a la ali­ neación. La novedad del actual proceso de cambio es la simultanei­ dad de las transformaciones en las instituciones responsables del funcionamiento social. Los sistemas educativos son estructuras total­ mente interdependientes de las otras estructuras sociales y no pode­ mos concebir propuestas de calidad sin analizarlas conjuntamente'. Aceptar, tal como lo hemos hecho, la importancia y trascendencia del conocimiento y el papel esencial que juega la educación en la sociedad actual como distribuidora democrática del mismo. Asumir que ningún aprendizaje es definitivo y que debem~s edu~arnos a lo largo de toda la vida, que el conocimiento no garantiza la ~tegraclón sociolaboral, pero que el desconocimiento la bloquea Casi absoluta­ mente, modifica profundamente la representación social que se posee sobre la educación. Tal como señala Tedesco (2000, p. 86), «es preciso romper el ais­ lamiento institucional de la escuela, abriéndola a los requerimientos de la sociedad y redefiniendo sus pactos con los otros agentes socializadores». Entendemos que los sistemas educativos deben estar abiertos a la colaboración y a la acción .crítica conjunta con otros activos de la sociedad. Nuestra propuesta es la de crear observatorios continuos y plurales de los sistemas educativos en los que par:ticipen conjuntamente con los educadores, representantes de la administra­ ción y expertos en educación, otros agentes socializadores del mundo político, laboral, familiar y de los medios de comunicación. . Analizar las necesidades de la sociedad, establecer en qué medida el sistema educativo puede darles respuesta, evaluar la situación ac­ tual, hacer prospectiva y articular propuestas de mejora, podría cons­

..

268

tituir un buen conjunto de actividades a desarrollar por estos observa­ torios continuos en su acción, pero cambiantes en los contenidos de estudio, las personas participantes y las entidades representadas.

7.8.2. COORDINACiÓN DE LOS AGENTES EYALUADORES

QUE OPERAN EN EL SISTEMA

Otra de las tareas que se me ocurren como básicas y urgentes, es coordinar (no subordinar), los esfuerzos que se realizan desde distin­ tas instancias del sistema, en la evaluación de ámbitos o servicios que forman parte del mismo. Por un principio fundamental de ahorro en el esfuerzo y de racionalidad en las actuaciones lo considero total­ mente primordial. Puede llegar a pasar que un mismo centro educativo pueda ser sometido, en poco tiempo, a varias acciones evaluativas desde distin­ tos órganos de responsabilidad, que aunque no sean exactamente las mismas, por su proximidad conceptual, pueden llegar a ser percibidas como tales por la correspondiente comunidad educativa. Hemos de comprender y aceptar que la evaluación es única y ha de ser global, integrada e integradora y lo que proponemos es simplemente racionalizar la acción desde el cumplimiento de este principio básico. Es evidente que la realidad educativa es poliédrica y que cada una de las acciones evaluativas trata de visualizar su plano de aproxima­ ción a ella y la generación de un tipo específico de conocimiento evaluativo, pero no podemos desconocemos los que operamos sobre la misma realidad y no podemos renunciar a establecer una cultura evaluativa compartida en la que las distintas acciones se complemen­ tan y se enriquecen mutuamente. A los Institutos y a los Consejos de Evaluación, considero que les corresponde e 1 tratar de generar las sinergias necesarias para que esto sea una realidad; no se trata de ninguna intromisión sino de establecer políticas de colaboración fructíferas, realista y operativas entre las partes.

7. 8.3. CREACiÓN Y GESTIÓN DE GRANDES BASES DE CONOCIMIENTO

Nos hemos servido del término base de conocimiento tal como lo hace Hutmacher (1999) diferenciándolo del de base de datos, pues no

269

nos referimos a una configuración informática precisa en la que sólo se introduce información absolutamente pautada de acuerdo a unos principios cuantitativos. La gobernabilidad de sistemas complejos en un entorno cambian­ te implica ser capaces de construir y gestionar bases de conocimiento complejas y son, a nuestro juicio, los Institutos y Consejos de Evalua­ ción a los que les corresponde la elaboración de este nuevo tipo de bases con la credibilidad necesaria y asegurando su debida difusión a todos los espacios significativos del sistema y de la comunidad edu­ cativa. Como consecuencia de lo anterior, los países occidentales se es­ tán encaminando hacia una reconfiguración de sus bases de informa­ ción, en lo que empiezan a denominarse bases de conocimientos. Una base de conocimiento está formada por conjuntos sistematizados de conocimientos, donde junto con la clásica información condensada mediante indicadores estadísticos se introduce también otro tipo de información con una orientación más cualitativa, como puedan ser estudios monográficos, resúmenes de entrevistas, o incluso objetivos y expectativas políticas. Para que la información se transforme en conocimiento evaluativo, es preciso que el conjunto esté referenciado debidamente, de tal for­ ma que ha de permitir situar y comprender el estado pasado, presente y futuro del sistema educativo en su marco de referencia y ha de ser capaz de reflejar de manera solvente la diversidad de las situaciones que maneja. Para que el conjunto de conocimientos constituyan una base, han de estar estructurados y sistematizados de tal forma, que sea posible su gestión desde la utilización de modelos operativos avanzados, ge­ neralmente sustentados en aplicaciones informáticas de considerable complejidad. Uno de los graves problemas de las clásicas bases de datos al uso, es que acaban siendo cuerpos de información desprovistos de alma. Los datos sin referencias semánticas y las estructuras desligadas de todo reflejo de la realidad, acaban convirtiéndose en presa fácil de la manipulación indebida y el uso perverso. Cuando en el subapartado anterior pedíamos la coordinación de los esfuerzos de los distintos agentes evaluadores que operan en el sistema, estábamos abogando también a que la gran información que se gen' era en el día a día en el contexto del sistema, pudiera alimentar y ser compartida desde su gestión en estas grandes bases de conoci­ miento.

271

270

Con ello no estamos renunciando a los estudios autonómicos, na­ cionales e internacionales orientados a la generación y al desarrollo de indicadores y a la creación de grandes bases de datos y a su uso en los procesos de evaluación de los sistemas educativos. Considera­ mos; ésta, una iniciativa actual de enorme predicamento e importan­ cia y en la que creemos. Simplemente tratamos de alertar sobre la creación y el uso de indicadores vacíos de contenido y de redes relacionales alejadas de toda realidad. Nos consta que el esfuerzo ac­ tual de la OCDE, apunta correctamente en la dirección ya comentada. Posiblemente, la gran aportación de los indicadores, al margen de su intento de capturar la esencia de la realidad educativa y de ser especialmente sensibles a sus cambios, es que hace comparables los sistemas a todos los niveles; y en el marco de la denominada globali­ zación, hemos de ser conscientes, que cada vez más, los objetivos locales y estatales se establecen por referencia al contexto internacio­ nal. Es absolutamente evidente que para la gestión de la calidad edu­ cativa el contexto internacional constituye un espacio estratégico de primera magnitud. Por todo ello, la participación en los estudios de todo nivel, muy especialmente internacional, es fundamental. El conocimiento global y la comparación entre las diferentes realidades, es un factor básico en los procesos de asignación de significado para los indicadores y su posterior uso en la evaluación.

7.8.4. CONSTRUCCIÓN DE INSTRUMENTOS DE EVALUACIÓN

Uno de los pequeños dramas que se vive cada vez que se intenta la captura de información evaluativa, está en la selección o creación de los instrumentos adecuados. En ocasiones, sólo se buscan meramente procedimientos contrastados que sirvan de modelos para la creación de otros y aun así la tarea no acostumbra a resultar sencilla. Al igual que en el mito de Sfsifo, es un eterno inicio de esfuerzos posteriormente inútiles, en el que se ven involucrados muchos orga­ nismos. Así, cada vez que se aborda un estudio evaluativo es habitual el que se creen "ad hoc" y en su totalidad, un conjunto de instrumen­ tación que después lamentablemente se diluye y no incide en trabajos posteriores. Entendemos que una de las labores que se podrían abordar desde los Institutos o Consejos es el impulsar convenios con las Universida­ des para analizar el tema en toda su complejidad y generar instrumen­

tos evaluativos, bancos de preguntas, desarrollar proyectos evaluativos, investigar en las técnicas de assessment, etc., que pudieran servir de referentes para los estudios de los diferentes organismos. El encargo no debería ser meramente técnico, es importante acompañar a la ins­ trumentación de estudios sobre los mismos, análisis de sus posibili­ dades y límites, modos de aplicación e interpretación y toda clase de aportaciones teóricas y prácticas que generen verdadera cultura evaluativa en sus usuarios. Se podría completar con un servicio de asesoramiento al que se pudiera acudir para recibir orientación en el diseño de proyectos evaluativos y en el uso técnico de los instrumen­ tos. Constituiría un servicio de orientación e investigación evaluativa útil para el conjunto de la comunidad educativa.

7.8.5 DISEÑAR E IMPULSAR UNA VERDADERA pOLíTICA INFORMATIVA EN TORNO A LA EVALUACIÓN DEL SISTEMA EDUCATIVO

La estrecha relación de los sistema educativos con los sistemas más importantes de la sociedad y su especial vinculación con gran parte de las estrategias políticas de los estados modernos, hace que los procesos evaluativos siempre vayan acompañados de polémicas y de restricciones informativas y que susciten recelos y desconfianzas en las partes. Es a nuestro juicio un error que la única información que llega al gran público (también al especializado) sea puntual y surgida des­ pués de estudios realizados desde la más pura reacción y frente a si­ tuaciones que nadie quiso atender a tiempo. No es de extrañar que este tipo de outputs sean monopolizados por los medios de comunica­ ción, quienes tienen bien conocido que la educación únicamente es noticia cuando se mueve en el terreno de la polémica. La información sobre el sistema tiene que ser transparente y hay que ofrecerla toda, pero debe hacerse desde políticas informativas bien construidas y armadas. Informar periódica y continuamente, se­ leccionar los tiempos, adecuar cada clase de información a públicos distintos que van desde los realmente neófitos a los más especializa­ dos, generar estados de opinión, sensibilizar respecto a los temas, ofre­ cer marcos interpretativos al gran público frente a las noticias, evaluar el sistema de forma habitualmente proactiva y no bajo presión y cuando no nos queda más remedio, solicitar la colaboración de especialistas de los diferentes medios, para adecuar los lenguajes y los mensajes a

272

273

los mismos, etc. Todo ello forma parte de algo que va más allá de la pura información, constituye un intento de vertebrar una política in­ formativa respecto de la evaluación. Ignorar la importancia que tiene la comunicación en la informa­ ción evaluativa, es sacrificar un importante capital de credibilidad, tan necesario por otra parte para dinamizar situaciones de cambio en la sociedad.

Vemos, por tanto, como la evaluación surge con fuerza y con ella la necesidad de estructurar su práctica en el marco complejo de los sistemas educativos de las sociedades modernas. Se crean para ello organismos estratégicos en los estados y en las comunidades más sig­ nificativas, que tienen por misión le evaluación del sistema, hecho que exige juntamente con un gran esfuerzo práctico otro más estraté­ gico para coordinar los agentes más importantes que operan en su ámbito de actuación y entre ellas a través de los supraorganismos internacionales.

7.9. A modo de resumen 7.9.1. LA EVALUACIÓN COMO UNA NUEVA FORMA DE RESPUESTA A NUEVAS NECESIDADES

7.9.2. LA EVALUACIÓN ENTRE LA TENSIÓN DE DAR RESPUESTA A LAS NECESIDADES Y DE RENDIR CUENTAS A LA SOCIEDAD

La evaluación de los sistemas educativos surge de forma imparable a nivel internacional como producto de una nueva sensibilidad social que exige respuestas de mayor calidad a sus respectivos sistemas edu­ cativos. La preocupación social que dinamiza estas nuevas exigen­ cias es resultado de la preocupación ante el inmovilismo y la falta de capacidad de respuesta de las políticas educativas ante los vertigino­ sos cambios a que está sometida la sociedad y a los efectos de pérdida de competitividad de las sociedades más inmovilistas ante. fenómc­ nos como la globalización. Todo ello ha provocado la necesidad de plantear nuevas formas de gestión de la calidad de los sistemas educativos y se busca en la eva­ luación las claves para interpretar adecuadamente la realidad educati­ va, orientaciones para abrir los sistemas a nuevas influencias que permitan corregir sus disfunciones y legitimación para la modifica­ ción y enfoque de las políticas educativas de las sociedades. Como señala Tedesco (2000), es preciso abrir los sistemas educa­ tivos a las prioridades de la sociedad actual, redefinir sus pactos con los otros agentes socializadores y democratizar los circuitos de acce­ so al conocimiento. Tener acceso a una educación de calidad se ha convertido en la condición necesaria de cualquier estrategia de cohe­ sión social. O bien House (1998), cuando indica que los gobiernos han de en­ contrar nuevas fuentes de legitimación distintas de las tradicionales y las sitúa en la evaluación que constituye, a su juicio, un elemento nuclear de información para la acción gubernamental, al tiempo que educa la opinión pública frente a la que conserva un alto grado de credibilidad.

La evaluación de los sistemas, cuando arbitra su propia praxis, cumple con una doble pulsión. Por un lado se ve impelida a dar cuen­ tas del funcionamiento del sistema educativo (accountability) y por otro a estructurar eficientemente sus estrategias para orientar y acele­ rar adecuadamente sus respuestas a las necesidades del sistema ("responsiveness"). Como señala Pedró (1997, p. 12), «dos paradigmas "responsiveness" y accountability complementarios, sucesivos en el tiempo y en algunos casos contrapuestos, nos permiten explicar e interpretar bastante bien, la mayoría de las reformas educativas europeas de los últimos años». Para incrementar nuestra capacidad de respuesta se generan cua­ tro estrategias fundamentales: -

La descentralización La participación social en el gobierno de los sistemas educati­ vos. La abertura a los agentes sociales. La autonomía de los centros.

En cuanto a la rendición de cuentas, los movimientos estratégicos se han orientado básicamente en los últimos años en dos direcciones fundamentales: En la aplicación del principio de la subsidiariedad, que implica fundamentalmente un nuevo reparto de responsabilidades, ba­

275

274

sado en acercarlas a los que posteriormente se verán afectados por la ejecución de las mismas. y en enfatizar la evaluación de los logros en detrimento de los inputs.

7.9.3. PRINCIPIOS GENERALES DE LA EVALUACIÓN DE LOS SISTEMAS EDUCATIVOS

y cualquier interpretación de alguna de sus partes se hará en referencia al conjunto. Los resultados de la evaluación priorizarán las acciones orien­ tadas a la atención de los colectivos más desprotegidos, se apli­ cará con ello los principios de equidad. Aplicará periódicamente procesos metaevaluativos, con la fi­ nalidad de establecer mejor los principios de actuación de la actividad evaluativa.

Queremos finalizar este apartado y el capítulo dedicado a la eva

Bibliografía

luación de los sistemas educativos con la recopilación de los princi­

pios generales que la caracterizan desde una visión actual y compartida por la mayoría de los países occidentales. Esta recopilación ha sido efectuada por Arbós (2000), en su tesis doctoral: La evaluación de los sistemas educativos ha de ser diseñada y realizada desde la independencia política. La imparcialidad de la evaluación y de su práctica es una condición "sine qua non para su eficacia a largo plazo (Guthrie, 1996). Para que sea una realidad creíble y aceptada ha de disponer del adecuado soporte técnico-pedagógico, que permita conferir la necesaria fiabilidad y validez a los resultados obtenidos. Los resultados deberán ser interpretados teniendo en cuenta su naturaleza interaccionada y en el marco de su contexto políti­ co, cultural, histórico, social, etc.). La evaluación del sistema no puede ser contemplada exclusi­ vamente desde su perspectiva interna. Convendrá que exper­ tos externos colaboren en su interpretación. Sólo desde la visión amplia podemos alcanzar algún grado de independencia en los juicios (Kallen, 1996). Los resultados de la evaluación del sistema educativo han de poder ser empleados con diferentes finalidades: comparación con los de otros países del entorno europeo, realización de es­ tudios transversales o de carácter longitudinal, etc. Dado que la evaluación tiene destinatarios distintos, los análisis sobre los datos deberán tratar de atender a las diferentes audiencias y tener en cuenta sus variadas sensibilidades. La evaluación del sistema educativo ha de mantener siempre presente que su aportación tendrá siempre carácter global (Thélot, 1993). Buscará ofrecer visiones holísticas del sistema

ARB6s, A. (2000), "L'avaluació deis centres dios el sistema educatiu: una proposta

de model integrador". Tesis doctoral inédita. Girona: Universitat de Glrcna.

BELL, D. (1973), The coming 01 Post-industrial Sacie/y. A Venture in Social

Forecasting. Nueva York: Basic Books. DELüRS, 1. et al. (1996), "La Educación Encierra un Tesoro", biforme Q la UNESCO de la Comisión Internacional sobre la Educación para el siglo XXI. París. Edi­

ciones UNESCO. FERRER, F. (1999), "L'uvaluacló del sistema educatiu. Aproximació teórica des de i per Catalunya", en A valuació i Educació. Barcelona: Generalitat de Catalunya. Consell Escolar de Catalunya. GUTHRIE, J. W. (1996), "L' evolution des poli tiques economiques et son incidencc sur l'evaJuation des systémes educatifs", en Evaluer el reformer les systemes educatifs. París: OCDE. HOUSE, E. (1998), "Acuerdos institucionales para la evaluación", en Perspectivas,

vol. XXVIII, 1, pp. 123-131. París: UNESCO. HUTCHMACHER, W. (1999), "L'avaluació en la transformació de les modalitats de govern dcls sistemes educatius. Tendencies europees", en Avaluació i educació, pp. 15-34, Barcelona. Generalitat de Catalunya. Consell Escolar de Catalunya,

D, (1999), "El Consell Superior d' Avaluació del Sistema Educatiu de Catalunya". en Avaluació i educacíá, pp. 47-58. Barcelona: Generalitat de Catalunya. Consell Escolar de Catalunya. KALLEN. D. (1996), "Nouveaux paradigmes educarifs et nouvelles politiquea d'evaluation", en Evalucr et reformer les systémes educatijs. París: OCDE. OCDE (1997), Análisis del panorama educativo. 1997. París: OCDE, CERI. OCDE (1997, 98, 99... ), Education at a glance. OECDE. Indicators. París: OCDE. PEDRÓ, F. (1997), "Les grans Tendencies de les polítiques educatives a Europa" en Polftiques educatives. Barcelona: EDIUOC. SERRA, A. (2000), Preámbulo del libro L'educació superior en el se gle XXI. Conferencia Mundial (1998) sobre I'Educacíá Superior de la UNESCO. Barce­ lona: Agencia per a la Qualítat del Sistema Universítari a Catalunya, UNESCO y Cátedra UNESCO de gestió de l'ensenyament superior. SHAVELSON, R. J., MCDONNEL, L. M., OAKES, J. (eds), (1989), Indicatorsfor monitoring mathematics and science education. A source book. Santa María: Rand. STUFFLEBEAM. D. L. YGUBA, E. (1968), "Evaluation: The process of stimulating aiding and abetting insightful action", "paper" presentado en el segundo simposium. nacional de profesores de investigación educativa. Ohio State University. College

lDDAR'rE,

of Bducation. Evaluation Centre.

276 TEDESCQ, J. C. (2000), "Educación y sociedad del conocimiento". Cuadernos de Pedagogta, 288, 83-86. TH~LOT, C. (1993), L'evaiuatíon du systeme educatij'París: Bditions Nathan. TIANA, A. (1996), "Evaluación y reforma de los sistemas educativos", en Aprender para el futuro. Madrid: Fundación Santillana. TIANA, A. (1997), Avaluacio de programes, centres i professorut. Barcelona: UOe.

j,