LA EVALUACIÓN EDUCACIONAL en CHILE Antecedentes y Desarrollo Reciente

PERS ERSONA ON A Y SOCI SOCIEDAD, EDAD, VOL VO L XVI II N o3 / 2004 · pp. 221 - 242 242 · UNIV UN IVER ERS SID AD ALBER ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓ EVALUACIÓN N ED UCACI ON AL EN CH I LE: ANT ECE ECEDEN DEN TES Y DESAR DESARROLLO ROLLO RECIENT RECIENT E 

221 22 1

LA EVALUACIÓN EDUCACIONAL EN  C HILE: ANTECEDENTES Y DESARROLLO RECIENTE

Jorge orge M anzi*, Josefina Rossetti **

I NTRODUCCIÓN: CONCEPTOS1

Y ALCANCES ACERCA DE LA MEDICIÓN Y LA EVALUA-

CIÓN EDUCACIONAL

Chi Chilecuent cuentaahoy con un conjun conjuntto de forma formassdeeval valuaci uación ón de desu sisistema educa educaci cional, onal, que se fue construyendo desde mediados del siglo XIX. El objetivo de este artículo es describir las principales iniciativas de evaluación educacional, -incluyendo las más recientes, referidas a los profesores- y dar cuenta de los principales elementos de debate en torno a ellas. La evaluación educacional permite analizar la calidad y eficacia del proceso de enseñanza-aprendizaje ya producido, y es, al mismo tiempo, una señal que tiene gran incidencia en la enseñanza y el aprendizaje futuro. Esta es la razón básica por la que la mayor parte de los sistemaseduca ducaci cion onaalesen el mund mundoo ha han desarroll ollado dive di verrsosmeca mecani nissmos par para monit moni tore orear el progreso educativo, con el apoyo de variados tipos de instrumentos de medición. Dado que medición y evaluación son términos que usualmente se emplean como sinónimos, parece conveniente establecer sus diferencias al inicio de este trabajo. Medir es un concept conceptoo más más pre precis ciso y rest restringido ngi do que que eval valuar: consi consi ste en asi asignar números números a cualidades observables o inobservables de un objeto de interés. Evaluar, en cambio, supone formular un juicio que integra las cualidades del objeto que ha sido medido. Por esta razón, la medición suele ser un insumo para la evaluación. Con respecto a sus propósitos, la evaluación educacional puede perseguir múltiples objetivos: establecer un diagnóstico acerca de una determinada realidad educacional, retroalimentar a profesores u otros agentes educacionales acerca de los logros de sus estudiantes, proporcionar orientación para el mejoramiento de la enseñanza, estimar el grado en que diversos agentes (profesores, escuelas, sostenedores, etc.) son responsables de los logros ogrosde los losestudi udi ante nt es(accountability ),), y cer certificar, car, acr acredit di tar o se selecci ccionar onar exami xaminandos nandos.. Cabe mencionar que cada uno de estos objetivos puede ser planteado en un nivel micro *

JorgeM anzi, Doc D octtor en en psi psi cología, cología, Direc Di recttor Proyecto Proyecto Docent Docenteemás más, Escue Escuella de Psi cología, cología, P. P. Unive Uni vers rsiidad dad Cat Católica óli ca..  jmanz  jmanzi@ i@pu pucc.cl .cl ** Jose osefina fi na Ros Rosssetti, D oct octora en en sociol sociolog ogíía, Coordina Coordi nadora dora deI nves nvestigación, gación, Proyecto Proyecto Doc D oceente nt emás más, Escue Escuela la de Ps Psicol cología, P. Universidad Católica. [email protected] 1 “ M edición di ción y eva evalluación uación en educación educación.. Refle Reflexiones xionesy propues propuestaspara para el el SI M CE”. CE” . JorgeM anzi, En: La L a Educa Educación ción en Chile, hoy. Renato Hevia editor, Edición Universidad Diego Portales, Chile, 2003.

PERS ERSONA ON A Y SOCI SOCIEDAD, EDAD, VOL VO L XVI II N o3 / 2004 · pp. 221 - 242 · UNIV UN IVER ERS SID AD ALBER ALBERTO HURTADO 222 22 2

J. MANZI, J. ROSSETTI; LA EVALUACIÓ EVALUACIÓN N ED UCACI ON AL EN CH IL E: ANT ECE ECEDEN DEN TES Y DESAR DESARROLLO ROLLO RECIENT RECIENT E 

(como la sala de clases) o en un nivel macro, en gran escala (en este último caso sea mediante mediciones censales o basadas en muestras). Es importante advertir que los instrumentos de medición por lo general sirven algunos propósitos en forma más eficiente que otros. Más aun, es usual que los diversos fines que se pueden perseguir con los instrumentos pueden ser parcialmente incompatibles entre sí (por razones técnicas o conceptuales). Por ello, al momento de desarrollar un programa de medición, hay que hacer un cuidadoso análisis de los fines perseguidos y de las posibles incompatibilidades, para evitar que los instrumentos o sus resultados sean empleados para fines para los que no han sido diseñados. Las limitaciones de los sistemas de medición también deben ser comprendidas a partir de la naturaleza necesariamente parcial que posee toda medición: el acto de medir se lleva a cabo en un momento particular en el tiempo, por lo que todas las contingencias que se se mani maniffiestan en es esa oport opor tuni unidad dad afect afectan losresult ul tados. dos. Ademá Ademáss, todo ins i nsttrumento umento representa siempre una muestra limitada del universo de posibles preguntas, reactivos, estímulos mul oso sisituaci uacione onessque podrí podrían ser emple mpl eadosen lamedi medici ción, ón, por lo que quesuspunt puntajes están expuestos a las limitaciones de dicha muestra. El proce pr ocesso de de en enseñanzaza-apre pr endiza di zajje sisi empr mpre se se ha acomp acompaañado de eva evalluacion uacionees, desdesde el punto de vista del progreso individual del estudiante. De hecho, la formación profesional de los profesores siempre ha incorporado el empleo de diversas formas o métodos de eval valuaci uación ón de de losconocimi conocimieentos nt os adqui dquiridos por sus alumnos umnos// as. Lo L o que es esrelati vamente nuevo en la historia de las sociedades contemporáneas y en la educación chilena es la evaluación a gran escala de estudiantes, por medio de instrumentos estandarizados. Los resultados de dichas evaluaciones masivas, que permiten comparar los rendimientos en un conjunto de variables individuales, socioeconómicas o institucionales (como sexo, edad, origen socioeconómico de los estudiantes, capital cultural de las familias, tipo de establecimiento, nivel de dependencia administrativa, etc.) son relevantes para la toma de decisiones en el campo educacional. En Chile, las primeras evaluaciones masivas se realizaron con el propósito de seleccionar estudiantes para la enseñanza universitaria. Desde mediados del siglo XIX, aparece la primera batería llamada “Bachillerato”, administrada por la Universidad de Chile. Este examen fue reemplazado en 1967 por la Prueba de Aptitud Académica (P.A.A.), la que se aplicó hasta el año 2002 y a su vez fue sustituida en el año 2003 por la Prueba de Selección Universitaria (PSU). Los sistemas de evaluación educacional se extendieron hacia fines de la década de los setenta a la enseñanza escolar, y fueron abarcando progresivamente más niveles de enseñanza y más actores involucrados en la educación. Cerca de 10 años después del inicio de la P.A.A .A.A.,., en 1978, 1978, comenzó comenzó un sisi stema de moni monitore oreo del del progre progresso es escola colar, ini i nici ciaalment mentee denominado Programa de Evaluación del Rendimiento Escolar (PER), que fue reemplazado ulteriormente por el Sistema de Medición de la Calidad de la Educación, SIMCE. En la década de los 90, una proporción muy importante de los jóvenes en edad escolar estaban as asisti endo ndo a la ense nseñanza bási bási ca o media media. En ta t ales condi condicion cionees, el eje de la la

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH I LE: ANT ECEDEN TES Y DESARROLLO RECIENT E 

223

política educacional se orientó al mejoramiento de la calidad de la oferta educativa. Ello se refleja especialmente en la reforma educacional que impulsaron los gobiernos de la Concertación. En este contexto, se resolvió intensificar los sistemas de monitoreo y evaluación, tanto nacionalescomo internacionales, en el entendido que ellospermiten apreciar en forma más precisa el avance en el cumplimiento de los objetivos educacionales. Ello se refleja particularmente en la participación de Chile en un conjunto de estudios internacionales de educación (TIMSS, SIALS, CIVICA y PISA*) así como en el reciente inicio de programas de evaluación de profesores, considerándose hoy en día a los docentes como uno de los factores que más inciden en el rendimiento de los estudiantes2 . Dentro del conjunto de iniciativas destinadas al fortalecimiento de la profesión docente, en el año 1995 el Ministerio de Educación chileno creó el Sistema Nacional de Evaluación de Desempeño de los Establecimientos Educacionales Subvencionados (SNED), cuyo propósito es contribuir al mejoramiento de la calidad de la educación impartida por ese tipo de establecimientos, incentivando y reconociendo a los profesionales de mejor desempeño de los planteles educativos. El SNED -que se aplica a los establecimientos particulares subvencionados y a los municipales y que se basa principalmente en losresultados del SIMCE de lasescuelasmásla consideración de otrosfactorespremia al conjunto de docentes de un establecimiento. Luego, a comienzosde 2002, comenzó a operar la Asignación a la Excelencia Pedagógica (AEP), a la cual pueden postular en forma voluntaria los profesores de establecimientos que reciben financiamiento estatal, ya sean particulares subvencionados o municipales, a través de la participación en un proceso de evaluación que comprende la elaboración de un portafolio y una prueba de contenidos. Por último, a partir de mediados del año 2003, se inició el Sistema de Evaluación del Desempeño Profesional Docente, conocido como Docentemás, que es obligatorio para los profesores de los establecimientos educacionales municipales y abarcará en forma gradual los distintos niveles de la educación chilena. Todos estos sistemas de evaluación conllevan distintos beneficios económicos para los profesores premiados, acreditados o destacados. En suma, el sistema educacional chileno dispone hoy en día de un conjunto de mediciones masivas de sus resultados, en relación a los distintos niveles de enseñanza, algunas de larga data y otras recientes. Respecto de todas ellas se suelen formular algunas críticas que se expondrán en este artículo. Sin embargo, hay consenso acerca de que dichas evaluaciones tienen el mérito de existir y de constituir poderosas herramientas para la toma de decisiones, en cuanto a políticas públicas y a las diferentes unidades del sistema educativo. A continuación, se dará a conocer en forma más detallada cada uno de los sistemas de evaluación mencionados, así como la controversia que algunos han suscitado.

2

Ver significado de siglas en página 230.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO 224

J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH IL E: ANT ECEDEN TES Y DESARROLLO RECIENT E 

LOS EXÁMENES DE INGRESO A LA UNIVERSIDAD Del “Bachillerato” a la Prueba de Aptitud Académica (P.A.A.) El Bachillerato, -que se estableció en 1842 con la ley que creaba la Universidad de Chile, y que luego fue ratificado en la ley de educación secundaria y superior de 1879- , fue el primer examen de ingreso a la universidad que conoció el país. El Bachillerato consistía en un conjunto de pruebas que evaluaban el dominio de diversas materias de la enseñanza secundaria, mediante preguntas abiertas. Este tipo de examen comenzó a ser cuestionado, conforme semasificaba la enseñanzamedia y se hacían evidenteslosproblemas para asegurar una corrección justa y objetiva de preguntas abiertas. Según algunosautores, el Bachillerato adolecíatambién de un marcado carácter elitista.3 Según Nilo4 , este examen reflejaba una estructura del sistema educacional claramente diferenciada en dos mundos relativamente estancos, el de la clase media que podía acceder al liceo y luego a la universidad, sometiéndose al término de la enseñanza secundaria al Bachillerato y el de la clase baja, que completaba una enseñanza básica terminal, después de la cual ingresaba al mundo del trabajo. “Tanto para romper el enclave de clase baja y media baja, como para elevar el nivel de la formación del profesorado de primera enseñanza, se eliminan las Escuelas Normales, siendo sustituidas por la carrera universitaria de Profesor de Educación Básica. El acceso a la educación universitaria que tradicionalmente se hacía a través de un examen conducente al grado de Bachiller otorgado por la Universidad, remanente casi ritual de una función histórica de la Universidad de Chile, fue sustituido por un mecanismo de selección no conducente a grado académico alguno: La Prueba de Aptitud Académica” 5. La PAA contenía en su primera versión sólo las pruebas de aptitud verbal y matemática. Con posterioridad seagregaron pruebasde conocimientosespecíficos(en matemática, biología, física, química y ciencias sociales). De éstas, las primeras siempre fueron consideradas obligatorias6 , mientras que las pruebas de conocimientos específicos fueron opcionales. La Prueba de Aptitud Académica nació de un conjunto de investigaciones de la Universidad deChile, a partir del modelo norteamericano del SAT7 . En su origen, la decisión de cambiar el Bachillerato por la Prueba de Aptitud se justificó por el carácter objetivo que 3

4

5 6 7

“El surgimiento dela educación secundaria públicaen Chile: 1843-1876. El plan de estudioshumanistas”. Nicolás Cruz, DIBAM-PIIE-Centro de Investigaciones Barros Arana, Colección Sociedad y Cultura, 2002, 241 pag. “La educación media chilena: hitos en su modernización” ,Sergio Nilo, Revista Interamericana de Desarrollo Educativo, nº 122, 1995. SERGIO NILO , obra ya citada. Enlosañosochentaseresolvióagregar encarácter deobligatoria,unapruebadeconocimientosacercadelaHistoriadeChile. El SAT esun test norteamericano de treshorasde duración que mide lashabilidadesde razonamiento verbal y matemático delosestudiantes secundariosy aquellasque necesitan desarrollar paratener éxito académico. Varioscollegesy universidades usan el SAT como un indicador entre otros – puesto en la clase, actividades extracurriculares, ensayo personal, recomendacionesdel profesor-acercadelaaptituddel estudianteparaestudiar enlauniversidad.Losresultadosdel estudiante en el SAT se comparan con los de los demás postulantes y los puntajes requeridos por cada universidad y pueden ser usados como criterio pararecibir ayuda financiera para cursar losestudios. La escalade puntajedel SAT vade 200 a 800 puntos (tanto para la parte verbal como matemática). Hay variasoportunidadesen el año para pasar el SAT.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH I LE: ANT ECEDEN TES Y DESARROLLO RECIENT E 

225

tendríalanuevaprueba con respecto al instrumento precedente, dado queempleaba únicamente preguntas de selección múltiple. También se fundamentó en supuestos, aceptados en aquel entonces, respecto de las aptitudes mentales: se asumía que éstas eran relativamente estables en las personas, no eran susceptibles de ser entrenadas y se distribuían en forma equivalente entre personas provenientes de diversos grupos socioeconómicos. Como lo demostró ampliamente la experiencia nacional e internacional posterior, estos supuestos no eran correctos, puesto que las pruebas del tipo PAA son claramente sensibles al entrenamiento y presentan fuertes diferencias en sus puntajes según la condición socioeconómica de los examinados. Los instrumentos de selección universitaria adquirieron un rol complementario de mecanismo de asignación presupuestaria. En efecto, a partir de la reforma ala legislación universitaria de 1981, se adoptó un nuevo sistema para financiar con recursos estatales a las universidades nacionales. Se resolvió que una parte de dichos recursos se asignaría en función de la calidad de los estudiantes que ingresaran a cada universidad. Este mecanismo, que se denominó Aporte Fiscal Indirecto (AFI), se basaba en los puntajes que los postulantes obtuvieran en la PAA.

El examen de ingreso vigente: la Prueba de Selección Universitaria (PSU) Desde los años 80, las pruebas de admisión a las universidades fueron objeto de varios análisis por parte de comisiones convocadas por el Consejo de Rectores. Sin embargo, sólo con la constitución de una nueva comisión en el 2000, se materializó una propuesta alternativa para revisar y reorientar el conjunto de pruebas. Estanuevacomisión, conformada por un amplio grupo deexpertosy representantesde la educación media y universitaria, recomendó al Consejo de Rectores reemplazar las 8 pruebas existentes (3 obligatorias y 5 optativas) por 4 pruebas, todas ellas obligatorias, correspondientes a los mismos sectores de enseñanza en que se concentraban las 8 pruebas: matemáticas, lenguaje, ciencias sociales y ciencias (esta última combina biología, química y física). Además, la comisión estimó que era necesario asegurar una mayor vinculación entre las pruebas y la experiencia educacional de los examinados, por lo que se propuso alinear los contenidos que se evaluarían con el currículo vigente. En realidad, este cambio sólo aludía a las pruebas de aptitud, puesto que las de conocimientos específicos siempre estuvieron basadas en el marco curricular de la enseñanza media. Se estimó este cambio necesario atendiendo al poderoso rol orientador que las pruebas poseen con respecto al aprendizaje: en la medida en que ellas se alinean con el currículo, se entregan señales para concentrar el esfuerzo de estudiantesy profesoresen torno a losobjetivoscurricularesdel país en concordancia con la institucionalidad educacional vigente. La comisión estimó también que en la medida en que todas las pruebas emplean contenidos para la elaboración de sus preguntas, lo único adecuado es basar tales contenidos en aquellos aspectos que son parte de la experiencia educacional regular de los examinados. Es importante aclarar que el cambio en las pruebas no implicaba, como muchas veces se ha afirmado, abandonar la medición de aptitudes, para focalizar las nuevas pruebas en

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO 226

J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH IL E: ANT ECEDEN TES Y DESARROLLO RECIENT E 

la medición del manejo de contenidos. De hecho, ello no es posible, puesto que contenidos y habilidades o aptitudes no constituyen opciones alternativas al momento de elaborar un instrumento de medición. Como bien saben quienes construyen pruebas en educación, toda medición siempre involucra habilidades cognitivas (aptitudes), las que son aplicadas a diversos contenidos. En consecuencia, no puede afirmarse que las antiguas pruebas de aptitud hayan prescindido de contenidos. Muy por el contrario, los contenidos estaban claramente especificados. Por lo mismo, las nuevas pruebas tampoco pueden prescindir de la evaluación de habilidades o aptitudes. En definitiva, el único cambio entre las antiguas y las nuevas pruebas en este sentido es que se amplió la base de contenidos para construir las pruebas. El Consejo de Rectores acogió a comienzos de 2001 la recomendación de la comisión ad hoc, y acordó que un proyecto FONDEF8, que había sido aprobado en forma paralela a la decisión de cambio en las pruebas, cuyo propósito era desarrollar nuevas pruebas de admisión alineadas con el currículo, se haría cargo de la tarea técnica de producir y evaluar los nuevos bancos de preguntas. El proyecto, que fue conocido como SIES, entregaría sus resultadosal organismo tradicionalmenteresponsabledel desarrollo y aplicación de laspruebas (el DEMRE9  de la Universidad de Chile), para incorporarlos a las nuevas pruebas. El Consejo de Rectores resolvió inicialmente que estas pruebas serían aplicadas por primera vez a fines de 2002, aunque posteriormente se acordó que ello ocurriera a fines de 2003. Como es sabido, el proceso de cambio de las pruebas desató un amplio e intenso debate en el país, con participación de diversos tipos de actores: académicos, representantes de la educación media, instituciones académicas no universitarias, medios de comunicación y políticos. La discusión pública involucró a un amplio conjunto de preocupaciones, desde aspectos técnicos (como el fundamento conceptual del cambio o la validez predictiva de las nuevas pruebas), hasta aspectos relacionados con potenciales consecuencias sociales y políticas: la posibilidad de que las nuevas pruebas ampliaran la brecha social entre establecimientos privados y municipales o el temor que la relación entre pruebas y currículo conllevara una amenaza para la libertad de enseñanza. Como nunca antes, el tema de las pruebas de admisión a las universidades adquirió gran notoriedad pública. Por cierto que la intensidad y el carácter emocional que tuvo el debate, polarizó opiniones y distorsionó buena parte de los asuntos en discusión. Un ejemplo de lo anterior es la afirmación de que se estaría abandonando la medición de aptitudes, en circunstancias que ello no puede hacerse, tal como fue planteado más arriba. Durante el segundo semestre de 2002, el Consejo de Rectores buscó atenuar el clima conflictivo que se había generado, y que estaba atemorizando a los estudiantes y a sus familias, resolviendo establecer una fórmula de transición para la aplicación delasnuevas pruebas. Ésta consistió en eliminar la obligatoriedad de las cuatro pruebas, estableciéndose que matemáticasy lenguaje serían exigiblespara todos lospostulantes, permitiendo la elección de una prueba entre las dos restantes. El postulante resolvería cuál rendir, dependiendo de la carrera a la que postulara. 8 9

FONDEF: Fondo de Fomento al Desarrollo Científico y Tecnológico. DEMRE: Departamento de Medición y Registros Académicos

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH I LE: ANT ECEDEN TES Y DESARROLLO RECIENT E 

227

Lasnuevaspruebas, que fueron denominadasPruebasde Selección Universitaria(PSU), fueron aplicadaspor primera vez afinesde 2003. Sus resultados han sido objeto de análisis por parte de un Comité Técnico Asesor dependiente del Consejo de Rectores, el que ha producido recientemente un informe que revela que las nuevas pruebas han funcionado adecuadamente desde el punto de vista métrico10 . Estosresultados son, por lo demás, consistentes con los que había obtenido el proyecto SIES en su estudio en terreno, donde también se pudo constatar que las preguntas desarrolladas bajo el nuevo marco cumplían con estándares métricos convencionales. Además, dicho estudio, así como el informe basado en la aplicación de las nuevas pruebas, revelan que las pruebas alineadas con el currículo no aumentan la brecha social entre la educación privada y la municipal. En el transcurso del año 2004, se acordaron una serie de medidas técnicas complementarias, acerca de la determinación de puntajes y transformación de las notas de enseñanza media, destinadas a entregar señales estables a los postulantes y universidades acerca del significado de los puntajes. Másallá de losaspectostécnicosinvolucrados en toda renovación de instrumentosde medición educacional, este proceso ha demostrado en forma aguda la importancia de los aspectos político-institucionales, en facilitar u obstaculizar tal renovación. Un cambio sustantivo requiere de acuerdos relativamente amplios, que comprometan a las instituciones responsables del desarrollo, aplicación y uso de estos instrumentos. En el caso chileno, estas lecciones se tradujeron en el desarrollo de una nueva institucionalidad que supervisa el proceso de desarrollo de las pruebas de admisión a las universidades. Aunque la propiedad y administración de los instrumentos sigue estando en manos de la Universidad de Chile, el Consejo de Rectores creó un Comité Directivo y un Consejo Asesor Técnico, losque en conjunto supervisan la forma en quelosinstrumentosson desarrollados, aplicados e informados a la comunidad educacional.

LA MEDICIÓN DEL RENDIMIENTO DE LOS / AS ALUMNOS / AS DEL SISTEMA ESCOLAR: EL SIMCE11 Chile estableció en los inicios de la década de los ochenta el primer sistema de monitoreo de los logros educacionales en la enseñanza básica y media. Inicialmente el desarrollo de este sistema fue encomendado a un grupo de investigadores de la Universidad Católica de Chile, quienesprodujeron el Programade Evaluación del Rendimiento Escolar (PER). Hacia el fin de la misma década, este sistema fue revisado y rebautizado como Sistema de Medición de la Calidad de la Enseñanza (SIMCE), el que sigue funcionando hasta nuestros días. A partir de 1991, el Ministerio de Educación se hizo cargo de la administración del SIMCE. 10

11

Resultadosdelaaplicación dePruebasdeSelecciónUniversitariaAdmisión2004. ComitéTécnicoAsesor, Septiembre 2004. Sistemas Nacionales de Evaluación Educativa. Muestra de países de América Latina y del mundo desarrollado. (Recopilación). Instituto de Fomento e Investigación Educativa, A.C, Agosto 2000

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO 228

J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH IL E: ANT ECEDEN TES Y DESARROLLO RECIENT E 

La función del SIMCE es apoyar el rol de todos los actores del sistema educativo, desde el nivel central (Ministerio de Educación) hasta el nivel de la escuela (sostenedores, profesores y padres). Entre los principales objetivos del SIMCE se pueden mencionar los siguientes: • Proporcionar asistencia técnica al Ministerio de Educación en su tarea normativa y en la supervisión del sistema escolar. • Brindar apoyo a las autoridades regionales y locales en la supervisión, además de prestarles apoyo técnico. • Estimar la calidad de cada establecimiento educativo; comparar dichos resultados, buscar los factores explicativos y evaluar los resultados de los programas pedagógicos. • Retroalimentar a los profesores acerca de los logros de sus estudiantes, con el propósito de orientar decisiones pedagógicas. • Orientar la actividad de perfeccionamiento docente, las acciones de supervisión y la asignación de recursos, particularmente hacia las escuelas con mayores deficiencias y apoyarlas en sus esfuerzos para alcanzar la equidad educativa. • Facilitar que los padres y madres de familia tengan mayores elementos de información para elegir aquellos establecimientos escolares con mejores resultados educativos. El Ministerio de Educación y las municipalidades, con cada vez mayor frecuencia, utilizan los resultados del SIMCE como un mecanismo para incentivar a las escuelas y maestros para alcanzar un mejor desempeño académico. En su forma actual el SIMCE presenta los siguientes rasgos: Es censal , esto es, apunta a medir a todos los estudiantes que asisten a su establecimiento educacional en la fecha estipulada para la medición. Entrega información a nivel agregado  : curso, establecimiento y unidadesmayores(comuna, región, tipo dedependencia, etc.). Aunque lamedición esindividual y lapuntuación de los resultados es inicialmente individual, desde su origen se resolvió que este sistema sería empleado para retroalimentar al sistema escolar y no a los estudiantes o a sus familias. Se asocia a losresul tadosdel SIM CE consecuenciasa nivel del establecimi ento educacional 

(talescomo la selección del establecimiento para programasfocalizados, o el otorgamiento de ciertos beneficios, como el SNED). En el plano individual no hay consecuencias asociadas al rendimiento de los estudiantes examinados. Se aplica a tres grados de la enseñ anza : 4º básico, 8º básico y 2º medio. La medición está organizada de manera tal que cada año se evalúa a uno de los grados señalados. Se concentra en los principales sectores de aprendi zaje  : matemáticas y lenguaje (en los tres grados). La comprensión del medio natural y social se agrega como una prueba adicional en 4º básico, o como dos pruebas en 8º básico. , con promedio 250 y Emplea una escala de puntaje estandarizada para cada grado  desviación estándar 50. Desde 1998 se incorporaron al SIMCE técnicasde comparación de los puntajes obtenidos en distintas mediciones. Estas comparaciones se refieren a cada grado por separado, habiéndose establecido en cada prueba un año base (donde el promedio quedó fijado en 250 puntos). , aunque también inEl SIM CE emplea principalmente preguntas de selección múltiple  cluye (desde 1998) algunas preguntas de respuesta abierta.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH I LE: ANT ECEDEN TES Y DESARROLLO RECIENT E 

229

Laspruebasdel SIMCE han permitido constatar algunastendenciasde interés. Dado que sus puntajes están expresados en una escala comparable, se aprecia que las variacionesen el tiempo son menores. Por ejemplo, en el SIMCE de 2º medio, si se compara con el año de referencia (1998), el promedio nacional reportado para lenguaje en la última medición (2003) se ubica 3 puntos por encima del año base, mientras que matemática está 4 puntos por debajo de dicho referente. El SIMCE ha permitido también confirmar la gran brecha social existente en nuestra educación: por una parte, se observa que las escuelas cuyos/as alumnos/as provienen de familias pobres y con un bajo nivel de educación o de áreas rurales obtienen los peores puntajes. SIMCE: Promedios y variaciones según tipo de dependencia. 2o medio 2003 Establecimientos Alumnos

Lenguaje y Comunicación

Matemáticas

%

Media

Var. 2001

Media

Var. 2001

Municipales

46%

241

+1

230

-3

Part. Subvencionados

46%

257

+2

250

+1

Part. Pagados

8%

301

+3

317

+5

Total Nacional

100%

253

+1

246

-1

Por otra parte, se constata que las escuelas municipales se encuentran en promedio a más una desviación estándar por debajo del rendimiento de los colegios particulares (los establecimientos subvencionados se ubican en un punto medio) (ver figura anterior). Cuando estas dos dimensiones sociales se combinan, se observa que las diferencias de rendimiento según tipo de dependencia son mucho menores cuando atienden a una población escolar socioeconómicamente homogénea (ver figura siguiente). SIMCE: Promedio por grupo socioeconómico y tipo de dependencia. 2o medio 2003 Grupo Socioeconómico

Lenguaje y Comunicación Munic.

Part. Subv.

Bajo

226

Medio–Bajo

Part. Pagado

M atemáticas Munic.

Part. Subv.

229

215

220

238

245

223

235

Medio

273

270

270

265

Medio–Alto

317

289

347

295

301

Part. Pagado

317

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO 230

J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH IL E: ANT ECEDEN TES Y DESARROLLO RECIENT E 

El SIMCE fue objeto de una revisión sistemática por parte de una comisión ad hoc quenombró en 2003 el Ministerio deEducación. Estacomisión, de composición pluralista y con representación de diversos sectores vinculados a la educación, formuló un conjunto de recomendaciones que reafirmaron el rol central del SIMCE como sistema para monitorear los logros de aprendizaje de los estudiantes12 . Propuso mantener el carácter censal del SIMCE para los tres grados evaluados, manteniendo también la tradición de informar sus resultados a nivel agregado, pero ampliar las mediciones, tanto en términos de los contenidos evaluados como de la frecuencia con que se rinden las pruebas. El informe de la comisión puso un especial acento en potenciar el uso del sistema de medición, para lo cual se recomendó perfeccionar la forma en que se informan sus resultados a diferentesusuarios(profesores, padresy opinión pública). Se propuso asimismo que las mediciones incorporen estándares de desempeño que faciliten la comprensión, interpretación y comunicación de los resultados. El trabajo de la comisión permitió constatar el importante consenso que hay en nuestro país en torno al valor y credibilidad que posee el SIMCE. Pese a que se trata de un mecanismo de medición desarrollado al interior del Ministerio de Educación, no existen cuestionamientos acerca de su calidad técnica ni respecto de la forma en que el Estado usa y comunica sus resultados.

PARTICIPACIÓN DE CHILE EN PRUEBAS INTERNACIONALES DE RENDIMIENTO Chile se incorporó a programas internacionales de medición de logros educacionales apartir de1998 con lamedición de competenciaslectorasen lapoblación adulta(SIALS13 ). Desde entonces, ha sido posible comparar los rendimientos de adultos y de escolares en matemática y ciencias (TIMSS14 ), en información y actitudes cívicas (CIVICA15 ) y en comprensión de textos, rendimiento en matemáticas y ciencias (PISA +16 ). La decisión nacional de participar en estas mediciones refleja la conciencia acerca de la necesidad de asegurar que nuestro sistema educacional progrese hacia estándares de rendimiento equivalentes a los existentes en el mundo desarrollado. El intercambio y movilidad de los recursos humanos que ha sido estimulado por los acuerdos comerciales de librecomercio entreChiley distintospaíses, exige que nuestrosestudiantesy profesionales desarrollen habilidades, conocimientos y competencias equivalentes a los que demuestran sus pares del mundo desarrollado. En conjunto, losresultados de estosestudioshan permitido constatar muchos hechos relevantes, entre los que cabe resaltar: 12

13 14 15 16

“Evaluación deaprendizajesparaunaeducación decalidad”. Comisión para el desarrollo y uso del sistema demedición de la calidad de la educación. Santiago, diciembre, 2003. SIALS: Internacional Adult Literacy Survey TIMSS, Third International Mathematics and Science Study CIVI CA, Estudio Internacional de Educación Cívica, de la IEA. PISA +, Program for Internacional Student Assesment 2001

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH I LE: ANT ECEDEN TES Y DESARROLLO RECIENT E 

231

a. La fuerte brecha existente entre los logros que obtienen adolescentes y adultos de nuestro país y los de países industrializados. Cabe mencionar que la mayor parte de los países que participa en estos programas internacionales corresponde al mundo industrializado. Cuando se incluyen países de nivel de desarrollo equivalente al nuestro, como en el caso de PISA+17 , las comparaciones no resultan desfavorables para Chile. b. La brecha no se concentra exclusivamente en los sectores socialmente menos favorecidosde Chile, puesto queloslogros de nuestra elitesocial o educacional (la que accede a la educación superior o los hijos de personas con formación universitaria) se sitúan apenas en el nivel promedio de los países estudiados. En comparación con algunos países desarrollados, nuestra elite obtiene rendimientos equivalentes a los de personas con formación básica. Esto demuestra que la necesidad de elevar los rendimientos educacionales es una meta pertinente para todo el sistema educacional chileno. (Ver figura) TIMSS: Distribución de rendimientos en matemáticas según escolaridad de los padres 700 650 600 550 500 450 400 350 300

   l   s   r   a   a   r    í  a   a  d  á   a    i  a   e  c  a    U   n  d  a   a    i  a   r  a  e    i  a    h    l    l    i   l  e    i  n  a  s   e  c  o  s   p  u   o  r  e    l  a  n  d   n  g    e    U   t   r    h   s   a   a   n   n    I   t    I   o    E    l   C    i   l    i  p   a  r  r  u   d    i  n  g    C    H  o    H  u   C  a   A  u  s   e  p .  C    E   a   Z  e    F   n   S    I    M    R   e  v    N  u Primaria completa Universitaria completa Secundaria completa

c. Si bien los rendimientos educacionales están asociados con el nivel de gasto en el sector educacional de cada país, no están radicalmente determinados por éste. Se constata una amplia varianzaen el rendimiento educacional entre paísesque poseen un nivel de gasto semejante (ver figura en página siguiente). La posición que Chile (y el resto de los países latinoamericanos) ocupa en términos de gasto y resultadosmuestra que para avan-

17

PISA+ incluyó a Argentina, Brasil, México y Perú, ademásde Chileentre los paíseslatinoamericanos. Otra treintena de países participó, la mayor parte de los cuales pertenece a la OCDE.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH IL E: ANT ECEDEN TES Y DESARROLLO RECIENT E 

232

zar en torno a las aspiraciones educacionales se requiere no sólo incrementar el gasto, sino también mejorar la eficiencia en el uso de los recursos ya disponibles. + PISA: Desempeño por alumno según el nivel de gasto en educación 600 550

IRL

POL

CAN

GBR  SWE

CZE

500

JPN

FIN

KOR 

BEL

AUS FRA NOR 

ESP HU N

DN K

USA

DEU ITA

GRC

450

AUT

CH E

PRT

MEX

400

CHI

ARG

IDN BRA

350 PER 

300

0

10.000

20.000

30.000

40.000

50.000

60.000

70.000

80.000

La comisión que revisó el SIMCE también concordó en la necesidad de mantener la presencia de Chile en las mediciones internacionales. Además de las razones mencionadas anteriormente, esta participación permite contar con puntos de referencia externos para situar los logros que se obtienen periódicamente con los mecanismos de evaluación nacionales como el SIMCE. A continuación, se analizará más en detalle la participación de Chile en los estudios TIMSS y PISA+.

Participación de Chile en la prueba TIMSS El TIMSS, patrocinado por el IEA (Internacional Association for the Evaluation of  Educational Achievement)18, es el estudio del rendimiento educacional y contextos de aprendizaje más grande y ambicioso que se haya realizado internacionalmente. El TIMSSevaluó, en cercade 50 países, el dominio de conocimientosde matemáticas y ciencias, en tres niveles educativos (4º, 8º básico y fin de la enseñanza secundaria) y

18

La IEA ha realizado una serie de estudios comparativos desde el año 1959. Su objetivo es entregar información acerca de los logros de los sistemas educacionales y de los contextos en los cuales estos se obtienen. La primera evaluación se realizó en 1970-71 y lasegunda en 1983-84. El tercer estudio del rendimiento internacional en matemáticasy ciencias (TIMSS) se llevó a acabo entre los años 1991-98 y es la investigación más amplia, comprensiva y rigurosa realizada en la historia de la educación. Sus resultados fueron dados a conocer en el 2000.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH I LE: ANT ECEDEN TES Y DESARROLLO RECIENT E 

233

estudió lasvariablesque pueden reflejar estosresultados. Para ello, elaboró y aplicó pruebas de rendimiento, recopiló antecedentes sobre las características de los sistemas educativos, aplicó encuestasaalumnos, profesoresy apoderados, filmó clasesy analizó currículos y textos de estudio. Con respecto al currículo, el estudio TIMSS abarcó cuatro aspectos: el currícul o in-  , es decir, lo que cada país se propone como objetivo en su currículo; la tencionado  implementación del currículo  , esto es, la interpretación que hacen los profesores acerca de los planes de estudio y de las metodologías que aplican; el currículo logrado, que se refiere a losnivelesde aprendizaje y actitudesdesarrollados en cada asignatura; y loscontextosde  aprendizaje, que incluyen las características socioculturales de cada país y las variables de los diferentes sistemas educacionales. Chile participó, desde fines de 1998 hasta 2000, en una nueva versión del TIMSS, en la que se evaluó a una muestra de alumnos de 8º Básico. Algunos de los resultados de Chile en este estudio19  muestran que en matemáticas, considerando todas las áreas evaluadas, el puntaje obtenido por Chile (392 puntos) lo sitúa en el lugar 35 de 38 países participantes. El puntaje promedio de los países participantes fue de 487 puntos, ubicándose Singapur en primer lugar, con 604 puntos, y Sudáfrica, en el último, con 275 puntos. Rendimiento en TIMSS 1999 de Matemáticas 650 600 550 500 450 400 350 300 250 200    l    l    l   s   r   a    i  c  a   d  a   r    i  a   a    l  e   n  a  s   c  o  s   r    í  a   a  d  á   n    i  a   e  c  a    U   n  d  a   n  a    i  a   r  a  e    i  a    h    i    l    i  c  a   a   p  u   o  r  e   e   e   n   g    g     U   e    i   e   t   r    h   o   f   s   a    l   a   a   n    i   n   v    I   t   n    l    I   o   C    i    l    E   e    i  p   a  r  r  u   d  A    l    l  o   A  u  s   p .  C    E   d    i  n  g    C    B    H  o    H  u   C  a   E  s    Z   r  n  a  c    F   n   S   e   a    I    M   S  u   v   t  e    R   e    N  u   m   I  n   o    P  r

En ciencias, Chile ocupa también el lugar 35 de los 38 países participantes, con 420 puntos. El promedio del total de países está en 488 puntos, situándose Taiwán en primer lugar, con 569 puntos, y Sudáfrica, en el último, con 243 puntos20 . 19 20

TIMSS 1999 International Mathematics Report. TIMMS 1999 International Science Report

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO 234

J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH IL E: ANT ECEDEN TES Y DESARROLLO RECIENT E 

En matemáticas21 , el 25% de los niños chilenos con mejores logros alcanza puntajes cercanos a la media general de todos los países. Los mejores rendimientos nacionales se observaron en «representación de datos, análisis y probabilidades» (429 puntos), mientras que los más débiles corresponden al álgebra (399 puntos). Además, casi uno de cada dos estudiantes chilenos (45%) recibe enseñanza de profesores que declaran tener un bajo nivel de confianza en sus propias capacidades para enseñar matemáticas (proporción que se encuentra muy por encima del promedio internacional). Este antecedente ha sido resaltado en un reciente informe internacional sobre la educación chilena22 , el que recomienda fortalecer la formación de los docentescomo un aspecto fundamental para elevar el aprendizaje de los estudiantes. La proporción de niños chilenos que tiene un alto concepto de sí mismo para aprender matemáticas es comparativamente menor que en el resto de los países (11% frente a 18% a nivel internacional). En ciencias, se verifican tendencias equivalentes, salvo que los alumnos muestran mayor confianza en sí mismos respecto de su capacidad de aprender esta disciplina.

Participación de Chile en el Estudio PISA + El Programa Internacional de Evaluación de Estudiantes (Program for International Student Assessment, PISA) evaluó lashabilidadesy conocimientosen lectura, matemáticas y ciencias de los estudiantes de 15 años de edad. 23  El objetivo final de dicha evaluación era medir las habilidades que se consideran esenciales para la vida futura de los  jóvenes y para adaptarse con éxito a un mundo cambiante. PISA se aplicó por primera vez en el año 2000 y participaron los 28 países miembros de la OCDE24, más Brasil, la Federación Rusa, Liechtenstein y Letonia. Chile y otros países no miembros de la OCDE manifestaron interés en la prueba PISA, por lo que en 2001 se amplió el proyecto para que pudieran participar nuevos países, denominándose el estudio PISA+. Ademásde Chile, se incorporaron Albania, Argentina, Bulgaria, Hong Kong, Indonesia, Israel, Macedonia, Perú, Rumania y Tailandia. En total participaron 43 países. La metodología de la prueba PISA+ fue similar a la de PISA 2000, por lo que es posible comparar los resultados de ambas. Los resultados de PISA 2000 (y de PISA+) fueron reportados en una escala cuyo promedio fue de 500 puntos, con una desviación estándar de 100. 21

22 23

24

“Resultadosdel TIMSSson un desafío para la educación chilena”, Departamento deComunicaciones, Ministerio de Educación, 6/12/2000. “Revisión de políticas nacionales de educación, Chile”, OCDE, 2004, 305 pág. “Desempeño de los estudiantes chilenos: resultados de PISA+”. Ministerio de Educación, División de Planificación y Presupuesto, Departamento de Estudios y Estadísticas. Nota Técnica, junio 2003. Los países miembros de la OCDE (Organización para la Cooperación y el Desarrollo Económicos) son Alemania, Australia, Austria, Bélgica, Canadá, Dinamarca, España, Estados Unidos, Finlandia, Francia, Grecia, Holanda, Hungría, I rlanda, I slandia, Italia, Japón, Luxemburgo, México, Nueva Zelanda, Noruega, Polonia, Portugal, Reino Unido, República Checa, República de Corea, Suecia y Suiza. Sin embargo, Holanda no cumplió con las tasas de participación requeridas, por lo que no cuenta con resultados.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH I LE: ANT ECEDEN TES Y DESARROLLO RECIENT E 

235

La participación de Chile en PISA+ es importante, pues entre otras razones, es la primera prueba internacional que permite comparar resultados con otros países de América Latina. El programa PISA+ en Chile evaluó una muestra representativa de estudiantes de 15 años, matriculados entre 7º básico y 3º medio. Respecto del contexto en que se da la educación, se constató que aunque el ingreso per capita en los países de la OCDE es muy superior al de Chile (y al resto de los países de América Latina), la cobertura escolar en la población de 15 años de Chile es mayor que la que presentan otros países de nuestra región. Pese a ello, la cobertura es todavía inferior a la de los países de la OCDE, donde cerca del 100% de la población de la misma edad asiste a la escuela. Los resultados de Chile, en lectura, matemáticas y ciencias son equivalentes a los de losotrospaísesde AméricaLatina con la excepción de Perú, pero son claramente inferiores a los de los países de la OCDE.  Resultados de Chi le en PISA+ en relación a los mayoresy menorespuntajes, por subsector 

Mayor puntaje Promedio OCDE Chile Menor puntaje

Lectura

Matemáticas

Ciencias

546 /Finlandia 500 410 327/ Perú

557 / Japón 500 384 292 / Perú

552 / Corea 500 415 333/ Perú

Los resultados de Chile en lectura fueron objeto de un análisis más detallado por parte de expertos del Ministerio de Educación, quienes consideraron diversas variables para explicar o contextualizar los resultados. A partir de dichos análisis, cabe destacar los siguientes aspectos: • En lo que se refiere a los factores socioeconómicos y culturales, el estudio mostró que a mayor nivel socioeconómico y cultural, los alumnos tienen mejores puntajes en lectura. Es interesante observar que, aun cuando los estudiantes de menores recursos de Chile tienen mejores resultados que los de condición similar en América Latina, los estudiantes de mayores recursos de América Latina logran mejores resultados que los de status similar en Chile. En términos de género, independientemente del nivel socioeconómico y cultural, las mujeres obtienen mejores resultados que los hombres. • Cuando se analizan los antecedentes socioeconómicos a nivel de países, se constata que mientras más alto es el nivel socioeconómico de los países y la riqueza se distribuye en forma más equitativa, las diferencias de rendimiento se dan más entre alumnos de cada escuela que entre escuelas. Chile (y la mayoría de los países de América Latina) se ubicaen el polo negativo, tanto en términos de su nivel de ingresoscomo de la distribución de la riqueza, lo que se asocia amayoresdiferenciasentre escuelasqueentre alumnos al interior de las escuelas.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO 236

J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH IL E: ANT ECEDEN TES Y DESARROLLO RECIENT E 

• Los análisis efectuadosa nivel de establecimientos también permiten identificar los factores más relevantes para explicar el nivel de lectura que exhiben los estudiantes. El más importante es el grado o curso en que se encuentra el estudiante (a mayor grado, mayor rendimiento). En segundo lugar, influye la calidad de la relación profesor alumno (obtienen resultados los profesores que escuchan, apoyan y son justos). El tercer factor es el disfrute de la lectura (tienen mejor rendimiento quienes más disfrutan con la lectura). El cuarto factor es la asistencia a clase (a mayor asistencia, mejor rendimiento). El quinto factor se refiere a la presión por logros por parte del profesor (a mayor presión, menor rendimiento). El sexto factor tiene que ver con el autoconcepto de aprendizaje (a mejor autoconcepto, mejor rendimiento).

LA EVALUACIÓN DE PROFESORES Además de medir los logros educacionales o el aprendizaje, se han desarrollado instrumentosque permiten abordar otrosaspectosrelevantesdel proceso educativo, muchas veces más complejos o menos susceptibles de una medición objetiva que el rendimiento. En el caso chileno, existe alguna experiencia en gran escala destinada a la medición de variables socio-afectivas y de motivación en el contexto escolar. Un programa focalizado destinado a promover experiencias innovadoras en la enseñanza secundaria, el Programa Montegrande (1998-2004)25 , desarrolló una batería de instrumentos con los que evaluó dichas variables en los más de 11.000 estudiantes involucrados en dicho programa. Sin embargo, las experiencias más ambiciosas en materia de medición que no dicen relación con los logros de los estudiantes, se han verificado en el campo de la evaluación de profesores. La investigación educacional atribuye a los profesoresun rol decisivo en el aprendizajede losalumnos/as, rol quesegún muchos autorespuede tener lugar a pesar de las condiciones socioeconómicas adversas de los estudiantes y de sus familias26 . Se implementó primero un programa de incentivos a profesores de establecimientos subvencionados, denominado SNED 27 , basado entre otros factores en el desempeño promedio del establecimiento educacional en el SIMCE. Luego, se estableció un programa para identificar y reconocer a docentes de excelencia, la Asignación de Excelencia 25

26

27

El Programa Montegrande del Ministerio de Educación entregó a alrededor de 50 liceos que concursaron con proyectos educativos innovadores, la responsabilidad de «mostrar caminos»y alternativas para la Educación Media. El desafío fue que se transformaran en Liceos de Anticipación; aplicaran los principios de la Reforma Educacional, y sirvieran de modelo a otros establecimientos con alumnos y contextos socioculturales similares. El Ministerio de Educación les transfirió los recursos necesarios por un período de cinco años, y sus sostenedores delegaron en los directoreslasfacultadespara queel liceo asumieracon mayor autonomíalagestión de su proyecto y seresponsabilizara de los resultados de aprendizaje de sus alumnos/as. “Factores que afectan el rendimiento académico en la educación primaria. Revisión de la literatura en América Latina y El Caribe”, Eduardo Velez, Ernesto Schiefelbein, JorgeValenzuela, Banco Mundial, HROWP 2, abril 1992; “Factoresque inciden en la eficacia y equidad de la educación en Latinoamérica”, Sergio Martinic, Ponencia III Congreso Internacional de Educación, Córdoba, 10-12 de octubre 2003; “ ¿Quién dijo que no se puede?Escuelas efectivasen sectoresde pobreza”. UNICEF-Gobierno de Chile. Cristián Bellei, Gonzalo Muñoz, Luz María Pérez, Dagmar Raczinsky. SNED, Sistema Nacional de Evaluación de Desempeño de los Establecimientos Educacionales.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH I LE: ANT ECEDEN TES Y DESARROLLO RECIENT E 

237

Pedagógica (AEP). Por último, a partir de mediados de 2003, se puso en marcha el Sistema de Evaluación del Desempeño Profesional Docente (Docentemás), dirigido a todos los docentes de los establecimientos municipales del país. El desarrollo de los dos últimos sistemas de evaluación fue posible luego de que se definieran estándares nacionales para el desempeño profesional docente. Estos estándares, cuyaformulación incorporó un amplio conjunto de antecedentes(desde la investigación científica internacional y la opinión de expertos, hasta la consulta a profesores en ejercicio), seplasmó en un documento denominado el Marco para la Buena Enseñanza, publicado por primera vez en el año 200028 . A continuación, se describe los dos sistemasde evaluación de docentes.

Asignación de Excelencia Pedagógica (AEP) Los profesores de los establecimientos subvencionados, tanto municipales como particulares subvencionados, desde el año 2002 pueden postular en forma voluntaria a la Asignación de Excelencia Pedagógica29 . Este programa tiene por propósito apoyar el fortalecimiento de la calidad de la educación, a través del reconocimiento del mérito profesional de los docentes de aula. El Programa AEP cuenta con dos instrumentos de evaluación, diseñados para medir conocimientos, habilidades y competencias de los docentes de aula, de acuerdo a los estándares de desempeño profesional del Marco para la Buena Enseñanza: • El portafolio AEP, en el cual los docentes presentan evidencias concretas de sus mejores prácticas en el proceso de enseñanza-aprendizaje en el aula; • La prueba AEP, evaluación escrita que mide conocimientos disciplinarios contemplados en los estándares de desempeño. La postulación a la AEP se ha abierto en forma gradual a los distintos niveles de enseñanza. En el año 2002, participaron los docentes de primer ciclo básico; en el 2003,  junto con ellosse incorporaron losdocentesdesegundo ciclo básico. En 2004, se agregaron a los dos niveles anteriores los docentes de enseñanza media. En sus dos primeros años de ejecución, el programa ha acreditado a más de 700 profesores de enseñanza básica, repartidos en todas las regiones del país. Postulantes y acredi tados AEP 

Año 2002 2003 28

29

Total postulantes 1906 935

Acreditados 313 409

% Acreditados 16 44

www.mineduc.cl El Marco para la Buena Enseñanza estructura el desempeño profesional de los profesores en cuatro dominios: Preparación de la enseñanza, Creación de un ambiente propicio para el aprendizaje de los estudiantes, Responsabilidades profesionales y Enseñanza para el aprendizaje de todos los estudiantes. Esta asignación se basa en lo dispuesto en la Ley Nº 19.715 y el DFL Nº 1 de Educación, del 15 de enero de 2002.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH IL E: ANT ECEDEN TES Y DESARROLLO RECIENT E 

238

La Asignación de Excelencia Pedagógica consiste en una bonificación o suplemento sobre el sueldo del profesor, que se percibe hasta por un máximo de diez años. El monto de la bonificación depende del tramo de antigüedad en el ejercicio profesional en que se encuentre el docente. Además de este beneficio económico, los profesores que reciben la asignación tienen la posibilidad deintegrarsea la Red deMaestrosde Maestros, y convertirse en tutores de docentes que comienzan a ejercer la profesión. La breve experiencia acumulada con este programa ha mostrado el valor positivo que representa para los postulantes el trabajo con el portafolio. Tal como lo revelan encuestas a participantes del programa, el portafolio aparece como un instrumento que, además de su valor diagnóstico, retroalimenta al profesor en torno a su prácticapedagógicay facilita su autorregulación como profesional de la enseñanza. Los resultados iniciales del programa AEP han permitido constatar que los distintos aspectos que forman parte de la evaluación no muestran rendimientos equivalentes. En particular, se constata una tendencia a cierto desequilibrio entre la formación pedagógica y disciplinar de los profesores. Tal como lo muestra la figura adjunta, en casi todos los sectores evaluados se constatan mejores rendimientos en el portafolio (instrumento que se centra prioritariamente en aspectos pedagógicos) que en la prueba (que mide dominio de conocimientos en la disciplina donde enseña el profesor). Esta asimetría es especialmente acentuada en el caso de matemáticas. AEP. Comparación resultados de la prueba y el portafolio 4 3,5 3 Prueba

2,5

Portafolio

2 1,5 1

1o-4o básico

Lenguaje 5o-8o

Matemáticas Com. M. Com. M. 5o-8o Natural 5o-8o social 5o-8o

La evaluación de profesores30 El programa de mayor envergadura de evaluación de profesores es el Sistema de Evaluación del Desempeño Profesional Docente (Docentemás), destinado a evaluar a todos los profesores que trabajan en establecimientos educacionales con administración municipal y que se inició a mediados del año 2003. 30

Proyecto Docentemás, Escuela de Psicología P. Universidad Católica y página web docentemas.cl

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH I LE: ANT ECEDEN TES Y DESARROLLO RECIENT E 

239

Mientras la participación en AEP es voluntaria, la evaluación docente es una obligación legal que deben cumplir cada cuatro años todos los profesores del sector municipal de la educación. Este programa de evaluación docente tiene por propósito central el fortalecimiento de la profesión docente. Por ello, se ha destacado su carácter formativo, esperándose que entregue señales a todos los profesores que se someten a él para mejorar las prácticas pedagógicas. Este sistema de evaluación ha sido el fruto de un acuerdo tripartito entre el Ministerio deEducación, el Colegio deProfesoresy laAsociación Chilena deMunicipios. El Acuerdo Tripartito estipuló que la evaluación docenteseimplementaría gradualmente por niveles de enseñanza y comunas. En 2003, se evaluaron docentes generalistas de primer ciclo. A partir de 2004 se incorporaron los profesores del segundo ciclo de la enseñanza básica, previéndose que en los siguientes dos años se complete la participación de los otros niveles: educación pre-escolar y educación media. El sistema de evaluación de profesores tiene una estructura y procedimientos comunes para todo el país. El Ministerio de Educación, a través del CPEIP y de instituciones universitarias que colaboran en aspectos técnicos, define los procedimientos, los instrumentos de evaluación, y asegura la corrección de las evidencias. La operación propiamente tal de la evaluación es descentralizada, realizándose el proceso a nivel de cada comuna del país. La responsabilidad local recae en un Coordinador Comunal, quien contacta con los docentes evaluados, y los directores de escuela, y supervisa el funcionamiento de la evaluación en su comuna. Tal como seseñaló anteriormente, la evaluación se basa en losestándaresdefinidos en el Marco para la Buena Enseñanza. A partir de este marco se derivan las especificaciones que cada año contemplan los cuatro instrumentos de este programa: • Un portafolio que el profesor debe elaborar en el plazo de 11 semanas, y que comprende una parte escrita (planificación, realización y evaluación de una unidad pedagógica) y la filmación de una clase31 . • Una entrevista al docente evaluado, queesllevada acabo por otro profesor, denominado Evaluador Par. El profesor que entrevista recibe un entrenamiento ad-hoc. • Informesde referencia de terceros: el director y el jefede la Unidad Técnico-Pedagógico de del establecimiento en que trabaja el docente evaluado elaboran, cada uno en forma independiente, un informe. • Autoevaluación que el profesor realiza acerca de su desempeño profesional. El instrumento máscomplejo, el portafolio, escorregido por profesoresdebidamente entrenados, en diversos centros universitarios del país. El resultado de todos los instrumentos de evaluación se combina en una calificación final, la que es revisada por una Comisión que se constituye en cada comuna donde se lleva a cabo esta evaluación. Dicha 31

En2003, launidadpedagógicafuedeEducación MatemáticaylaclasefilmadadeLenguajeyComunicación.En 2004, fue a la inversa.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH IL E: ANT ECEDEN TES Y DESARROLLO RECIENT E 

240

Comisión está conformada por los profesores que han cumplido el rol de entrevistadores de sus colegas (a quienes se excluye de la evaluación en el año en que cumplen este rol). La Comisión analiza los resultados de la evaluación del profesor, integra aspectos contextuales32  de cada docente y formula la decisión final acerca del docente evaluado. Una vez concluida la evaluación, se emite un informe individual para cada profesor evaluado, donde se informa y fundamenta la calificación obtenida en los diversos aspectos evaluados. La calificación se expresa en cuatro niveles de desempeño: destacado, competente, básico o insatisfactorio. Los resultados globales de los 3740 docentes evaluados en el primer año de este programa, se resumen en la figura adjunta. En ella es posible constatar que alrededor de dos terceras partes de los profesores evaluados obtuvieron calificaciones finales correspondientes a las dos categorías superiores. La mayor parte del tercio restante se situó en la categoría “Básico”, que corresponde a profesores que presentan un desempeño que se sitúa por debajo del estándar esperado en algunasáreaso en forma ocasional. En contraste, la categoría más baja se aplica a quienes presentan desempeños claramente por debajo de los estándares profesionales establecidos. Es importante advertir que este resultado combina instrumentos y perspectivas diversas acerca del quehacer de cada docente, por lo que se requiere información complementaria, que gradualmente debiera producirse, para poder apreciar con claridad el significado de esta distribución. Por ahora, nos advierte que alrededor de un tercio de los profesores obtienen calificaciones que los sitúan al menos parcialmente por debajo de los estándares establecidos para el desempeño profesional docente. Resultado final de evaluación docente 2003 (en porcentajes) 60 50 40 30 20

Insatisfactorio Básico Competente Destacado

10 0

32

Los “elementos contextuales” dicen relación con aspectos del contexto individual del docente que pudieran haber influido en su desempeño durante el período en que fue evaluado (por ejemplo, muerte de un familiar cercano, catástrofe natural, enfermedad grave, etc.)

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH I LE: ANT ECEDEN TES Y DESARROLLO RECIENT E 

241

CONCLUSIONES Chile exhibe una trayectoria consistente en la perspectiva de dotar a nuestro sistema educacional de un conjunto amplio de sistemas de medición y monitoreo que permitan apreciar el grado en que nuestro país progresa hacia sus aspiraciones en cuanto a logros educacionales. Durante la última década se han desarrollado o perfeccionado todas las mediciones de gran escala que hoy existen. En laactualidad secuenta con un conjunto de instrumentosque permiten monitorear tanto los logros de aprendizaje como el desempeño de los profesores. Los desafíos técnicos involucrados han sido abordados mediante instrumentos progresivamente más complejos, como lo demuestra especialmente la reciente creación de sistemas de evaluación del desempeño de profesores. Los instrumentos aplicados durante la última década han permitido detectar niveles de logro que están distantes de las aspiraciones que nuestra sociedad tiene acerca de su sistema educacional. Al mismo tiempo, estas mediciones muestran fuertes diferencias entre estudiantes pertenecientes a diferentes contextos socioeconómicos (lo que se asocia estrechamente al tipo de establecimiento educacional al que asisten). Los instrumentos no sólo sirven para constatar estos hechos, puesto que su mejoramiento técnico está permitiendo focalizar y optimizar las medidas destinadas a elevar los logros educacionales y reducir las brechas sociales. Esta revisión ha mostrado también la compleja interacción que existe entre la medición educacional y su marco político-institucional. El progreso técnico en este ámbito debe realizarse asegurando que su sustento político sea adecuado. El difícil proceso de reformulación de las pruebas de ingreso a las universidades es una clara de demostración de lo anterior. Dicho cambio sólo se consolidó una vez que la institucionalidad responsable produjo un marco apropiado para lasactividadesde investigación y desarrollo asociadasa esta innovación. Asimismo, el desarrollo del SIMCE y de lossistemasde evaluación de profesoresse ha originado o apoyado en importantesacuerdos que involucran a diversos actores. Dado que ya se ha avanzado significativamente en cuanto a la cantidad y variedad de instrumentosde medición disponiblespara nuestro sistema educacional, el siguientepaso es acompañar estos avances con suficiente investigación que permita maximizar la utilidad de la información que se obtiene. Las mediciones internacionales son un ejemplo de la amplitud de posibilidades analíticas que se abren a partir de la medición. Ninguno de los instrumentos actualmente en uso en Chile pueden exhibir niveles equivalentes de elaboración, por lo que hay un largo camino por recorrer. Por cierto que como primera medida hay que despejar las barreras que impiden el acceso amplio de la comunidad científica a las bases de datos. Esta es una condición esencial, en la que el SIMCE ha hecho avances significativos, que sería deseable estimular en los otros sistemas de medición. Naturalmente esto debe hacerse tomando todos los resguardos éticos para proteger la confidencialidad que corresponda acerca de información referida a personas o instituciones.

PERSONA Y SOCIEDAD, VOL XVI II N o3 / 2004 · pp. 221 - 242 · UNIVERSID AD ALBERTO HURTADO 242

J. MANZI, J. ROSSETTI; LA EVALUACIÓN ED UCACI ON AL EN CH IL E: ANT ECEDEN TES Y DESARROLLO RECIENT E