Carrion Carmen

Carrión, Carmen. Valores y principios para evaluar la educación. Piados educador, 2001. CAPITULO I. VALOR, POLÍTICA Y ÉTICA PARA EVALUAR. Las definiciones más comunes de evaluación educativa la han propuesto –en el entendido de que los términos de estos procesos, sus conceptos y sus principios pueden tener un carácter universal y homogéneo- como una abstracción independiente del sujeto de la tecnología evaluativa y de quien la aplica. Estas definiciones pueden clasificarse así: •

Las que toman como principio la constatación del logro de metas.

•

Las que conciben la evaluación como una forma de proveer información para tomar decisiones, o como un examen sistemático de programas educativos o sociales.

•

Las que toman como principio la naturaleza enjuiciadora de la evaluación y la definen como la ponderación del mérito o valía de los programas educativos [véase T. Husen y T. Neville (comps.), The International Encyclopedia of Education, p. 1772.

Michael Scriven ha apuntado que estas definiciones se centran en uno de los innumerables objetos susceptibles de análisis, los programas educativos, y soslayan lo que en la práctica se realiza en muchas áreas de la vida social y material; por esto, difícilmente las definiciones mencionadas pueden ser base del desarrollo de una teoría de la evaluación. Este autor declara que la evaluación es un proceso mediante el cual se determinan el mérito, la valía y el valor (merit, worth y va1ue) de las cosas; es una transdisciplina (en la que concurren la lógica, la psicología, la ética y el derecho) que apela a la razón instrumental de las ciencias, como la lógica, el diseño y la estadística, y aplica un amplio espectro de tareas de investigación y creación, mientras mantiene la autonomía de una disciplina de propio derecho. De acuerdo con Scriven, la visión transdisciplinaria intenta ofrecer soluciones a la estigmatización de la evaluación y a la inutilidad de sus resultados. Supone extender los fundamentos de la evaluación hasta sus límites racionales para que abarque todas las áreas de aplicación y se incremente la comunicación entre éstas; para que mejoren las técnicas de evaluación y los informes de áreas tradicionales que no son sólo del campo de la evaluación de programas y de currículo, y para que en un nivel más general se deseche la idea de una práctica en la que los valores pueden ser puestos entre paréntesis [véase Evaluation Thesaurus, pp. 13} La experiencia en estos procesos nos muestra, sin embargo, que al aplicar cualquier procedimiento, e incluso con la sola intención de evaluar, se desencadenan reacciones o formas de asumir o confrontar estas circunstancias por parte de las comunidades institucionales. Estas reacciones hacen patente que la evaluación no se hace de una cosa que incluye los términos de las proposiciones abstractas de la definición, sino de las formas específicas de relaciones educativas de la comunidad escolar, las cuales determinan el carácter (la calidad, la eficiencia y el mérito) de la institución respectiva.

La información que se obtiene al aplicar un procedimiento es una expresión de esas relaciones educativas; es una de las formas en que se puede objetivar el conjunto de valores implícitos o explícitos que está en el sustrato de tales relaciones y le dan sentido a la institución. Pero esa objetivación no significa homogeneidad o universalidad de los valores o de las expectativas respecto de la educación; indica la necesidad de racionalidad, de método en los procesos de evaluación. Esto explica, por ejemplo, la razón de que formas elementales de evaluación, como los inventarios estadísticos, generen juicios o conclusiones con base en estándares o indicadores de calidad, sin que se aclare que éstos son en sí mismos expresiones de valor; o que un estudiante obtenga diferentes rendimientos en una misma materia si es calificado por profesores diferentes, de acuerdo con lo que uno u otro de ellos crea que es un aprendizaje más pertinente o valioso. Las diferencias de juicio por sí mismas muestran la dinámica de la educación, completamente irreprochable por la riqueza de posibilidades de relaciones educativas, pero que constituye un trastorno para la asignación presupuestaria o la promoción de estudiantes a niveles superiores de educación. De aquí que la tecnología evaluativa se haya utilizado para homogeneizar el tipo de juicios respecto a la calidad de las instituciones y de los alumnos y profesores, sin percatarse de que la estandarización es también un criterio y una expresión de valor, y sin considerar que la falta de utilidad de los informes de evaluación está relacionada con el problema fundamental de estos procesos: la validez de las conclusiones (un problema más complejo que el logro de la confiabilidad de la información y la efectividad técnica de los procedimientos de análisis). Este problema se ahonda porque ninguna institución es igual que otra, aunque compartan estructura, nivel y normatividad. Además de lo que define a una institución educativa en términos formales, su carácter está constituido por las formas específicas de relaciones de la comunidad escolar, que no se pueden reproducir en otras circunstancias. Esto no quiere decir que no se puedan encontrar regularidades (o situaciones generalizables) entre instituciones o procedimientos tecnológicos. Más bien se afirma que en principio la evaluación no puede basarse en modelos generales, sino en la identificación de los valores que imprimen un sentido a las relaciones educativas y en la verificación de sus formas de expresión mediante actividades concretas, consecuencia de esos valores. La evaluación que tiene un sentido de crítica y mejoramiento de esas relaciones únicamente puede plegarse a las circunstancias de cada caso y crear modelos ad hoc. Al circunscribirse a esas formas específicas de relación educativa estará en posibilidad de validar propósitos, procedimientos, resultados y utilidad congruentes con la institución. En este proceso se hace educación y hay construcción de conocimiento sobre la educación. Así, evaluar significa interrogar sobre el sentido de la institución, su significado y su propósito. La evaluación verdadera y legítima da ocasión a que se pregunte por el sentido educativo de la institución, a que los participantes en las relaciones escolares reconozcan su opinión y sus valores en la narración de los hechos y en las conclusiones.

Para comprender qué se hace cuando se evalúa, más allá de la correcta aplicación tecnológica, consideremos el contenido, el método y las circunstancias que fundamentan que una actividad sea una evaluación y no otra cosa.

EVALUAR LA EDUCACIÓN. En los diccionarios lexicológicos más actuales de la lengua castellana se encuentra que el verbo evaluar significa señalar el valor de una cosa; estimar, apreciar y calcular el valor de algo. Actualmente tiene una connotación educativa que no se encontraba en diccionarios de hace veinte años: «Estimar los conocimientos, aptitudes y rendimiento de los alumnos». Esto nos indica que ya es de uso común, no docto, el término «evaluar» en la lexicología de comunicación social [véase Real Academia de la Lengua, Diccionario de la lengua española, p. 927]. El término especializado, disciplinario, que denota una actividad y procedimientos metodológicos específicos lo acuñó Ralph Tyler al referirse a la para denominar el proceso de determinación del grado de cumplimiento de los objetivos educativos que previamente se especifican y se aplican. Para Tyler la evaluación es el proceso de medición del grado de aprendizaje de los estudiantes en relación con un programa educativo planeado. Lo cual es exactamente igual a la acepción educativa del significado lexicológico [véase Basic Principles of Curriculum and Instruction, p. 107]. La definición de Tyler, propuesta en los años cuarenta, fue revolucionaria en su momento pues responsabilizaba del éxito o fracaso de los estudiantes no a su propia inteligencia (lo cual tenía reminiscencias genetistas y raciales), sino al contexto institucional y a la capacidad de los educadores de planificar los contenidos de acuerdo con las necesidades de conocimiento socialmente adecuado y con los niveles de asimilación de que eran capaces los estudiantes. Recuérdese que los primeros procedimientos de ponderación del aprendizaje se desarrollan durante la primera década del siglo xx sobre la base de los métodos de medición de la psicología individual, y se originaron en la idea de que los rendimientos de los estudiantes están correlacionados con su inteligencia [véase una historia de la medición psicológica y educativa en R. L. Thorndike y Elizabeth Hagen, Tests y técnicas de medición en psicología y educación, pp. 9 27]. De aquí que la tecnología educativa resultante de la propuesta tyleriana transformara los procesos de evaluación propiamente educativa y propiciara lo que más tarde se llamó la evaluación diagnóstica, la formativa y la de resultados. En este caso, la evaluación se ha considerado una fuente de retroalimentación para calificar la pertinencia y la adecuación de la planeación curricular a los niveles de aprendizaje del alumno. Otros autores profundizan en esta primera aproximación y la extienden al proceso que nos ocupa. Un ejemplo es Benjamin Bloom, que en la segunda mitad de los años cincuenta propone una complejización de la idea de los objetivos educativos con una concepción más integral de la psicología del desarrollo humano, tomando en cuenta el tipo de contenidos que los profesores enseñan comúnmente. Dividió estos contenidos en tres tipos de objetivos educativos que se corresponden con tres dominios de la

personalidad. El primer dominio es la cognición o dimensión del conocimiento y cómo se manifiesta éste en la expresión memorística, la comprensión, la aplicación, el análisis, la síntesis y la evaluación de conocimientos por parte del alumno. El segundo es la dimensión afectiva o cómo logran los estudiantes desarrollar una cosmovisión propia y autónoma. El último es la dimensión psicomotora o desarrollo de habilidades instrumentales. De esta manera, la formulación del currículo, su aplicación y la evaluación de los alumnos debían tener como propósito la verificación del desarrollo y la aplicación curricular en toda sus dimensiones [véase Taxonomía de los objetivos de la educación]. En la década de los sesenta se observó una sobreabundancia de propuestas no sólo de definiciones sino también de modelos de evaluación, y surgió lo que se ha llamado la «investigación evaluativa». Al respecto, algunos autores son de particular importancia. Robert E. Stake, por ejemplo, propuso en 1967 que la evaluación se entendiera como un proceso sistemático de emisión dejuicios basado en una descripción de las discrepancias entre las ejecuciones de estudiantes y profesores y los estándares del aprendizaje y de la enseñanza previamente definidos. Estos estándares se determinaban a partir de los resultados del aprendizaje y de los procedimientos de enseñanza que se obtienen con otros currículos similares [véase «The Countenance of Educational Evaluation», pp. 523 540. M. Scriven, también en 1967, propuso un modelo de «evaluación sin metas» cuyo propósito era evaluar los efectos de un programa en relación con un perfil (demostrado y medido) de necesidades educativas. En su concepción, la evaluación debía ser una determinación sistemática y objetiva del mérito de un programa educativo respecto de la satisfacción de esas necesidades. El procedimiento consistía en que un evaluador independiente emitiera un juicio, basándose en las evidencias acumuladas de los efectos del programa y en la comparación de éste con programas similares que potencialmente satisfacían el mismo tipo de necesidades. Se denominó evaluación sin metas porque sus referencias no eran los objetivos educativos sino otros programas similares [véase «The Methodology of Evaluation», y una crítica a su propio planteamiento en «Pros and Cons About Goal-free Evaluation», pp. 1 4]. A principios de los años setenta, Daniel L. Stufflebeam definió la evaluación educativa, a partir de su relación con procesos de planificación, como una actividad que provee información para la toma de decisiones. Sostiene que en la planeación se toman básicamente cuatro tipos de decisiones: elección de metas u objetivos, estructuración de procesos, ejecución y reciclaje. Esta argumentación dio origen a su modelo Contexto, Insumo, Proceso, Producto (cipp). Con base en estos tipos de decisiones se estructuran cuatro formas de evaluación. De contexto, que mide necesidades de información o problemas para dilucidar rutas de acción de quien debe tomar decisiones en la aplicación de un programa educativo determinado. Evaluación de insumos, con propósito de establecer los requerimientos estructurales, humanos, de infraestructura, etc., para poner en marcha un programa. Evaluación de procesos, que define la precisión o corrección de los procedimientos de ejecución de un programa educativo. Evaluación de productos, que determina los resultados y la efectividad del programa. El primer tipo de evaluación debe ser continuo; los otros dependen de los requerimientos de los procesos de decisión. La evaluación es un proceso para delinear, obtener y aplicar información descriptiva y expresar juicios acerca del mérito de un objeto educativo

(programa, proyectos, currículo, etc.) tal como lo prescriben sus metas, estructura, proceso y productos (véase Educational Evalualion and Decision Making). Durante la misma década, R. E. Stake creó otro modelo de evaluación llamado «evaluación receptiva» (responsive evaluation). Con este modelo, el autor propuso un cambio, considerado radical en su momento, en la forma de concebir los procesos evaluativos: argumentó que la insistencia en la precisión de las mediciones no proporciona una base para el mejoramiento de los programas educativos. Consideró por tanto que las evaluaciones debían tener como propósito primordial su utilidad en razón de las preocupaciones e intereses de las personas que participan directa o indirectamente en las actividades educativas, tanto de quienes aplican los programas educativos como de quienes se benefician de ellos. El modelo receptivo se dirigía al análisis del contenido y de las actividades de los programas y no a la consecución de las metas u objetivos; responde a requerimientos de información de las personas involucradas en las actividades educativas. El juicio acerca del éxito o el fracaso del programa se expresaba con las perspectivas de los diferentes grupos de interés, lo cual suponía una interacción con ellos para que comunicaran sus necesidades, así como un acuerdo previo acerca de la configuración de los resultados de la evaluación [véase «Program Evaluation, Particularly Responsive Evaluation», pp. 287 309. Elliot Eisner en 1976 propone un procedimiento de «evaluación por expertos», basado en la crítica o el juicio de un individuo profesional, con experiencia y conocedor del objeto que se evalúa. Para este autor la crítica tiene tres niveles: el descriptivo, el interpretativo y el evaluativo propiamente. La validez de la crítica se basa en dos procesos que debe tener el juicio. El primer proceso consiste en la corroboración estructural, la cual se dirige a demostrar que la conclusión se fundamenta en la existencia de un conjunto de características y condiciones que conforman el objeto de evaluación. El segundo es la adecuación referencial que constituye la prueba empírica de la existencia de esas características y condiciones descritas, interpretadas y evaluadas [véase «Educational Connoisseurship and Criticism: Their Form and Functions in Educational Evaluation», pp. 135-150]. Algunas otras definiciones propuestas en países iberoamericanos tienen una marcada influencia de los planteamientos estadounidenses en esta materia. Por ejemplo, dos de las definiciones de la evaluación que se han hecho en México indican que «la evaluación en la educación superior es un proceso continuo, integral y participativo que permite identificar una problemática, analizarla y explicarla mediante información relevante, y que como resultado proporciona juicios de valor que sustentan la consecuente toma de decisiones» [Asociación Nacional de Universidades e Instituciones de Educación Superior, La evaluación de la educación superior en México, pp. 22-23. Otra definición posterior en este mismo país elimina la mención a factores de participación de las comunidades escolares, de manera que se entiende la evaluación como un proceso permanente que permite mejorar de manera gradual la calidad académica. En consecuencia, debe incorporar un análisis a lo largo del tiempo de los avances y logros, identificar obstáculos y promover acciones de mejoramiento académico [véase Secretaría de Educación Pública, Evaluación de la educación superior, pp. 41 42]. La bibliografía no muestra mayor análisis de la definición del tema. La importancia que empezó a tener la evaluación a partir de 1970 se puede medir por el hecho de que en las

enciclopedias de principios de esa década y en anteriores no aparecía el término [véase por ejemplo L. C. Deighton, The Encyc1opedia of Education], y ya para los años ochenta aparecía en todos los diccionarios y enciclopedias de uso de los educadores, psicólogos, pedagogos y profesionales de las ciencias sociales y otras disciplinas, como las biomédicas y las ingenierías. Una de las definiciones más recientes dice que «la evaluación viene hoy referida sobre todo como control de la calidad, tanto en lo que se refiere a las tareas de aprendizaje como a los resultados más generales de las instituciones e incluso del sistema educativo» [véase J. L. García Garrido, Diccionario europeo de la educación, p. 256]. Las definiciones descritas tienen elementos característicos de los procesos evaluativos, de los que se pueden hacer algunas reflexiones. a) Todas las definiciones se refieren a uno solo de los objetos de la evaluación, los programas, y omiten mencionar la evaluación de los estudiantes, del personal docente y administrativo, del currículo, de los materiales de instrucción (aunque a veces éstos se tomen como sinónimo de programa, para mayor confusión) y de las organizaciones e instituciones educativas. Se aplican términos y principios como los de diagnóstico formativo y sumativo a todos los objetos por imitación extralógica, sin considerar sus propias determinaciones y la situación concreta de la evaluación, por ejemplo, es absurdo pensar en una evaluación formativa al personal docente si no es en el contexto del análisis de un programa de innovación administrativa en marcha. b) Las definiciones y los modelos se pueden diferenciar entre los que subrayan como base de juicio los estándares y las comparaciones con programas o situaciones educativas ajenas al proceso mismo que se evalúa, y aquellos que se basan en los propios objetivos del programa o necesidades de las personas que participan en las situaciones educativas objeto de análisis. En términos de la disciplina, es la diferencia entre la evaluación con base en normas y la evaluación con base en criterios; la norma o el criterio se consideran expresión de calidad y, en última instancia, de valor Pero aún cuando son su expresión, no son el valor en sí y con toda legitimidad se puede preguntar sobre la validez del estándar o del criterio respecto de los valores que se desean expresar. Sólo cuando se responde a la pregunta directa de: ¿Qué valor tiene la educación y cómo se manifiesta este valor? se empieza a dilucidar el sentido de la institución respectiva; sólo cuando se pregunta: ¿Qué valor tiene la educación para ti?, ¿es el mismo valor para todos, o cuando menos para los de la comunidad escolar en la que participas? y, una vez reconocido esto y acordados los valores comunes entre los participantes de las relaciones escolares, se puede pasar a la pregunta metodológica de: ¿Cuál es la expresión válida para nosotros del valor que le damos a la educación?; con ésta finalmente se puede iniciar un análisis de utilidad para el mejoramiento de las relaciones educativas, de enseñanza y aprendizaje. c) A pesar de que algunos modelos reconocen la importancia de la participación, todas las definiciones corresponden a una sola idea paradigmática de la evaluación, esto es: el juicio crítico es válido en tanto que lo emiten individuos profesionales y expertos. Scriven afirma que la evaluación sólo puede ser considerada una disciplina científica cuando el evaluador no eluda asumir la responsabilidad de emitir juicios no sólo con base en los valores expresados por otros, sino sobre la idea de verificar si esos valores son correctos y verdaderos [véase Evaluation Thesaurus, pp. 29 32); y en el mismo

tenor se encuentran todos los evaluadores profesionales de tradición estadounidense [véase L. J. Cronbach, «Course Improvement Through Evaluation», pp. 101-115. Esto nos lleva a un problema ético y a otro técnico respecto de la pretensión transdisciplinaria de la evaluación. Por un lado, la pregunta sobre el principio ético se refiere a la autoridad moral del evaluador y el derecho y la legalidad de erigirse en juez de la verdad de los valores de una actividad social como lo es la educación. Scriven ilustra con una analogía la necesidad de salvar el obstáculo: no basta que un químico nos diga que un medicamento está compuesto de los elementos químicos adecuados y que están balanceados de manera correcta, sino que es necesario que nos diga si de verdad cura la enfermedad para la cual se prescribe. La otra pregunta es sobre la capacidad disciplinaria de un evaluador, si puede aplicarse lo mismo a diferentes campos de la actividad humana sin conocer a profundidad tal o cual campo. La experiencia nos lleva a una respuesta negativa: un ingeniero, un matemático o un economista juzgarán la educación imponiendo sus principios por una necesidad de lógica y vocación profesional, y hasta el momento no se conoce la forma de hacer análogos esos principios ni experiencias con las que se hubieran complementado. No hay por el momento una formación de evaluador transdisciplinario como tal. Podemos intuir la existencia de un razonamiento complementario a la responsabilidad profesional del evaluador. Si se atiende al sujeto que expresa los juicios y se aplican los procedimientos, existe cuando menos otro paradigma de evaluación constituido por el conjunto de juicios autocríticos que las comunidades escolares, sujetos de la educación, hacen respecto de las instituciones, sistemas y procedimientos escolares propios; así el evaluador no se exime de participar en la expresión de juicios, pero no impone su idea, sino que en un proceso de comunicación convence y se deja convencer de la verdad y primacía de ciertos valores. Es evidente que se podría construir un paradigma integrador de los dos extremos; de hecho, los procedimientos de certificación de la calidad de instituciones en Estados Unidos, Francia e Inglaterra utilizan el autoestudio, cuyos resultados son verificados por grupos de expertos externos a las instituciones. Un procedimiento similar se utiliza en México durante la evaluación de programas académicos realizada por el Comité Interinstitucional de Evaluación de la Educación Superior (CIEES). d) Todas las definiciones descritas proponen que el fundamento de la evaluación sea un referente empírico: los objetivos, el modelo o programa tal como ha sido concebido, un estándar, etc. En ninguna definición se incluye la especificación de valores absolutos, más bien el juicio se refiere a cualidades relativas o instrumentales del objeto, como su mérito, su eficiencia, su eficacia y su pertinencia, de forma que se emite un juicio que implica como valor la utilidad del objeto para propósitos previamente definidos. Se asume con esto que tales referentes son correctos o adecuados en sí mismos, que tienen un valor instrumental porque son base de juicio para determinar el estado en el que se encuentran los procesos educativos. La insistencia en factores empíricos manifiesta una preocupación por los prejuicios o las arbitrariedades de corte subjetivo en los que pudieran basarse juicios negativos. Sin embargo, por su naturaleza, todos los criterios de evaluación son subjetivos y, por lo tanto, ningún juicio evaluativo es completamente objetivo. Inclusive cuando el evaluador no haya participado en la definición de las referencias ni en la compilación de información, está condenado a hacer elecciones entre diferentes estándares o criterios de

juicio, y la justificación de sus elecciones son sus preferencias, lo que considera mejor desde cualquier punto de vista: experiencia, teoría educativa, informes de investigación, etc. En cuanto a las preferencias de valor individuales o de grupo dentro de una comunidad escolar, las referencias empíricas no eliminan la subjetividad del juicio y esto lo sabe cualquier evaluador con experiencia. Lo que puede eliminar el prejuicio y la percepción de arbitrariedad es acordar lo que es arbitrario (que depende del arbitrio, del juicio). El acuerdo es importante aquí pues no hay valores que se puedan expresar por sí mismos, sino que se manifiestan por la facultad de los individuos y de las comunidades escolares de adoptar una resolución con preferencia respecto a otra. Para algunos autores los valores se generan por voluntad, y esta generación impulsa los deseos y las acciones hacia las metas que la valoración establece como idóneas. El valor es lo que para determinado sujeto vale desde el punto de vista moral (la acción con principios), político y estético; el valor es algo que ocupa el primer lugar entre las preferencias de la gente, pues le da sentido a su existencia. De aquí que el acuerdo previo a la evaluación debe ser el de la definición de lo que se considerarían las expresiones positivas de valor y sus contradicciones, porque la valía no es del objeto mismo, sino de quienes han acordado percibirlo valioso cuando se manifiesta de cierta manera o con ciertas características y en situaciones específicas. e) En algunas definiciones, el contexto de la evaluación y del objeto evaluado es sólo una referencia más, y en otras es determinante. Esto significa que algunos modelos de evaluación definen el valor de un programa en relación con la posibilidad de generalizar su aplicación, en tanto que el contexto de lo valorado sea similar al de la aplicación generalizada del programa; mientras que otros consideran asuntos como la dinámica de las circunstancias de una situación educativa que, en consecuencia, tiende a modificar la efectividad de los procesos escolares. El deseo de generalización se fundamenta en una concepción científica de la evaluación y en el paradigma metodológico de la investigación evaluativa. La consideración de las circunstancias (Scriven las llama las necesidades) fue un intento de trascender las investigaciones evaluativas que frecuentemente arrojaban resultados no concluyentes respecto de la efectividad de un programa frente a otro, o frente a la educación tradicional. Esta consideración es una ruta incipiente a lo que más adelante consideraremos una concepción heurística y situacional de la evaluación, en la medida en que los procedimientos empleados se dirigen a establecer las condiciones para que se efectúe una evaluación, según la dinámica de las relaciones educativas que se presentan en la institución específica. f) Todas las definiciones y sus modelos evaluativos correspondientes consideran que la evaluación es una tarea de excepción en relación con las actividades cotidianas de la institución escolar.

Esto es así porque los autores mencionados han sido investigadores en su mayoría y han aplicado sus procedimientos para demostrar la efectividad de programas educativos innovadores, generalmente alternativos a los procesos educativos tradicionales. La evaluación como una actividad de excepción se aplica igualmente a la evaluación de instituciones o a la curricular. De aquí que las comunidades escolares la perciban como

una actividad adicional a las cargas de trabajo regular y como una imposición sobre su propia idea de lo que debería constituir un proceso de revisión. Considero que, así como sucede en otras disciplinas y actividades, el proceso de análisis constante de la efectividad y de la calidad de los procesos de enseñanza tendría que formar parte de las actividades regulares de una institución y una de las tareas de un evaluador debería ser mostrar cómo se logra esta regularidad. g) Algunos de los modelos en los que las conclusiones valorativas se sustentan en un estándar o ejemplo externo a la institución suponen que el propósito de la evaluación es definir la efectividad del programa tal como se planificó, de manera que la realidad no se considera como una contingencia a la cual debe ajustarse el programa sino al contrario: se presupone que las circunstancias reales pueden ser modificadas o controladas mediante la programación educativa. Todo educador sabe que esto no es así. Cualquier planificación se modifica por fuerza de variables y condiciones de todo tipo: económicas, normativas o legales, de dinámica de relaciones escolares, de política educativa, de tradición y creencia, etc., de modo que cualquier proceso de evaluación debe estar planificado igualmente, pero los procedimientos y las expectativas de información y de resultados deben modificarse de acuerdo con la situación específica de cada institución. h) Todas las definiciones establecen con claridad la relación entre la evaluación y la planificación, de manera que la primera tiene como función retroalimentar los procesos de planificación; esto es lo que se considera racionalmente lógico. De hecho ambos procesos tienden a imbricar sus funciones con propósitos muy precisos, sobre todo en lo que se refiere a planificación y evaluación institucional y curricular, como en el caso de la especificación de la viabilidad de un programa o proyecto, el control de la ejecución del proceso planificado y el registro de los resultados. Sin embargo, todos los modelos mencionados obvian la pregunta acerca del sentido de la educación y acerca de sus instituciones, que es una pregunta de planificación anterior a las concreciones instrumentales de los programas de innovación. ¿OTRA DEFINICIÓN? Los puntos anteriores incluyen algunos de los múltiples aspectos que las definiciones propuestas por los evaluadores de tradición estadounidense y europea no abarcan, pues estos últimos toman de aquéllos las configuraciones teóricas y conceptuales. El dilema de proponer o no una definición más del tema tiene puntos negativos pero también positivos para la elaboración metodológica e instrumental de estos procesos. La crítica a las definiciones aclara la restricción conceptual de la disciplina y la necesidad de encontrar una de carácter universal o que esté en camino de aplicación general con una perspectiva transdisciplinaria, mediante respuestas a preguntas como: ¿qué tienen en común una evaluación económica y una educativa? Sabemos que la evaluación es la expresión de un juicio con fundamento en un valor; pero entre la observación y el juicio sucede todo tipo de cosas que, cuando menos en este libro, sólo nos puede conducir a una respuesta en una de las aplicaciones de la evaluación: el ámbito de la educación. Sabemos, por otro lado, que una definición más, a partir de una de sus aplicaciones, favorece la confusión sobre la universalidad teórica de la evaluación y alienta el debate sobre lo que no es la disciplina, en vez de ubicar la búsqueda de sus términos

universales. Sin embargo, algunas de las características de las aplicaciones de la evaluación pueden apuntar hacia la universalidad de los términos de la disciplina, entre ellos, la expresión de un juicio con fundamento en valores; la ubicuidad de la evaluación; el razonamiento metodológico, como la comparación de hechos con valores; y la aplicación de procedimientos transdisciplinarios, como la lógica, la estadística, la psicología, el derecho, la sociología, la antropología, la etnología y, de manera fundamental, la ética y la política. Evaluar la educación significa determinar la presencia de atributos en sus elementos constituyentes que de antemano se han apreciado como valiosos. Pero no basta la sola presencia de esos atributos, la evaluación está relacionada también con una forma prototípica de cumplimiento de la misión educativa. La tarea esencial de la evaluación es esta doble verificación: la presencia de atributos y el cumplimiento de la misión. Atributos y misión son configuraciones creadas o seleccionadas de un conjunto de configuraciones posibles que el acervo cultural de una sociedad proporciona y considera valiosas en sí mismas o en razón de determinaciones históricas y circunstanciales. Sin embargo, la pregunta sobre quién crea o selecciona ese conjunto de valores y configuraciones nos lleva a reconocer la necesidad de ubicar la participación de los individuos y los grupos de una institución y la del evaluador, cuyos instrumentos se emplean para dilucidar procesos y resultados de una manera veraz y confiable. La veracidad de los resultados permite a los interesados expresar juicios con fundamento en información rigurosamente analizada y reconoce la historia y la dinámica mutable de las instituciones escolares. Este tipo de evaluación procede, en primera instancia, a definir el método y las circunstancias políticas y éticas de quienes desarrollan el proceso de análisis. Una definición de la evaluación de las actividades educativas debe dar respuesta a las determinaciones siguientes: - La verdad de los valores tiene un sentido social y no sólo personal. - En consecuencia, es necesario validar los valores en los que se apoyan los juicios. - La evaluación se desarrolla en un espacio institucional que forma parte de un sistema mayor legalmente constituido, y las alteraciones en éste tienen consecuencias para el funcionamiento de la institución individualmente considerada. - Todos los objetos susceptibles de evaluación constituyen elementos de un sistema mayor, como una institución, y su alteración tiene consecuencias para todo el sistema. - La responsabilidad de las comunidades escolares en las actividades evaluativas. - La eficiencia técnica, la confiabilidad de los resultados y la validez de las conclusiones y juicios. - La utilidad de la evaluación para mejorar las actividades educativas. Llamaremos convencionalmente evaluación al proceso de comunicación de una comunidad escolar cuyo objeto es la identificación de los atributos del sistema de

educación institucional, que constituyen la esencia, la naturaleza y la estructura de la institución respectiva, para calificarlos y determinar sus virtudes y defectos; su fin último es el mejoramiento de la formación de los individuos. MÉTODO Y VALOR PARA EVALUAR LA EDUCACIÓN. El método para la evaluación de la educación sigue el curso de razonamiento equivalente a cuando se enuncia un juicio acerca de las virtudes o defectos de un acontecimiento, en cualquiera de los órdenes de la vida social o privada. Si se dice «esta escuela es buena», la persona que expresa esta idea se basa en un concepto de bueno, que puede definirse por medio de la pregunta: ¿Qué es para ti una buena escuela?, y en la observación de ciertas características de la cosa referida, que se manifiestan en la pregunta: ¿Por qué dices que es buena? La diferencia entre este tipo de afirmaciones y las evaluaciones metodológicamente correctas es que en estas últimas los juicios se sustentan en la conciencia de lo que ha de considerarse bueno y en la comprobación de la presencia de los atributos de una buena escuela. Es decir, la verificación de las virtudes o defectos de una escuela, de un programa o de un profesor se basan: 1) en la definición de lo que es bueno o malo, correcto o incorrecto, virtuoso o defectuoso, etc., y 2) en la información confiable acerca de las características que realmente tiene el objeto que se somete a evaluación. Para explicar qué hacemos cuando evaluamos tenemos que recurrir a la noción de método, y más precisamente a la de método de evaluación. El significado de «método» denota una forma de razonar, una forma de proceder, una regla de procedimiento; indica orden, secuencia y disciplina en la aplicación de procedimientos. En las ciencias, el método es todo procedimiento disciplinario que se aplica para encontrar la verdad. La evaluación forma parte de las ciencias sociales y como tal está obligada a encontrar la verdad de las cosas; la singularidad de este proceso es que existe un problema con la verdad. Para decirlo con mayor precisión, la verdad es doble: la de los valores (porque no hay valores falsos; puede haber antivalores, pero esto es otra discusión) que se personifican, es decir, la veracidad es para alguien en tanto que se basa en una preferencia valoral, y la verdad de hecho, que surge de las actividades educativas tal como se llevan a cabo. Como forma de razonar, la evaluación se compone de dos premisas o términos y una conclusión basada en esas dos verdades, que son las que definen un método de tipo evaluativo, diferenciándolo del de otras disciplinas o formas de proceder. La primera premisa expresa los valores que, de acuerdo con la ideología colectiva e individual, deben dirigir la educación de los individuos, las instituciones educativas, los programas de docencia y, en general, el proceso de enseñanza y el de aprendizaje. Denominaremos marco de referencia a la primera premisa del razonamiento valorativo. Los marcos de referencia son criterios, parámetros, patrones de funcionamiento, normas mínimas o estándares organizados para conformar un modelo de buen funcionamiento o un prototipo de calidad de los programas, instituciones, profesores, etc. Su función es constituirse en parámetro para la comparación de los resultados y procesos educativos, guiar la recopilación de información y darle un significado a esta información. En tanto que estas definiciones se alimentan no sólo de teorías educativas sino de idearios y expectativas sociales acerca de las funciones que debe cumplir la educación, su constitución es únicamente producto de una actividad política, es decir, de la

determinación del mejor estado educativo respecto a determinadas circunstancias históricas, sociales, económicas y culturales. La segunda premisa describe los hechos y actividades de una institución escolar, tal cual se realizan en la realidad. El procedimiento es empírico, de comunicación, compilación y tratamiento de datos; de observaciones y testimonios. Se compone de toda la información útil relacionada con los resultados y los procesos educativos. La información puede ser cualquiera que sirva a los fines de la evaluación, como la que se obtiene por medio de la medición de indicadores simples o de desempeño; del análisis de procesos administrativos o académicos; de los análisis de expertos; de la verificación de tareas o actividades de los participantes en los procesos de enseñanza administrativos o de gobierno; así como de la opinión de los beneficiados de las actividades escolares por medio de encuestas, entre otros. Es decir, mediante cualquiera de los procedimientos y técnicas afines al carácter de ciencia social de la educación. Las dos premisas se comparan entre sí y se obtienen enunciados que describen las semejanzas y diferencias entre el marco de referencia y la información obtenida. A su vez, estos resultados fundamentan las conclusiones y los juicios sobre la educación, sus programas, sus instituciones, los administradores, los profesores y los alumnos; tales juicios se expresan con términos como «eficiente», «vigente», «pertinente», «congruente», «aprobado», «actualizado». Valores para la educación. (caracterización de los valores). Todo juicio, toda opinión y toda predisposición respecto de las tareas educativas y las instituciones que las efectúan tienen como premisa un corpus axiológico, el cual se relaciona con las ideas fundamentales que caracterizan el pensamiento de una persona y colectividad en una época determinada (cultural, religiosa o políticamente), y con las expectativas acerca de lo que puede ofrecer una escuela (4). De esta manera, la primera tarea de un proceso de evaluación es la que trata de definir o explicar estos valores. La evaluación se hace dentro de los marcos culturales y patrones educativos para los que comúnmente se argumenta como innecesario especificar el fundamento valoral; esto se debe a una disposición colectiva para entender la educación de una forma más o menos homogénea. Sin embargo, por evidentes que sean los valores, esta primera definición resulta fundamental puesto que los valores tienen historia, es decir, son dinámicos y mutables; lo que es correcto en un tiempo puede no serlo en momentos ulteriores o lo que está bien en una situación puede no estarlo en otra. De aquí la complejidad de la definición de los valores. En algunos países con tradición liberal arraigada, por ejemplo, las características de la educación pública, gratuita y laica se convirtieron en valores constitutivos de la educación nacional impartida por el Estado; sin embargo dichos atributos parecen disonantes con los movimientos económicos en boga, que promueven el individualismo radical, contradictorio con el espíritu de igualdad de oportunidades implícito en los valores señalados. La actividad determinante de la valoración es una apreciación individual que debe ser compartida con otros; no tiene ninguna utilidad una evaluación unipersonal para el conjunto de la comunidad escolar. Sin embargo, debe tomarse en cuenta que las

instituciones educativas tienen como misión social construir las condiciones para una formación prefigurada de los individuos, y esta construcción sólo puede ser definida, seleccionada o asumida por los mismos individuos establecidos en sociedad sobre la base de la comprensión de su propia realidad. Estimar, querer, proporcionar bienestar y ser útil son las premisas en las que se basa un juicio para determinar si la educación es valiosa. La definición de los valores educativos constituye lo que se considera que debe ser la misión formativa de los individuos, así como la forma específica de la relación de las personas en un contexto educativo (profesores y alumnos, políticos y administradores) constituye la condición de las actividades evaluativas. Con lo anterior se entiende que en principio existe una correlación intrínseca entre los valores que un individuo atribuye a la educación y aquellos que ha elegido la sociedad para la fundación de las instituciones. Se entiende también que por su carácter ambiguo e histórico y por su tendencia a la universalidad, puede haber conflicto en cuanto a la preeminencia de los valores entre el individuo, su grupo social y otros sujetos, como los representantes del Estado educador: los administradores públicos y los políticos del servicio educativo. Los valores ganan y pierden jerarquía por factores de dinámica social y circunstancias económicas, políticas y científicas que de suyo son mutables, así como por la ubicación de los individuos en el espectro social que compone el sistema educativo de cada país. De manera que puede haber contradicción o diferencia entre los valores de los individuos, de los grupos establecidos de una institución y de los grupos externos. Como consecuencia de esta situación, la primera tarea de un evaluador debe ser identificar y consensuar dichos valores entre los grupos de referencia. En este proceso el evaluador debe eliminar, hasta donde es posible, los rasgos de ambigüedad de los valores, aclararlos, definir sus términos y traducirlos a elementos empíricos. En otras palabras, debe caracterizarlos. Para el evaluador es fundamental comprender el carácter de los valores atribuidos a la educación, pues su definición determina la consecución de una evaluación. Sin esta definición no es posible evaluar ya que se desconoce el atributo que debe ser identificado y calificado en el proceso de evaluación. Para este propósito se parte del análisis de situaciones educativas concretas, que remiten a preguntas como: ¿Qué funciones debe cumplir la educación? ¿Cómo deben ser las instituciones? ¿Qué tipo de formación debe dar? ¿Qué es una enseñanza de buena calidad? ¿Cuál es la apreciación social respecto de una institución? Las respuestas a estas cuestiones se construyen de acuerdo con nociones acerca de lo que es la cultura, lo que debe ser la civilización y las cualidades que debe tener el hombre educado, es decir, con fundamento en los valores que tienen primacía en lugares y épocas históricas determinadas. Al mismo tiempo, las respuestas se relacionan con las necesidades y expectativas que el conjunto social tiene respecto de la educación. De esta forma, la caracterización de los valores es una descripción de las cualidades que debe tener la buena educación. Esta caracterización sintetiza el espíritu de los tiempos a la vez que necesariamente implica una toma de postura frente a los debates acerca de la educación como institución social; en consecuencia, tiene un componente político. Este componente se manifiesta en acuerdos sociales para la primacía de ciertos valores y debe dar como resultado la especificación de derechos y obligaciones de las administraciones gubernamentales, de los individuos y de la sociedad civil respecto a

las instituciones educativas. La acción política se concreta en las instituciones (con la libertad pertinente), en los idearios y modelos educativos y, en un grado de instrumentación de las actividades escolares, en los proyectos de mejoramiento y de innovación tecnológica, así como en las directrices que cada centro escolar establece para el cumplimiento de sus fines. Estas formas de concreción de los valores educativos tienen diferentes grados de abstracción y su definición únicamente puede ser resultado de un acuerdo entre quienes administran el Estado con responsabilidades educativas en beneficio de los habitantes de un país, los creadores de las instituciones escolares y quienes realizan las tareas de formación de individuos. Para evaluar con los instrumentos que en la actualidad forman parte de los procedimientos técnicos del evaluador, el acuerdo de principio en cuanto a los valores debe traducirse a elementos aprehensibles empíricamente, que se manifiesten de alguna forma significativa como referencia a dichos valores. Una de las soluciones al problema de la caracterización de los valores educativos ha sido la construcción de algunos conceptos que concretan y describen atributos de la educación, en los que subyacen las cualidades de la misma. En el léxico técnico de la evaluación, a estos conceptos se los denomina «objetivos», «metas», «criterios», «parámetros», «normas de referencia», «patrones», «estándares de calidad», «normas mínimas de funcionamiento », etc. Su definición conformaría el marco de referencia para la expresión de juicios acerca de las virtudes de un programa de estudios, de un proyecto de innovación educativa, de una institución escolar, etcétera. Una dificultad respecto de la traducción de los valores a elementos empíricamente aprehensibles tiene un componente técnico, pues no hay acuerdo universal sobre los términos de cada uno de los conceptos señalados, por lo que debe seleccionarse la definición más adecuada al caso concreto. También tiene un componente político que se manifiesta en la necesidad de una selección pública de un compromiso manifiesto que debe ser compartido e incita a convencer a otros de la alta jerarquía de esos valores y sus traducciones empíricas y a dejarse convencer por la jerarquización de otros. En otras palabras, la caracterización de los valores necesita un ejercicio de democracia, de argumentación y racionalidad de las comunidades educativas. Información para evaluar. La segunda premisa de los análisis evaluativos se compone de la información compilada y analizada. Como su significado lo indica, la información consiste en dar noticia de algo, dar forma sustancial a una cosa. Este algo o cosa es el objeto materia de evaluación. Con mayor precisión, información significa averiguar la realidad de las cosas educativas, de las actividades escolares que en conjunto tienen como propósito la formación de los individuos. La información para realizar una evaluación nos remite a las preguntas de sobre qué se necesita información y cuál es el carácter de la información relevante. Para esto debemos conocer la constitución del objeto: la naturaleza, las características y los elementos de la educación, para saber qué información se puede obtener. La respuesta a estas cuestiones condiciona el razonamiento instrumental, la tecnología y los procedimientos de evaluación que se emplean para conocer los atributos de la enseñanza

y de los establecimientos escolares. Por ejemplo, si concebimos la educación como sustancialmente constituida por comunicaciones relevantes para el desarrollo intelectual y moral de los individuos, la evaluación sería una; si preferimos definirla como un medio de aprendizaje y formación instrumental de los individuos, la evaluación sería otra y, por lo tanto, el tipo de información relevante sería distinto en cada caso. No argumentaré en favor de alguna definición, pues no es el propósito de este libro. Sólo diré que el tipo de evaluación aplicada desenmascara la concepción educativa subyacente, y que las circunstancias políticas de las instituciones establecen la posibilidad de las evaluaciones y a esto debe atenerse el evaluador profesional. Para identificar el objeto de evaluación podemos centrarnos en las posibles configuraciones de las instituciones educativas como organizaciones de individuos cuyos propósitos son comunes, si no es que afines, que se manifiestan en el contexto de las relaciones que ellos mismos establecen para el funcionamiento de la institución específica. Estas relaciones son fundamentalmente de enseñanza y aprendizaje, pero también administrativas, laborales, gremiales, de planificación y de evaluación. De esta manera nos centramos en las manifestaciones de la concepción educativa subyacente, no en la concepción misma, siempre más compleja y controversial. Las manifestaciones educativas (producto de las relaciones en una comunidad escolar) son la forma sustancial de la institución respectiva, lo que constituiría la información. El sentido de los objetos educativos que tradicionalmente son materia de evaluación (programas, currículo, materiales de enseñanza, personal docente y administrativo, aprendizaje de los alumnos e institución) se reubican como parte de un sentido más general y comprensivo: el de la educación impartida en una institución creada ad hoc. De manera que estamos en un terreno mucho más amplio que el señalado en la bibliografía de evaluación educativa. Una forma de caracterizar las manifestaciones educativas por medio de la información es aquella con la que se pueda: Describir las relaciones constituyentes de una realidad educativa. Describir los elementos estructurales y normativos de la institución y las formas específicas de realización de éstos. Explicar la forma de organización de las relaciones de la comunidad escolar en el contexto de lugares, tiempos, resultados, etcétera. Identificar las singularidades y los conflictos de los elementos de la organización y de las relaciones de los elementos. Configurar los modelos de funcionamiento reales y los ejemplares. Predecir, con un grado aceptable de certeza, el comportamiento futuro de la organización mediante la prospección de los datos o de esos modelos. Comparar una actividad similar en otras organizaciones afines. La información puede ser cualquier dato que dé noticia del estado en el que se encuentra la institución y las relaciones educativas, administrativas y de dirección, que pueda

conducir por las configuraciones señaladas. Puede ser cualquier dato estadístico que se encuentre en los sistemas informáticos de la institución; los testimonios de los participantes en las relaciones educativas; la expresión, por cualquier medio, del grado de satisfacción de los beneficiarios con el servicio educativo; los registros de observaciones; la consulta a expertos, y los registros documentales de la institución, entre otros. Las preguntas metodológicas son: ¿Qué información se necesita? ¿Cómo reconocer qué se informa? ¿Quién proporciona la información? Para contestar la primera pregunta es necesario considerar qué la información que se compila no es indiscriminada sino que el procedimiento de búsqueda de datos está dirigido por los propósitos de la evaluación, y que la información se selecciona y en algunos casos, como el de la opinión de los beneficiarios o de la consulta a expertos, se crea. Por ejemplo, si la evaluación tiene por objetivo la negociación de presupuestos y subvenciones sólo es necesario medir los indicadores correspondientes a la eficiencia institucional, como generalmente se han establecido en las administraciones públicas gubernamentales o en las agencias de financiamiento (porcentaje de graduados, promedios de aprovechamiento, etc.. Pero si se quiere conocer la satisfacción de los profesores con su situación laboral, habría que elaborar una encuesta de opinión, realizar entrevistas testimoniales, configurar modelos o tipologías de contratación y promoción laboral, y revisar políticas y reglamentos, entre otras acciones. Para las dos preguntas siguientes proponemos considerar una noción de objetos de evaluación con base en el concepto de sistema [véase L. Von Bertalanffy, Teoría general de sistemas]. Los objetos de la evaluación educativa se definen a partir de cualquier entidad formada por una estructura con funciones relacionadas entre sí, identificables de una manera relativamente inequívoca, que complementa o se sobrepone y en ocasiones sustituye a la estructura reglamentaria de la institución educativa de que se trate. Esto no significa que la estructura formal no sea objeto de análisis; todo lo contrario: partiendo de ella se identifican las estructuras de funcionamiento, que se observan como un mismo proceso, ya sea que formen parte de una sola o de más instancias funcionales. Por ejemplo, de manera análoga a la percepción de la enseñanza como un proceso asociado con el aprendizaje, independientemente de que participen sujetos diferentes, el caso de la administración de una institución educativa sólo puede tenerse en cuenta por medio de sus relaciones de apoyo con los diferentes procesos educativos. El esfuerzo por definir estos objetos tiene relación con la necesidad de volver asequible la complejidad educativa y reconocer la dinámica real de las entidades institucionales mediante la identificación de lo que subyace a la clasificación usual del sistema educativo en su conjunto. Al respecto, el análisis del objeto de evaluación comprende varias referencias sistémicas. La primera se relaciona con la división entre modalidades: formal (escolarizada y abierta) y no formal. Una segunda referencia incluye la división de la educación en niveles: preescolar, primaria, secundaria, superior media y superior. La tercera puede implicar el espacio formal que provee las condiciones infraestructurales para las oportunidades educativas: aula, institución, nivel, modalidad, subsistema, etc. La siguiente referencia abarca todos los instrumentos en los que se apoya la actividad escolar: currículos, programas, proyectos, bibliotecas, laboratorios y espacios de recreación, entre otros. Podemos definir también, por ejemplo, dentro de la caracterización de una institución, su sistema de gobierno, el sistema reglamentario, el

sistema para los procesos de aprobación de reformas, los procesos de contratación, los exámenes de oposición y el ascenso de profesores. Todas las posibilidades de concepción de sistemas y de sistemas dentro de sistemas constituyen los objetos posibles de evaluación educativa. Josu Landa propone el concepto de «microsistema operativo» para profundizar en el análisis de los complejos de relaciones que subyacen a las clasificaciones sistémicas usuales y para definir a algunos de los objetos de la evaluación. El término designa todo espacio de la estructura de cada institución educativa que puede ser diferenciado porque desempeña una función concreta y limitada, en virtud de que alienta procesos específicos con base en determinados insumos. Para este autor, el microsistema operativo es la unidad estructural básica de los sistemas institucionales, sus límites dependen de los procesos concretos que regularmente ejecuta, de los resultados inmediatos y de los elementos que transforma. Estos factores sirven para que dichos microsistemas contribuyan al funcionamiento global del sistema institucional. Las características de los microsistemas operativos son [véase «¿Qué evaluar en el sistema de educación superior?», pp. 147-158]: Cumplimiento de una o varias funciones diferenciadas. Regularidad de sus procesos. Articulación de relaciones sociales directas y estables, en virtud de los procesos y resultados del microsistema operativo. Constituirse en el ámbito directo, aunque no único, de pertenencia de determinadas personas interrelacionadas. Tener delimitada su función y responder específicamente a la fiis~, toria del sistema institucional; en tal sentido, ser una ventana,~a la presencia de la historia social en el seno de dicho sistema. No es intención de este apartado hacer la definición de cada uno de los objetos educativos susceptibles de evaluarse. Lo importante es señalar que para la aplicación adecuada de cualquier procedimiento, el proceso de evaluación tiene que hacer referencia necesariamente a la definición del objeto, la descripción de sus partes constitutivas, la base teórica de la definición, la forma como se interrelaciona con otros objetos educativos, etc. El análisis del objeto es necesario porque condiciona la pertinencia de los protocolos de evaluación. Por ejemplo, no se evalúa de la misma forma un currículo definido como una organización de objetivos educativos linealmente programados, que un currículo definido como una interpretación educativa del estado del conocimiento científico. Asimismo, la concepción sistémica tiene consecuencias en la forma de entender a los sujetos de la evaluación: es usual que los individuos funcionen como meros informantes de acuerdo con las directrices de los evaluadores. Pero si se entiende el objeto de evaluación como un sistema, subsistema o microsistema operativo, el papel de los individuos como sujetos de evaluación cambia radicalmente. No son ya sólo informantes de los acontecimientos de su institución sino que se convierten en analistas, revisores y críticos de la actividad que ejecutan junto con los otros individuos que

forman parte del sistema de que se trate; saben cuáles son los insumos que necesitan para su actividad y cómo la falta o la presencia de ellos la afecta; conocen cuáles son los procesos que deben realizarse y las consecuencias de que no se efectúen y están al tanto de los resultados de estas operaciones. Se convierten en sujetos para la evaluación. Carácter de las conclusiones. La conclusión es un enunciado constituido por los términos de la expresión de los valores atribuidos a la educación y por los datos obtenidos a partir de la aplicación de los procedimientos de evaluación. La conclusión evaluativa es la manifestación del juicio acerca de la presencia o ausencia de los atributos esperados y por tanto la determinación de las virtudes y defectos del objeto evaluado. Las conclusiones siguen el patrón de los procedimientos empleados en el proceso de aplicación de la evaluación. Si se midieron indicadores, los datos obtenidos se contrastan con el estándar esperado y se concluye la buena o mala eficiencia de la institución; por ejemplo, si se considera que una media nacional de eficiencia terminal revela un buen funcionamiento institucional, se determina si el índice de eficiencia de la institución respectiva es igual, superior o inferior a la tasa nacional. Si se ha analizado la eficiencia terminal a partir de los complejos de relaciones institucionales, las conclusiones son argumentativas respecto de lo que se hace y se opina para lograr una eficiencia adecuada. El primer tipo de conclusiones se refiere a la evaluación de resultados característicos de las relaciones funcionales entre las instituciones y las administraciones públicas de la educación o las agencias de financiamiento; el segundo tipo se refiere a la evaluación de procesos y constituye un camino para comprender las causas y condiciones de los resultados. El capítulo 5 está dedicado a describir este último tipo de conclusiones y a la redacción de un informe de evaluación. Un problema por resolver en la secuencia de realización de una evaluación es determinar quién enjuicia y quién elabora el informe de conclusiones. Hay dos opciones evidentes: o alguien ajeno a la institución o miembros de ésta. En el primer caso se pretende imparcialidad y mayor objetividad y en el segundo, un mayor conocimiento del complejo institucional. Los procedimientos aplicados en Estados Unidos, Francia y Canadá para acreditar la calidad de las instituciones complementan ambos procedimientos mediante la elaboración de un autoestudio y la revisión que comisiones externas hagan de los resultados de éste. El informe final lo elaboran tales comisiones. La experiencia muestra que la presencia de un participante externo atempera las diferencias de opinión en el seno de las comunidades educativas y puede favorecer un mejor entendimiento del proceso, sobre todo si se trata de un evaluador profesional, experto en la concepción y la aplicación de procedimientos. En cualquier caso, el mejor juicio sólo puede ser calificado dependiendo de lo que se pretenda con la evaluación. Si se trata de comprobar los efectos de la educación en el bienestar y la calidad de vida de grupos sociales, el juicio depende de sus niveles de satisfacción con el servicio educativo; si se trata de establecer la imagen pública de calidad educativa, dependerá del parecer de un grupo socialmente reconocido como digno de credibilidad moral e intelectual. El método de razonamiento, la aplicación de procedimientos y la concepción de los objetos de evaluación (los cuales se generan a partir de complejos de relaciones

sistémicas entre individuos con funciones dentro de una institución educativa) remiten a consideraciones acerca de la naturaleza política de la evaluación y acerca de los principios éticos que deben guiar estos procesos. Tales principios éticos nos revelan el papel y la responsabilidad de cada individuo en la expresión de sus valores, los cuales se reflejan en los análisis y en los juicios. Para los evaluadores clásicos esto no constituye un problema: los evaluadores son los que tienen la responsabilidad de enjuiciar, evaluar y concluir; acaso su único problema es la validez de las conclusiones. Los individuos restantes constituyen donadores de información y objetos de observación. POLÍTICA Y ÉTICA DE LA EVALUACIÓN (0 LA LIDIA DE LOS SUJETOS PARA LA EVALUACIÓN) Cuando afirmo que no existe como tal un modelo universal, establezco que el evaluador debe definir la viabilidad de una evaluación; es decir, la evaluación no es una ciencia infalible, es una forma de proceder en un mundo social determinado: la institución educativa, con el propósito de calificarla en su conjunto o en alguna de sus partes constitutivas. Es una disciplina social que tiene formas de proceder específicas y comunes. La institución educativa, cualquiera que sea su estructura formal (pública o privada, elemental, media o superior, rural o urbana), es una entidad social y cultural donde surgen relaciones entre individuos que son propias de dicha institución, como las de profesores y alumnos, pero también reproduce otras relaciones afines que reflejan el mundo social, político y económico que la ha creado. Estas relaciones están formalizadas en leyes y reglamentos o en la constitución de gremios y sindicatos o bien se llevan a cabo, por la dinámica misma de la institución, como es el caso de las organizaciones estudiantiles o los colegios agrupados por algún interés de tipo académico. Así mismo tiene relaciones con el mundo exterior porque provee el servicio social de la educación: en primera instancia, con administración gubernamental y con grupos de la comunidad social de manera explícita o indirecta. El problema de validez de la evaluación es que cada persona y cada grupo establecen relaciones con el medio educativo de acuerdo con sus propios valores e intereses. Es más, un individuo puede modificar su parecer de acuerdo con las determinaciones de los diferentes grupos a los que pertenece o según las diferentes circunstancias personales o de la institución. Esta situación determina que la imposición de un proceso evaluativo o de la jerarquía de ciertos valores para la calificación de la entidad educativa o para la selección de procedimientos o enfoques de análisis de la información, y la orientación de las conclusiones, constituye en todo momento una actitud hegemónica y homologadora. Esta resulta contraria al espíritu de determinación social de la verdad de los valores y de las circunstancias que vive una institución educativa. La consecuencia de tal actitud es la desconfianza en el medio institucional, y en repetidas ocasiones se favorecen las comunicaciones perturbadas que se reflejan en la calidad de la información proporcionada por los sujetos del proceso. El punto extremo de rechazo a la pretendida hegemonía y homologación es la de descalificación colectiva de los juicios y conclusiones que se hacen acerca de la comunidad escolar de referencia. Es común que con estas condiciones las comunidades experimenten un extrañamiento o una

enajenación respecto de los procesos evaluativos. No por otra cosa se ha creado la duda acerca de la utilidad de los informes de la evaluación, tan generalizada en el medio educativo. Una actitud contraria a la imposición de marcos valorales es el reconocimiento de carácter político de la evaluación, y consecuentemente la consideración de que estos procesos, con otros, se inscriben en el conjunto de las dinámicas institucionales del medio educativo. De manera inequívoca podemos decir que no hay evaluación valedera para el mejoramiento del medio de educación si no se inserta en la dinámica de esas relaciones sociales, para analizarlas y calificarlas. Si los participantes en esas relaciones hacen a un lado el análisis y la calificación, es imposible la evaluación, cuando menos en el sentido mencionado anteriormente: el de la construcción de la verdad socialmente valiosa. Todos los participantes deben tener conciencia de que sin poder político la evaluación es un ejercicio especulativo y que los evaluadores aplican sus procedimientos en un conjunto de situaciones contextuales superpuestas: la de la organización institucional, la ética y la política; además, las administraciones gubernamentales aplican políticas nacionales de evaluación con fundamento en criterios de aplicación generalizada. De esta manera se hace evidente que el evaluador no actúa solamente con sus propias determinaciones procedimentales y valorales sino que promueve valores e intereses de unos grupos frente a otros, y la manifestación explícita y pública de esto confiere a su actividad profesional un sentido ético. Pero ¿cómo lidiar con el conjunto de relaciones sociales y políticas que determinan la orientación del proceso evaluativo?. En primer lugar, asegurando que el proceso está apoyado por quien ejerce una autoridad y tiene el poder y liderazgo suficientes para alentar la aceptación de la evaluación y la participación de las personas. Segundo, mediante la identificación de los sujetos de las situaciones educativas, individuos o grupos. Tercero, mediante la elucidación de la forma como actúan y se relacionan estos sujetos en el marco institucional y con su entorno social. Por último, organizando los grupos de una forma especial y con propósitos específicos, fundamentalmente para homologar lo que puede ser común a otras instituciones y reivindicar lo que es diferente. De esta manera se puede identificar los sujetos para la evaluación: los individuos o colectivos relacionados con la aplicación de procedimientos de valoración a una entidad educativa son aquellos relacionados con la expresión de opiniones, juicios o información específica acerca del objeto analizado que reflejen una situación objetiva, así como con la manifestación de algún grado de satisfacción con la educación y sus instituciones. También se identifican como sujetos para la evaluación los individuos o las entidades sociales que promueven el análisis o la valoración de la educación y los que definen la orientación del objeto evaluado. De manera que se pueden identificar al menos cuatro grupos de sujetos para la evaluación: los políticos o los promotores del proceso que generalmente tienen algún tipo de autoridad; los que trabajan y estudian en una institución educativa; los grupos sociales externos a la institución que dan una orientación definida a los diferentes aspectos de la educación a partir de sus propias necesidades, y, finalmente, los especialistas o profesionales de la evaluación. Desde nuestro punto de vista todos son evaluadores (no sólo estos últimos), porque todos participan en el proceso de una manera u otra, para validarlo o quitarle legitimidad, para

proporcionar información, para analizar su ámbito de responsabilidad o para calificar sus relaciones institucionales, sus actividades y las de otros. Sin embargo, debe considerarse que las tareas evaluativas formales usualmente son actividades extraordinarias en relación con la vida cotidiana de las instituciones, y los profesores y administradores están poco dispuestos a incrementar sus cargas de trabajo, sobre todo si desconocen la utilidad de una evaluación. En esta circunstancia es necesario que el evaluador cree las condiciones para la participación de las comunidades institucionales, y una de las formas es organizando a la comunidad en grupos específicos. La clasificación de los sujetos se verá con amplitud en el capítulo 4. Cada uno de estos grupos puede actuar como sujeto individual o colectivo. En el primer caso la fuerza de su valoración se da en tanto que los organizadores de la evaluación consideren significativa su opinión; en el segundo caso, depende del consenso logrado en el interior del grupo. Además, cada uno tiene sus intereses y necesidades educativos que desean satisfacer por medio de los servicios que presta una institución. En este sentido se pueden observar cambios en el valor de referencia de los juicios acerca del objeto de evaluación. Es posible, en efecto, que la búsqueda y transmisión de la verdad o la formación de estudiantes con criterios éticos y estéticos se manifieste como una prioridad, pero esto puede ceder paso á la preferencia por la utilidad que se espera de la educación en relación con el mercado de trabajo, según las necesidades o expectativas personales o de grupo. Idealmente, la emisión de juicios acerca del objeto educativo está basada en el diálogo y la concertación de intereses entre los diferentes grupos de sujetos partícipes del objeto de evaluación. Sin embargo, generalmente la cooperación de los individuos está en relación directa con las ganancias que aspiran a obtener y, por supuesto, con la inafectabilidad de sus intereses. El problema de la evaluación es precisamente que ni ganancias ni intereses están completamente a salvo cuando se emiten juicios de valor acerca de una actividad educativa. El análisis de cada grupo puede dar cuenta de este conflicto. El evaluador profesional es el encargado de transformar la idea original en mecanismos tecnológicos adecuados para emitir juicios de valor confiables y tomar decisiones acerca de las correcciones al funcionamiento del objeto de evaluación. Su papel no se limita a una aplicación mecánica de conocimientos, implica el análisis estratégico y presupuestario necesario para evaluar. Algunas de sus tareas son: crear condiciones de posibilidad técnica para realizar la evaluación; identificar los procedimientos viables en relación con las condiciones políticas, e idear o elegir las técnicas adecuadas. Acerca del evaluador existen dos posturas que pueden considerarse extremas. Lee J. Cronbach propone que el evaluador debe ser el facilitador o el educador respecto de una situación objeto de análisis. En su opinión el evaluador es llamado por una institución para iluminar el problema educativo correspondiente en un periodo corto. Para hacer esto debe reconocer los temas relevantes del caso; a su vez, la selección de temas está guiada por consideraciones prácticas, políticas e históricamente sustantivas. El evaluador no debe establecer el valor del objeto ni tomar decisiones por otros, pero debe sentirse libre para expresar posturas y emitir opiniones que considere importantes sin omitir las evidencias inconsistentes con su opinión.

Cronbach añade que la función propia de la evaluación es acelerar el proceso de aprendizaje por medio de la comunicación de aquello que, de otra manera, podría ser soslayado o percibido erróneamente [véase Designing Evaluation of Educational and Social Programs]. Jaap Scheerens, por su parte, propone adoptar una actitud política con el fin de conseguir la viabilidad y aceptación de la evaluación dentro de una institución. Esto significa que el evaluador delinea cuidadosamente el contexto en el que la evaluación se va a realizar, y explora medios factibles de provisión de insumos para potenciar la investigación valorativa y los medios para incrementar las condiciones favorables para la evaluación. Finalmente debe decidir los cursos de acción de los siguientes factores: los insumos para la creación y la ejecución de la evaluación; la transformación de los resultados de la evaluación en procesos de decisión y la transformación de las estructuras organizativas para la ejecución de las decisiones [véase «Contextual Influences on Evaluation: the Case of Innovative Programs in Dutch Education>>, pp. 309-317. En otras palabras, el papel es el de un técnico pero también el de un político que crea las condiciones propicias para ejecutar un proceso de evaluación. A diferencia de la opinión de Cronbach, esta actitud política tiene mayores visos de realización cuando el técnico está involucrado con el objeto que se evaluará o pertenece a la institución que conforma el contexto inmediato de la evaluación. La decisión de tomar una u otra postura depende de la relación que el evaluador tenga con la institución donde se evalúa algún proceso. Si es un evaluador externo tiene mayor libertad para permitirse educar sobre procesos de emisión de juicios. Si forma parte del personal de la institución, el problema en este caso es cómo conformar un grupo superpuesto a las estructuras tradicionales de la institución que se cohesione alrededor de intereses comunes con otros grupos que participan en la evaluación. La tarea primordial del evaluador es hacer válida la evaluación, dar certeza a las conclusiones. La integración de la evaluación en la cotidianidad institucional es un propósito de segunda instancia; en cualquier caso, no intuimos otra forma de validación de las conclusiones, excepto la de integrar al proceso el enjuiciamiento crítico de los mismos sujetos acerca de sus propias actividades educativas. Esto no quiere decir que lo más viable políticamente sea una evaluación autogestiva que se realice en el tiempo, lugar y circunstancia que más convenga a los grupos institucionales. Si la imposición del proceso nos lleva a realizar informes sin utilidad alguna, la evaluación autogestiva nos llevaría a diversas formas de complacencia. La evaluación en el interior debe ser complementada y contrastada con las referencias sociales y la evaluación externa. La tarea del evaluador es desplegar todas sus destrezas técnicas para evidenciar las virtudes y deficiencias de los procesos de las instituciones educativas; es crear las condiciones para que la comunidad escolar haga conscientes estas evidencias surgidas de sus propios análisis y de los externos. Lo conducente desde el punto de vista profesional es, en primerísima instancia, asegurar la interlocución con quien solicita una evaluación y definir con esta persona o grupo el propósito de evaluación. Éste es el punto de inicio de todas las demás decisiones políticas y técnicas para realizarla, del sentido del informe y de las relación que debe asumir el evaluador con los demás participantes del proceso. Considero, como Cronbach, que el evaluador no debe imponer sus valores pero sí emitir su opinión como experto; creo además que si forma parte de las instituciones, como lo propone

Scheerens, no puede guardar distancia de sus propios intereses. La pureza y la neutralidad en las interpretaciones y los juicios es inexistente, pero sí puede existir buena fe y profesionalidad y es más fácilmente si el evaluador es ajeno a la dinámica institucional. Además de la validez de las conclusiones, las preguntas que interesan sobre la ética de los procesos de evaluación son: ¿qué papel tendrá el evaluador en el conjunto de relaciones políticas y sociales que se presentan en la institución?, ¿cómo se relacionará con sus interlocutores?, ¿a quién definirá como su interlocutor?. También resulta fundamental la voluntad de participación de los individuos de la comunidad institucional; la voluntad de responsabilizarse de sus valores y de expresarlos aunque no sean políticamente correctos en tiempo y circunstancia, y tolerar los valores de otros y sus formas de expresión; estar dispuestos a llegar a puntos de encuentro respecto de las funciones educativas que todos desempeñan; la voluntad de veracidad de la información que proporcionan y de asumir su responsabilidad frente a la satisfacción social y los beneficios que espera la sociedad de la actividad educativa. El resguardo político de la evaluación no debe dar por solucionado otro problema ético más fundamental que la validez de las conclusiones, el cual se refiere a la corrección de los valores expresados. La responsabilidad del evaluador no se restringe a evaluar las cosas de acuerdo con los valores de una comunidad escolar, sino que debe tomar postura frente a la corrección o verdad de esos valores. La paradoja está en relativizar esa validez a una situación, un tiempo y un grupo humano determinados o basar la evaluación en lo que de hecho es un verdadero valor; es decir, concluir sobre la eficiencia y la eficacia de una situación educativa o sobre el valor de la formación humana producto de esa situación educativa. Un punto de encuentro para deshacer la paradoja es poner la evaluación en la ruta del mejoramiento de la educación y de las situaciones educativas concretas para el bien común (paideia), sin obviar la eficiencia y la eficacia de las acciones dirigidas a esa ruta. Esto nos lleva a considerar también que una evaluación termina cuando el evaluador suscribe las recomendaciones del caso, por lo que no puede sino ser un experto y tener una cultura probada acerca del tema de evaluación. En este sentido la dimensión ética de la evaluación de las instituciones lleva a considerar que la construcción de las referencias valorales de la propia comunidad escolar debe incluir referencias de satisfacción social. Lo cierto es que el evaluador siempre tiene un juicio acerca de la mejor opción educativa, basado en su experiencia y en sus principios teóricos, políticos y psicológicos. La disyuntiva es ponerlos en juego en el proceso de análisis o dejarlos entre paréntesis; creo que lo primero es inevitable y lo segundo imposible. El evaluador debe trabajar como un experto (y serlo realmente) tanto en educación como en evaluación, pero también debe funcionar con principios y valores personales y fundamentales para cualquier sociedad civilizada, y debe saber qué responsabilidades exigir a una comunidad escolar sometida a un análisis. Debe saber también cuándo retirarse de una evaluación que sustenta valores contrarios a esos principios, y la base para una decisión de este tipo sólo puede ser un juicio personal. Una de las bases de actuación del evaluador la proporcionó un comité estadounidense en 1980, mediante un documento titulado «Estándares para la evaluación de programas,

proyectos y materiales de educación», que entre otras cosas es un código profesional para el rendimiento de cuentas de los evaluadores y para desarrollar la credibilidad pública de la evaluación. Estos estándares se emitieron divididos en cuatro grupos: La utilidad de los estándares para asegurar que una evaluación sirva a las necesidades de información práctica de una audiencia determinada. La factibilidad de los estándares dirigidos a asegurar que sean realistas, prudentes, diplomáticos y equilibrados. La corrección de las normas, para asegurar que la evaluación se conduce con legalidad y ética, y asumiendo la responsabilidad del bienestar de los involucrados y los afectados por sus resultados. La precisión de los estándares para asegurar que la evaluación revele y transmita información técnicamente adecuada acerca de las características del objeto de estudio que determina su valor ó mérito [véase D. L. Stuff lebeam y G. Madaus, «The Standards for Evaluation of Educational Programas, Projects and Materials: a Description and Summary», pp. 395-404.