lunes, 25 de mayo de 2009

Metaevaluación de las escuelas

En el presente artículo el autor, Miguel Ángel Santos Guerra, plantea la metaevaluación de las escuelas como un proceso de valoración de las evaluaciones, de naturaleza cualitativa, que da respuesta a aspectos inquietantes como el aprendizaje, la mejora, el rigor, la transferencia y la ética. Da significativa importancia a este último, pues considera que, además de ser la metaevaluación un proceso técnico, contiene una dimensión ética, por lo cual menciona doce criterios de carácter axiológico.

Igualmente, en forma breve, refiere la manera de realizar este proceso, desatacando el proceso de negociación, la aplicación de criterios, el juicio de expertos y la opinión de los protagonistas.



Se está hablando y escribiendo mucho sobre la evaluación de los centros escolares, se están haciendo muchas evaluaciones, se está generando una cultura sobre la evaluación. Ante ese hecho no hay que lanzar las campanas al vuelo, porque lo más importante no es hacer muchas evaluaciones, ni siquiera hacerlas bien. Lo más importante es saber al servicio de qué personas y de qué valores se ponen. Quiero llamar la atención en estas líneas sobre la necesidad de analizar lo que sucede con las evaluaciones. No basta, pues, ponerlas en marcha para que ya nos sintamos satisfechos. La metaevaluación (o proceso de evaluación de las evaluaciones) permite preguntarse, al menos, por estas cinco cuestiones:

1 El aprendizaje
Es necesario aprender de las evaluaciones que se realizan. Todos podemos aprender: los patrocinadores, los evaluadores, los evaluados. Pero solamente lo podremos hacer si reflexionamos de forma rigurosa y desapasionada sobre los procesos y los resultados.

No es razonable repetir los errores de manera casi mecánica. En la evaluación que se pone en marcha por prescripción legal se produce un cruce de modelos verdaderamente inquietante. Se corre el peligro de que la evaluación no responda plenamente ni a uno ni a otro. Por una parte, se trata de una evaluación de rendimiento de cuentas (accountability) ya que la ordena el poder y la realiza la autoridad académica (inspectores). Por otra parte, se pretende hacer de ella una evaluación negociada, consensuada, participativa y democrática.

Si se negocia, ¿se puede plantear la posibilidad de que los evaluadores sean agentes externos al sistema?, ¿se puede sugerir que sean otros los métodos?, ¿se puede decidir desde las escuelas qué hacer con los informes?...

Es necesario preguntarse por la actitud de los profesores y profesoras, por la artificialización del comportamiento cuando se hacen observaciones, por la calidad de la información cuando se hacen entrevistas, por la riqueza de los informes elaborados, por la negociación de los mismos, por la capacidad de transformación que está teniendo la evaluación... Es necesario preguntarse por la preparación de los inspectores para hacer un tipo determinado de evaluación, por el tiempo de que disponen, por sus habilidades para llevarla a cabo... Es imprescindible interrogarse por la actitud del profesorado ante la evaluación: por sus reticencias, por su colaboración, por su disposición al cambio...
¿Por qué repetir los errores de una forma irracional y perseverante? ¿Quién garantiza que los buenos propósitos al realizarla no han producido efectos secundarios dañinos? ¿Quién puede afirmar que está inmunizado contra la comisión de errores? Si así ha sido, ¿No es razonable y justo que se traten de evitar en futuras experiencias?

El aprendizaje no se produce solamente sobre los fallos, errores o conflictos. También es importante analizar y desentrañar las explicaciones sobre los aciertos, sobre la colaboración abierta, sobre la reflexión rigurosa, sobre el conocimiento elaborado, sobre los cambios efectivos...

2 La mejora
Sé que la palabra mejora es casi infinita en sus contenidos semánticos. ¿Qué es mejora? Sin embargo es una pregunta capital. Hay que desentrañar el significado de este concepto como hay que hacerlo con el de calidad. De lo contrario, no sólo se producirá confusión, sino también perversión. Cuando se realizan simplificaciones, suelen hacerse de manera interesada.

Quien identifica calidad con rendimiento de alumnos es porque está interesado en que así sea. La evaluación tiene que estar encaminada a la mejora de la práctica educativa. La evaluación es un garantía de la calidad para el centro educativo (Casanova, 1992), siempre y cuando se realice, se oriente, se encamine a la mejora y no tanto al control, a la comparación, a la clasificación, a la jerarquización o a la discriminación.

Para que la mejora se produzca es necesario que la disposición de los que intervienen en ella sea abierta y comprometida. Si no existe actitud autocrítica y apertura a la opinión externa es muy difícil que cambie algo profundamente. Si no existe una actitud comprometida con la práctica, es imposible que las transformaciones afecten a zonas significativas. Los cambios, si se producen, serán superficiales y anecdóticos. Hablo de disposición positiva de todos los que intervienen en la evaluación. Eso atañe también a la Administración.

Si la evaluación muestra carencias, deficiencias o errores en la gestión del sistema educativo, habrán de percibir los profesores que existe disponibilidad para asumir las decisiones de mejora. Si no sucede así, el profesorado verá la evaluación como un fenómeno de jerarquización y de control.

La mejora exige una negociación de los informes extensa y profunda. La negociación de informes es la piedra angular de la evaluación (Santos Guerra, 1998), porque permite conocer con claridad y rigor qué es lo que sucede y por qué. De ese conocimiento pueden surgir las decisiones de cambio.

3 El rigor
Una de las preocupaciones más importantes de la metaevaluación es la comprobación del rigor que ha tenido la evaluación. La evaluación que defiendo es de naturaleza cualitativa por considerar que no se puede captar fenómenos complejos desde métodos cuantitativos y, por consiguiente, simplificados.

No se deben aplicar a la utilización de metodología cualitativa los presupuestos de la validez que se vienen aplicando en la investigación experimental. Esa dependencia genera una distorsión del modelo y no da respuesta a la verdadera cuestión: ¿Cómo saber si la evaluación que se ha realizado refleja con rigor lo que sucede en la escuela? Es preciso aplicar los criterios de credibilidad y comprobar en qué medida esa evaluación los cumple. Veamos algunos ejemplos:
Si se han utilizado métodos diversos para explorar el centro y se han triangulado las informaciones procedentes de ellos, habrá más rigor que si se ha utilizado un solo método. El proceso de triangulación consiste en la constatación, en la depuración de los datos. La información procedente de distintos métodos no siempre dice lo mismo. No se trata con la triangulación de eliminar las discrepancias, sino de explicarlas.

Si se ha permanecido un tiempo largo en el centro observando lo que en él sucede, habrá más garantías que si solamente se ha permanecido en él un tiempo muy breve. Las pistas de revisión permiten hacer una valoración sobre la naturaleza, el sentido, la ética y el rigor de la evaluación. ¿Existen esas pistas?

4 La transferencia
La evaluación que se hace de una escuela puede servir para el aprendizaje y el cambio de otras escuelas. El hecho de que cada escuela sea diferente no oculta las características comunes que las definen a todas. Difundir los informes de las evaluaciones (salvaguardando el anonimato de los protagonistas) puede ayudar a comprender lo que sucede con las escuelas. Y puede servir para que algunas reflexionen sobre los resultados habidos en otras.

Para que la transferibilidad pueda producirse hay que partir de descripciones minuciosas. Las afirmaciones de carácter genérico no aportan información relevante. Decir que un centro "funciona bien", que tiene "clima excelente", que tiene "magníficos resultados", no nos permite conocer nada. En la medida que los centros tengan características y contextos más similares, la transferibilidad será más fácil. En efecto, es razonable esperar que lo que sucede en un centro privado se repita en otro de este mismo tipo. Es probable que una escuela rural se parezca más a otra de este carácter que otra situada en una gran urbe. Y que un centro de gran tamaño se asemeje más a otro de estas características que a una escuela unitaria.

Existe otra forma de establecer transferibilidad, que se ha denominado "reader made", hecha por el lector del informe. Este se pregunta: ¿Pasará algo parecido en este otro centro? Quien lee un informe sobre la evaluación de una escuela y está en otra, puede preguntarse fácilmente: ¿Pasará algo similar en la mía?

5 La ética
Me detendré algo más en este apartado por considerarlo esencial en la metaevaluación. La metaevaluación no es un proceso exclusivamente técnico. Como la misma evaluación, tiene una dimensión sustancialmente ética. Por eso, la metaevaluación no se centra exclusivamente en la búsqueda de criterios de carácter metodológico o algorítmico, sino que se ha de centrar en su vertiente moral.

En otro lugar (Santos Guerra, 1993) he hecho referencia a los abusos de la evaluación. Los que en ese trabajo describo y denuncio han sido descubiertos en la práctica de la evaluación en España. No hablo, pues, de memoria. No es necesario desarrollar el contenido de estos enunciados que hablan por sí solos:

Convertir la evaluación en un elogio a quien la patrocina o la realiza.

Elegir sesgadamente para la evaluación algunas parcelas o experiencias que favorezcan una realidad o una visión sobre la misma.

Hacer una evaluación de diferente naturaleza y rigor para realidades igualmente importantes.

Convertir la evaluación en un instrumento de dominación, control y opresión.

Poner la evaluación al servicio de quienes más tienen o más pueden.

Atribuir los resultados a causas más o menos supuestas a través de procesos atributivos arbitrarios.

Encargar la evaluación a equipos o personas sin independencia o valor para decir la verdad.

Silenciar los resultados de la evaluación respecto a los evaluados o a otras audiencias.

Seleccionar aquellos aspectos que permiten tomar decisiones que apoyan las iniciativas, ideas o planteamientos del poder.

Hacer públicas sólo aquellas partes del informe que tienen un carácter halagador para el poder.

Descalificar la evaluación achacándole falta de rigor si los resultados no interesan.

Dar por buenos los resultados de la evaluación a pesar de su falta de rigor, cuando esto es lo que interesa.

Utilizar los resultados para tomar decisiones clara o subrepticiamente injustas.
Aprovechar la evaluación para hacer falsas comparaciones entre lo que es realmente incomparable.

Atribuir los malos resultados no al desarrollo del programa sino a la torpeza, la pereza o la mala preparación o voluntad de los usuarios del mismo.

Es necesario mantener la vigilancia sobre esta cuestión trascendental porque no se trata de evaluar mucho, ni siquiera de evaluar de forma técnicamente perfecta, sino de saber al servicio de quién y de qué valores se pone la evaluación.

Nadie se alegraría de que se abriese una fábrica de cuchillos en una localidad si supiera que su destino era la distribución de estos entre los ciudadanos para ejercitarse en el acuchillamiento de sus enemigos.

El quebrantamiento de la ética puede darse en el fenómeno mismo de la evaluación, en su globalidad o en algunos de sus partes específicas. Se puede poner en marcha una evaluación al servicio del poder, del dinero o del prestigio de los patrocinadores, por ejemplo. Y se puede obtener información de forma fraudulenta realizando entrevistas que están falsamente planteadas. Care (1978) plantea las exigencias de un contrato equitativo de evaluación. En ese proceso se ponen los cimientos del edificio de la ética.
Aunque no todas las exigencias tienen la misma importancia ni su presentación está organizada según criterios axiológicos, es de interés enumerarlas con un brevísimo comentario.
a) Ausencia de coerción: La equidad exige que los que tiene que participar en la evaluación (evaluadores, evaluados, colaboradores, jueces...) no estén sujetos a presiones coercitivas. Se sabe que esas presiones pueden ser brutales o sutiles. Internamente, tampoco deben existir mecanismos de control: nadie (persona o grupo) debe ejercer presión ni control sobre otros.
b) Racionalidad: Los participantes han de actuar de forma lógica y sensata. Esto quiere decir el discurso y el proceso de la evaluación están presididos por argumentos y no por caprichos o intereses.
c) Aceptación de los términos: Las partes que firman el acuerdo aceptan libremente las
reglas de procedimiento que han sido formuladas de manera clara y transparente,
tanto por lo que respecta a la naturaleza, como a los objetivos y a los métodos de la evaluación.
d) Acuerdo conjunto: La equidad requiere que el acuerdo se considere como algo más que la coincidencia entre opciones individuales. La negociación, cuando es intensa y sincera, no es un proceso sencillo. Exige tiempo, exige valentía. Y una discusión sin barreras de todos los participantes.
e) Desinterés: Hay que someter los intereses particulares a las preocupaciones, problemas y necesidades de la causa común. Llegar a un acuerdo no garantiza que se hayan supeditado los intereses particulares a los generales.
f) Universalidad: La normativa tiene que afectar a todos por igual, incluidos los evaluadores. Si la normativa exige que se trate de forma distinta a diferentes personas, todos pueden situarse en cualquiera de esas formas.
g) Interés comunitario: Quienes llegan a un acuerdo para realizar la evaluación deben tener como meta que se produzca el máximo beneficio para cada de los participantes.
h) Información igual y completa: Nadie debe tener acceso a una información privilegiada. Una condición de la equidad consiste en que los participantes reciban información sobre los hechos pertinentes y que ésta se distribuya por igual.
i) Ausencia de riesgos: Uno de los propósitos del contrato de evaluación es que no se deriven riesgos para quienes se someten a ella, o bien reducirlos al mínimo.
j) Viabilidad: El contrato de evaluación ha de ser de tal naturaleza que sea posible llevarlo a cabo. Los evaluadores no deben prometer actividades y oportunidades fantásticas, por más deseables que éstas fueran. El interés por conseguir el contrato puede llevar a realizar promesas inviables. Cuando no es posible cumplir el contrato, éste no es equitativo.
k) Contar con todas las opiniones: Para que el contrato sea equitativo, las partes deben tener la oportunidad de hacer constar lo que crean conveniente.
l) Participación: La condición final del contrato es que todos los participantes puedan participar. Todo el mundo debe tener voz. La ética que se exige a la evaluación ha de presidir también la metaevaluación. ¿Hasta dónde ha de llegar esta exigencia? ¿Quién evalúa a los evaluadores? Si se establecieran Comisiones de Garantía de la Ética, ¿quién ejercería el control democrático sobre ellas?
En su excelente y ya clásica obra «Evaluation with validity», traducida al castellano con el título «Evaluación, ética y poder», House (1980, versión española de 1994) exige a la evaluación veracidad, belleza y justicia. No siempre se plantea la evaluación siguiendo estos criterios. Cuando se pretende medir los resultados de las experiencias y de los centros escolares a través de pruebas estandarizadas con el fin de hacer una clasificación según la posición en la escala, y se conceden luego recursos siguiendo esa clasificación, se está utilizando la evaluación al servicio de la injusticia y de la desigualdad. Por muy rigurosas y precisas que sean las pruebas, no se evita el desajuste moral. Se está dando a los que más tienen (cultura, dinero, poder...) todavía más a través de un instrumento que parece neutral y aséptico. Es una trampa terrible que algunos defienden de forma ingenua y muchos de manera interesada.

6 ¿Cómo se realiza la metaevaluación?
La metaevaluación puede emprenderse paralelamente a la evaluación, aunque también puede realizarse una vez finalizada esta. Por tratarse de una evaluación, han de exigírsele todos aquellos requisitos que se le pide a la evaluación.
Existen varias formas de responder a las cuestiones que aquí se plantean:

a. El proceso de negociación
El proceso de negociación de informes es un excelente camino que nos permite conocer cómo ha sido el proceso de evaluación y cómo se pueden considerar sus resultados. La negociación no sólo se refiere al contenido del informe: afecta también a la calidad de los procesos que han hecho posible su elaboración. Y, cómo no, a las posibilidades de mejora que de él parten.
Si existen, como en el caso de las escuelas, muchas evaluaciones, se puede emitir un juicio más riguroso sobre lo que supone la evaluación y sobre lo que sería preciso hacer para mejorarla.
Algunas experiencias apuntan a este tipo de procesos de metaevaluación (Luján y Puente, 1996). Lo importante es sacar de ellas los elementos necesarios para iluminar y dirigir las decisiones políticas, la intervención de los expertos y la práctica de los docentes.

b. Aplicación de criterios
Hay que remitirse aun artículo de Guba (1993) que sirve de referencia para la respuesta a la pregunta de la validez y de la transferibilidad. Este autor dice que no hay criterios absolutos, pero que existen exigencias que permiten garantizar que se ha alcanzado el rigor necesario para afirmar que lo que contiene el informe es un reflejo fiel de lo que sucede, y no una invención del evaluador.
En el punto 3, anteriormente expuesto, he mencionado algunos criterios que plantea Guba (1983) refiriéndose de forma especial a las evaluaciones de carácter naturalista.

c. Juicio crítico de expertos
Se puede encomendar a expertos que no han participado en la evaluación y que tampoco están vinculados a la acción evaluada, la emisión de opiniones sobre el proceso de evaluación.
Para poder realizar un juicio fundado, los expertos tienen que conocer lo que ha sucedido en la evaluación. Para ello dispondrán de todos los materiales y podrán entrevistar a los protagonistas: patrocinadores, evaluadores y evaluados.
La metaevaluación debe facilitar el aprendizaje de los evaluadores quienes, a través de análisis, sugerencias y preguntas se acercan a la comprensión de los procesos.

d. Opinión de los protagonistas
Una vez finalizada la evaluación, los protagonistas pueden emitir sus opiniones por escrito o de forma oral, de manera que sea posible descubrir aquellos problemas, dificultades o fallos que hayan condicionado el proceso.
Si los protagonistas de la acción tienen la clave del significado, los de la evaluación tienen en sus manos la interpretación de lo que ha sucedido en todas las fases de la evaluación. Ellos saben qué sucedió con la iniciativa, cómo se hizo la negociación, cómo se ha explorado, qué ha sucedido con los informes, cómo se han respetado las normas. A ellos, pues, hay que preguntar, garantizando las condiciones de una expresión libre.

Autor
Miguel A. Santos Guerra/ Metaevaluación de las escuelas
Recuperado de
http://www.saber.ula.ve/bitstream/123456789/17004/1/art3_12v9.pdf el 2 de febrero de 2009

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs