Red de recursos de evaluación y aprendizaje, REDCREA

lunes, 11 de febrero de 2013

Método y Artesanía. La evaluación en 3D o integrando variables para un mayor aprendizaje

Método y artesanía by Luján Martínez, Antonio (@redcrea2).


¿Es posible recopilar datos y al mismo tiempo integrarlos en un esquema o matriz de interpretación?, ¿debe ser la recopilación de datos una labor aséptica, sin capacidad de integrar y provocar información adicional en el momento?, ¿puede el stake holder ser informador, interpretador y objeto de la devolución de los datos en un mismo instante? ... o lo que es lo mismo, cómo hacer más dinámica, visible y en "tiempo real" la recopilación de datos especialmente a la hora de analizar la lógica de intervención y la coherencia en el desarrollo y resultados de un proyecto, programa o política.

Estas preguntas nos surgieron a la hora de analizar necesidades informativas complejas relacionadas fundamentalmente con los elementos de coherencia sobre ¿para qué?, ¿cómo?, y ¿en qué medida se daba respuesta?, en la ejecución de intervenciones en el ámbito social. Nos dimos cuenta que las respuestas no sólo están en un proceso posterior complejo de sistematización, interpretación y/o triangulación de datos, sino que durante el propio proceso de recopilación era posible iniciar esa interpretación y, lo más importante, hacer copartícipe en este proceso al propio stake holder en la evaluación.

Una de nuestra propuestas es la que llamamos Dinámica de ejes en 3D, y en síntesis se trata de una sencilla dinámica en donde se relacionan los objetivos y resultados de una intervención, la relevancia de los mismos para conseguir el cambio deseado y el grado real de avance en el momento de hacer la evaluación....pero hay una dimensión más que le da profundidad al resultados y es que "la persona entrevistada" visualiza estas relaciones y reacciona¡¡¡¡.


Trabajando en el ámbito social nos encontramos con intervenciones con un andamiaje poco claro o con escasa validez en la lógica de intervención (en ocasiones sin una teoría del programa aparente). En muchos casos el propio proceso de evaluación se convierte en un foco de iluminación para los agentes (incluso a veces con más intensidad que los hallazgos finales de la propia evaluación). Quién no se ha encontrado en alguna ocasión con algún comentario en mitad de un grupo focal "Ah...claro es que según lo estáis planteando ahora me queda mucho más claro en qué y donde estoy...", por ejemplo. Pensamos que la visión más o menos acertada, integral o amplia de un stake holder no debe ser el límite ("foto fija"), muy al contrario vemos como la reacción ante los datos crea una "foto en movimiento" que en muchas ocasiones nos ha permitido avanzar años luz en la generación de aprendizajes y en la adecuada interpretación de los datos.

La apuesta, por tanto, es reforzar y aprovechar esta foto en movimiento en la recopilación de datos, incentivando en los espacios propios de la evaluación dinámicas que generen la interpretación de datos, al menos un un primer nivel de análisis. Veamos un par de ejemplos muy distintos pero con el mismo objetivo: 


El primer ejemplo, muestra uno de los puntos de partida a la hora de trabajar y proponer estas dinámicas...a pesar de su sencillez creemos que aporta al fondo del concepto que se quiere mostrar. Se ejemplifica con una dinámica que trabajamos con grupos de docentes del área rural, en un programa de  fortalecimiento de su rol, donde uno de los temas clave era el trabajo sobre la autoestima y el liderazgo. La propuesta inicial trataba de introducir ("fotocopiar") el concepto de autoestima (definición, componentes, refuerzo, etc.). Sin embargo lo que hicimos fue aplicar una visión más dinámica del proceso de aprendizaje a través de la introducción de un momento crítico y/o provocador (información → crisis → ajuste → aprendizaje → práctica → aprendizaje → actualización .... y vuelta a empezar). Se trataba de provocar una "crisis" controlada en el grupo para cuestionar las percepciones previas y la resistencia al cambio. Se les pasó a todo el grupo un cuestionario muy sencillo de medición de la autoestima. En grupo se corrigieron los cuestionarios para mostrar los resultados abiertamente y analizarlos. Sin embargo esta corrección estaba distorsionada, y el propio cuestionario también, de tal forma que los resultados arrojasen una muy baja autoestima del grupo. La dinámica de aprendizaje empezó cuando se mostraron estos resultados y el grupo empezó a reaccionar y a explicarse. A partir de ese momento surgieron gran parte de los conceptos, resistencias y críticas que inicialmente se quería trabajar con el grupo... se pasó de un trabajo estático, a uno en movimiento, donde el grupo reacciona y busca una coherencia interna en el proceso de aprendizaje.

En el segundo ejemplo entramos de lleno en la Dinámica de ejes en 3D, y en la que se incorpora esta dimensión (reacción y movimiento sobre la aparición de elementos nuevos). Vamos a hacer una breve descripción sobre un ejemplo:

La dinámica comienza con la visualización de la teoría del programa y de sus elementos principales (esto es obligatorio, y es quizá el primer choque en programas que no visibilizan este aspecto). De aplicación en grupo (de preferencia) o de forma individual, el primer paso debe confirmar dicha teoría y sus principales elementos, en donde se visibilicen al menos los objetivos y resultados principales del programa, por un lado, y las estrategias - componentes clave para el cambio, por otro lado, dando especial atención a aquellos elementos objeto de la evaluación. La dinámica entonces se desarrolla propiciando la valoración del grupo de las diferentes estrategias en un doble o triple eje de coordenadas.  


En este gráfico se muestra un modelo de plantilla vacía para iniciar la dinámica de ejes en 3D.

Las preguntas son muy claras: en función a las metas de la intervención y a la estrategias puestas en marcha para el logro: ¿en qué medida es relevante cada componente en la consecución de las metas (eje vertical: escala 1-10), ¿cúal es el grado de avance real en la puesta en marcha de cada una de las estrategias? (eje horizontal). La dinámica podría terminar aquí: recopilo los datos e interpreto en gabinete, teniendo en cuenta que cada cuadrante nos indica un escenario de análisis y de sistematización de datos. La perspectiva se puede además enriquecer incorporando nuevos elementos o dimensiones: ¿que recursos se han implementado para cada estrategia?. 

El resultado preliminar es un gráfico con al menos cuatro cuadrantes o escenarios (C1, C2,...etc) , en donde se visualizan las "nubes" de valoraciones, medias, etc, de tal forma que la resolución del propio gráfico  muestre unos resultados y una interpretación a priori de las preguntas originales.
  

Lo más interesante, si cabe, viene dado cuando la dinámica continua preguntando y analizando en el grupo el ¿por qué? y ¿qué elementos están favoreciendo y/o limitando esos valores?. El resultado es un eje (con tantas dimensiones como necesidades de contraste) donde la foto inicial es sólo el punto de partida, permitiendo una rectificación razonada a medida que se va conformando el gráfico final.      

Por ejemplo en una de las más recientes evaluaciones conseguimos este esquema a nivel de cada una de las delegaciones regionales en la implementación de una programa en el sector social, el resultado para nosotros fue muy enriquecedor y en ocasiones determinante a la hora de responder: ¿cómo ven la lógica y cómo la interpretan, sobre el porqué y cómo están interviniendo?, ¿cómo interpretan la relevancia de sus distintas estrategias?, ¿es coherente con el avance real y futuro?, ¿esta relevancia y avance se corresponde con los recursos asignados?, ¿son homogéneas estas visiones por parte del conjunto de actores?, ¿se camina en una misma dirección? ¿por que?... etc. 

Mas información en info@redcrea.es (... y si la usas: no olvides citar¡¡¡.) 

ANTONIO LUJÁN





No hay comentarios: