Elaboració d’indicadors per al seguiment i l’avaluació de programes educatius

No hi ha una feina d’avaluació acabada sense unes conclusions finals. Tanmateix, en aquesta part tan delicada del procés, en la qual es condensa i es tradueix en dades tot allò que s’ha estat fent en les fases prèvies, cal tenir presents algunes qüestions.

Les conclusions de l’avaluació constitueixen el darrer pas del procés avaluador. Després de les fases de disseny de l’avaluació, de treball de camp i d’anàlisi de resultats, toca concloure els resultats de l’avaluació tot ordenant i sintetitzant les dades i la informació més rellevant.

Les conclusions constitueixen l’apartat de l’avaluació on s’emet un judici de valor informat (resultats de l’avaluació), sempre sobre la base de les preguntes d’avaluació i la definició d’èxit que hem definit prèviament. Per tal que aquest judici de valor sigui objectiu, cal respondre les preguntes d’avaluació amb l’evidència generada durant el procés avaluador.

Aquesta evidència pot ser quantitativa (indicadors d’avaluació), qualitativa (informació extreta en les entrevistes i els grup focals) o una combinació d’ambdós mètodes. Les dades quantitatives són concretes i ajuden a ancorar les conclusions, mentre que la informació qualitativa ajuda a donar context a allò que s’ha quantificat, a explicar allò que potser no s’ha pogut quantificar i, en definitiva, a comprendre millor allò que es vol exposar.

Com que les conclusions provenen de l’anàlisi realitzada, no és sobrer ressaltar que una major amplitud d’anàlisi comporta una menor concreció. Dit d’una altra manera: un excés de dades i informació pot arribar a saturar i fer més difícil destriar allò important d’allò superflu. Així doncs, és important que durant les fases de disseny s’hagin establert bé els paràmetres de l’avaluació; així les conclusions podran remetre a allò que realment interessa.

Lluny de ser un exercici merament intel·lectual i/o tècnic, el procés avaluador és un exercici d’aprenentatge col·lectiu que es beneficia enormement de la participació dels diversos col·lectius involucrats (stakeholders), com ara l’organització responsable del programa, les persones usuàries del programa o, fins i tot, la ciutadania que es pugui veure influenciada pel programa en algun aspecte. Des d’aquesta perspectiva, es pot parlar d’avaluació de naturalesa pluralista o avaluació participativa (MÉNDEZ LAGO, 2005).

L’abast de la participació és especialment rellevant en la fase de conclusions, tot i que es reconeix la importància dels valors i de les opinions de la pluralitat d’actors que tenen a veure amb un programa. Si bé en fases de caràcter més tècnic la participació és complexa (per exemple, la fase d’anàlisi, que requereix coneixements de tècniques quantitatives o qualitatives), la fase de conclusions té una naturalesa més política, i per això és especialment rellevant fomentar la participació i facilitar el diàleg entre els diferents actors i les diverses perspectives.

Com s’ha comentat a l’inici, avaluar els programes educatius permet millorar-ne els resultats a través d’un exercici de reflexió i aprenentatge col·lectiu. Però, perquè això passi, és indispensable vincular les conclusions de l’avaluació a un seguit de recomanacions encaminades a la millora del programa.

En aquest sentit, les recomanacions han de ser coherents amb la resta del procés avaluador; és a dir, han de ser raonades i realistes. En la majoria dels casos, les mesures proposades a les recomanacions ja s’entreveuen al llarg del procés avaluador, perquè tot sovint quan es detecten mancances ja es pensa com corregir-les. D’aquesta manera, així com es deia que l’avaluació sistematitza les tasques que sovint ja es fan intuïtivament, es pot dir que les recomanacions sistematitzen els deures pendents.

Com s’ha vist, les recomanacions esdevenen les directrius que cal seguir per millorar el programa. Ara bé, és l’equip responsable del programa (i no l’equip avaluador) qui ha de decidir en última instància quines mesures portarà a terme i per què, en cas que no es puguin o no es vulguin portar a terme totes.

També cal ressaltar que el document d’avaluació no traça un pla detallat per implementar les recomanacions, sinó que marca unes directrius per tal que l’equip del programa pugui traçar un «pla a mida» per implementar les mesures que consideri més convenients.

En la mesura que s’entén l’avaluació i les recomanacions de l’avaluació en aquest sentit, s’entén que s’està al davant d’una eina realment potent per promoure el coneixement i la presa de decisions informades. Per tant, es va deixant de banda la visió de l’avaluació com un requeriment o com un element merament justificatiu.