Així com s’han vist els diferents tipus i enfocaments d’avaluació, cal també conèixer algunes de les seves principals eines i els recursos que permetran de dur a terme una avaluació reeixida.
En aquest apartat es recullen dues eines clau per al correcte disseny de l’avaluació de qualsevol programa:
-
la teoria del canvi i
-
les preguntes d’avaluació.
En apartats posteriors, es veuran altres eines, com els indicadors.
Hi ha diferents eines d’avaluació, cadascuna amb la seva utilitat i les seves característiques. Malgrat que es poden fer servir puntualment i de manera separada per a qüestions concretes, quan s’inicia una avaluació és recomanable seguir aquest esquema d’ús de les eines d’avaluació:
La teoria del canvi és una eina que descriu el funcionament esperat (teòric) d’un programa, partint del problema inicialment detectat i arribant fins a la situació final desitjada.
Fer l’exercici de la teoria del canvi fa reflexionar sobre el disseny i el funcionament del programa, i ajuda a fer-se preguntes i a encaminar possibles indicadors d’avaluació.
El trajecte que recorre la teoria del canvi, des del problema fins a la solució, es fa a través d’una cadena lògica d’hipòtesis que lliguen els recursos del programa, les seves activitats, els productes que s’esperen i els impactes últims a què volem arribar. D’aquesta manera, se segueix sempre aquesta seqüència:
Agafant el cas dels cursos de preparació per a la prova d’accés a cicles formatius de grau mitjà i grau superior esmentats anteriorment, de manera molt simplificada, podem esquematitzar la teoria del canvi del programa de la forma següent:
|
Repte o problema ↓ |
Elevat abandonament escolar prematur i joves que no obtenen el graduat escolar. |
|
Recursos ↓ |
Equip tècnic municipal. Equip docent de les EMPA. Recursos econòmics aportats per la GSED. |
|
Activitats ↓ |
Desenvolupament dels cursos. |
|
Productes ↓ |
Alumnat que acaba el curs. Alumnat que aprova la prova d'accés a CFGM o CFGS. |
|
Impactes ↓ |
Matrícula dels joves participants a CFGM o CFGS. |
| Situació desitjada | Reducció de l'abandonament escolar prematur. |
En aquest esquema es pot afirmar que:
-
L’elevat abandonament escolar prematur és el problema que justifica l’existència del programa de suport als cursos de preparació per a la prova d’accés a cicles formatius de grau mitjà i grau superior.
-
Els recursos a l’abast del programa són, essencialment, l’equip docent de les EMPA, l’equip tècnic municipal i els recursos econòmics aportats per la GSED.
-
Les activitats portades a terme no deixen de ser les classes que es desenvolupen en el marc dels cursos.
-
S’identifiquen com a productes del programa el mateix alumnat que finalitza el curs amb èxit i aquell que supera la prova d’accés.
-
Finalment, l’impacte que s’espera obtenir és un major nombre d’alumnes que continuen la seva formació matriculant-se a l’educació postobligatòria.
Com s’ha explicat abans, l’essència de l’avaluació és donar respostes a preguntes sobre el funcionament i el rendiment dels programes. Però només s’obtenen les respostes que interessen si abans s’han fet les preguntes pertinents.
Les preguntes d’avaluació són un aspecte clau en el disseny de l’avaluació d’un programa.
Per abordar les preguntes que guiaran l’avaluació, en primer lloc cal remetre’s al tipus d’avaluació pertinent, tal com s’ha explicat a l’apartat 2. Cada tipus d’avaluació té una família de preguntes tipus, que després s’han d’acabar d’adaptar i concretar al programa.
Així, seguint la guia d’avaluació número 1 d’Ivàlua, l’Institut Català d’Avaluació de Polítiques Públiques, les principals preguntes d’avaluació segons el tipus d’avaluació són:
-
Quina és la naturalesa i la magnitud del problema que es vol mitigar?
-
Quines són les previsions de futur respecte a la naturalesa i la magnitud del problema?
-
Quines són les característiques de la població que té el problema?
-
Quins altres problemes té la població objectiu?
-
Quines necessitats concretes té la població objectiu?
-
Quins serveis poden satisfer aquestes necessitats?
-
Quina freqüència i durada del servei necessita?
-
Què es necessita per poder proveir aquest servei?
-
Quins són els objectius del programa i com s’espera que els assoleixi?
-
Les hipòtesis del model són realistes?
-
La teoria és coherent amb el coneixement existent?
-
Quina és la millor manera de proveir el servei previst?
-
Quins recursos són necessaris i apropiats per implantar el programa?
-
Els criteris de selecció dels participants són els adequats per cobrir la població objectiu del programa?
-
S’han assolit els objectius operatius (productes)?
-
Els serveis previstos es proveeixen a la població prevista? Hi ha part de la població objectiu a la qual no arriba el programa?
-
Un cop al programa, els usuaris completen el cicle del servei?
-
Quina és la satisfacció amb el servei?
-
Les funcions administratives, organitzatives i de personal es gestionen adequadament?
-
El programa assoleix els objectius últims (impactes)?
-
El problema o la situació sobre la que es volia incidir ha millorat?
-
Els impactes es mantenen en el temps?
-
El programa té efectes col·laterals (positius o negatius) sobre la població diana o sobre la societat?
-
Els impactes varien segons el tipus de persona usuària o segons el territori, el tipus d’operador o altres components del programa?
-
Els recursos s’utilitzen eficientment?
-
El cost és raonable en relació amb la magnitud dels impactes obtinguts?
-
Hi ha maneres alternatives d’aconseguir impactes similars amb un cost més baix?
Agafant com a exemple un programa que promou la reducció de l’abandonament escolar prematur:
| Pregunta tipus d’avaluació d’impacte | Pregunta adaptada al programa |
| El programa assoleix els objectius últims (impactes)? | En els municipis que participen en el programa el % d’èxit de l’alumnat és superior al dels municipis que no hi participen? L’alumnat que participa en el programa obté millors resultats que l’alumnat que no hi participa? |
| El problema o la situació sobre què es volia incidir ha millorat? | S’ha reduït el % d’alumnat que abandona prematurament els estudis? |
| Els impactes es mantenen en el temps? | Quina és l’evolució del % d’èxit de l’alumnat? Com es transforma els primers anys? I després? I un cop desapareix o s’acaba el programa? |
| El programa té efectes col·laterals (positius o negatius) sobre la població diana o sobre la societat? | S’observen altres canvis a l’escola / entre el professorat / entre l’alumnat / al municipi que no s’havien previst? En quin sentit? |
| Els impactes varien segons el tipus de persona usuària o segons el territori, el tipus d’operador o altres components del programa? | En quines escoles funciona millor el programa i en quines pitjor? Quina és l’evolució de la segregació en cadascuna d’elles? A què es deuen els canvis observats? Quins són els factors clau que fan que el programa aconsegueixi reduir la segregació escolar? |