Els indicadors són, a grans trets, unitats o dades que aporten informació per avaluar algun fet que s’estudia o analitza. Per mirar de trobar els indicadors adequats i obtenir la informació que es necessita, cal fer-se preguntes d’avaluació primer.
Sabies que…
Operacionalitzar significa passar d’un concepte a un indicador, és a dir, fer el recorregut que permet trobar els indicadors adequats per conèixer una realitat o part d’ella.
Les preguntes d’avaluació han de poder-se operacionalitzar en indicadors que serveixin per mesurar si s’assoleix l’èxit o no i, d’aquesta manera, respondre a la pregunta. És a dir, els indicadors ajudaran a determinar en quina mesura s’ha cobert la necessitat, si s’ha desenvolupat el projecte o programa tal com s’esperava o si l’impacte ha estat el previst.
Un exemple d’operacionalització és el següent:
Aquí radica la importància que tenen els indicadors en l’avaluació, ja que, al cap i a la fi, és a partir dels indicadors que s’obtenen respostes i coneixement sobre allò que s’està fent.
Donada la importància dels indicadors, és fonamental que aquests, a més de ser compartits entre part avaluadora i part executora, estiguin definits de forma clara i unívoca, mostrin una sola part de la realitat, quedi clara la seva temporalitat i a què donen resposta… En definitiva, que estiguin ben definits i sigui clar què ens aporten i per a què els volem.
Els indicadors ajuden a determinar en quina mesura s’ha cobert la necessitat, si s’ha desenvolupat el projecte o programa tal com s’esperava o si l’impacte ha estat el previst.
És possible diferenciar entre un indicador de monitoratge o seguiment i un indicador d’avaluació. Tot i que el procediment i les característiques de l’un i de l’altre són les mateixes, l’indicador de monitoratge o seguiment serveix per veure, en temps real, com evoluciona una característica concreta i sol estar lligat a aspectes de gestió del programa o projecte. En canvi, l’indicador d’avaluació tindrà per objectiu respondre una pregunta concreta d’avaluació i normalment no s’analitzarà de forma aïllada, sinó en el context del sistema d’indicadors.
De l’indicador es pot dir que:
S’ha de tenir en compte que, tot i la rellevància dels indicadors, aquests aporten un marc de referència quantitatiu que, en molts casos, no abastarà la complexitat i magnitud d’allò que es vol conèixer o comprendre. Per aquest motiu, és especialment rellevant posar atenció en la selecció i definició dels indicadors que s’empraran. I per aquest mateix motiu, normalment es parla de sistema d’indicadors, que queden recollits en un quadre de comandament on es defineixen i es recullen les dades.
Se sol dir que els bons indicadors són els que compleixen els criteris SMART:
En el moment de la descripció dels indicadors, és també important ser sistemàtics i fer servir algunes pautes que ajudaran a la comprensió, tant del mateix indicador com del sistema d’indicadors en què s’inscriu.
Una bona pràctica a l’hora de descriure els indicadors és començar per la unitat de mesura a la qual fa referència i continuar amb la concreció sobre què es mesura i, si és necessari, amb relació a què es mesura.
La taula següent mostra alguns exemples de descripcions d’indicadors.
Iniciar amb una unitat de mesura clara | Concretar bé què mesurem i, si escau, amb relació a què ho mesurem |
→ Percentatge | d’actuacions que són d’un tipus determinat sobre el total d’actuacions |
→ Punts de diferència | a la pregunta X entre valor inicial i valor final als qüestionaris pre i post |
→ Dies | de durada de la intervenció fins a la seva finalització |
→ Nombre | d’incidències rebudes en una setmana |
→ Quantia en euros | d’aportació en concepte de copagament |
Quan es defineixen els indicadors, també és convenient prestar atenció a si el que s’està definint és concret o genèric. És possible adonar-se d’això a posteriori, quan es defineixen les variables necessàries i el càlcul que cal realitzar, però tenir-ho en compte abans estalviarà feina.
Els exemples són múltiples i es donen en diverses situacions.
Tot i que pugui semblar un indicador concret, amb una formulació que s’utilitza sovint, en realitat aquest enunciat amaga un mínim de quatre indicadors:
En aquest cas, l’enunciat amaga un mínim de tres indicadors:
Quan s’escullen i es defineixen els indicadors, és pertinent tenir en compte que s’han de calcular a partir d’un conjunt de variables. Algunes vegades l’indicador serà directament la dada que es recull i només caldrà fer una agregació; altres vegades caldrà fer algun càlcul més complex. En tot cas, l’indicador tindrà al darrere una o diverses variables. Tot i que l’indicador sigui numèric en essència, les variables que hi ha al darrere no tenen per què ser-ho.
El quadre següent mostra els tipus de variables que es poden fer servir per calcular indicadors.
Variables quantitatives | Variables qualitatives |
Numèriques: nombre, import, edat, alçada en centímetres... |
Nominals o de categoria: municipi, sexe... Ordinals o d’escala: grau d’acord amb, nivell educatiu... Dicotòmica: sí/no Textuals: resposta oberta en una enquesta |
Les variables qualitatives de text (la típica resposta oberta en una enquesta) és preferible no utilitzar-les per al càlcul d’indicadors, ja que, abans de poder-les operacionalitzar, s’hauria de dur a terme una recodificació en categories, cosa que dificulta i encareix el procés.
A l’hora de pensar en indicadors, és important que tinguin un objectiu concret. En aquest sentit, serà d’utilitat lligar la creació dels indicadors amb el treball previ de disseny del programa educatiu o de la seva avaluació.
En aquest recurs d’autoaprenentatge s’ha proposat la teoria del canvi. En el moment de definir els indicadors, és molt útil tornar al que s’ha definit en la teoria del canvi i pensar els indicadors que, tenint en compte aquesta eina, respondran les preguntes d’avaluació escollides.
Per realitzar l’operacionalització de l’indicador, partint de la teoria del canvi, s’ha de passar del concepte teòric a la definició teòrica i la definició operacional.
Si es vol un indicador sobre l’absentisme escolar (concepte teòric), es farà una definició teòrica de l’indicador: alumne que s’absenta de l’escola en horari escolar sense causa justificada; i s’acabarà amb la definició operacional: nombre de dies al mes que l’alumne falta a l’escola sense justificació.