El concepte i el disseny d'indicadors
Aquest material realitza una aproximació al concepte d'indicador i a les qüestions clau a considerar per a la seva elaboració i classificació. En aquesta aproximació, s'hi estudia la relació entre els indicadors i el compliment dels objectius, les tipologies d'indicadors i les metodologies per al disseny de sistemes d'indicadors.
1. El concepte d’indicador
Aa
Els indicadors es defineixen com unitats de mesura que permeten el seguiment i l’avaluació periòdica de variables clau de l’organització, mitjançant la comparació amb els seus corresponents referents interns i externs o bé a partir de la seva pròpia evolució (López i Gadea, 2001).
Els referents amb els quals podem comparar l’indicador són els següents:
-
Indicador versus dada.
-
Indicador versus objectiu.
-
Indicadors i valors estàndards.
L’objectiu és el que volem aconseguir. L’indicador és la forma de mesurar si ho estem aconseguint i com.
Com a objectiu de qualitat d’un servei públic podem plantejar la “rapidesa en la tramitació d’un expedient”. L’indicador podria ser el “nombre de dies mitjà de tramitació” d’aquell tipus d’expedient.
L’estàndard és el valor concret que volem que l’indicador tingui per garantir l'objectiu.
Seguint amb l’exemple anterior, per a l’indicador “nombre de dies mitjà de tramitació” d’un tipus d’expedient, podríem consensuar en la nostra corporació que l’estàndard fos, per exemple, de 20 dies.
L’establiment de l’estàndard concret dependrà de les nostres capacitats operatives i l’hem de plantejar com a fita perquè funcioni com a guia per a les diferents unitats i als professionals vinculats a aquell procés.
És important que l’estàndard sigui consensuat amb aquells que l’han d’aconseguir, de forma que sigui realista i que funcioni com element d’estímul.
Juntament amb l’estàndard podem posar unitats d’aproximació a aquell número concret, per anar valorant, en forma de “semàfor” el nostre grau d’aproximació a l’objectiu al llarg del temps.
Si l’estàndard fos de 20 dies en la quantificació concreta de l’indicador, podríem establir un “semàfor” plantejant que:
Si la nostra tramitació mitjana de l’expedient és inferior, estaríem en “verd” (assolint l’objectiu).
Si és entre 21 i 30 dies, estaríem en “groc” (és a dir, propers a allò que volem, però encara no ho hem aconseguit).
Si la tramitació mitjana és de més de 30 dies, suposarà un “vermell” (o sigui, ens estem allunyant molt d’allò que desitgem, cridant l’atenció com una “alarma” que ens requereix prendre mesures correctives).
Aquesta aproximació “semafòrica” facilita la comprensió visual del contingut informatiu de l’indicador i posa ràpidament en evidència aquells àmbits que presenten problemes.
2. Tipologies d’indicadors
Els indicadors que s'empren en un sistema de seguiment i d’avaluació de l’activitat pública poden classificar-se de multitud de formes. Els principals criteris classificatoris es basen en el format dels indicadors i en l'anàlisi del seu contingut. A continuació anem a veure les tipologies d'indicadors a les quals donen lloc els criteris referits.
Aa
Els indicadors d’impacte mesuren el resultat aconseguit amb les actuacions i el nivell d’assoliment dels objectius operatius proposats.
L’impacte és el canvi que es vol produir internament o externament a través de la realització de les polítiques públiques i el desplegament dels serveis públics vinculats.
Exemple
Si volem obtenir la disminució de l’atur en un determinat barri i per això endeguem una política pública de promoció de l’autoocupació a partir d’un programa formatiu, podem mesurar l’impacte de la política amb un indicador que comptabilitzi el nombre de treballadors autònoms o d’empreses generades a partir del nostre programa.
Per aïllar l’efecte del programa d’altres factors de l’entorn, serà bo que fem una anàlisi comparativa del grau d’autoocupació de les persones que han passat pel nostre programa en relació amb el grau d’autoocupació d’un grup de control (aturats de les mateixes característiques d’aquell barri que no hagin estat beneficiaris directes del nostre programa).
Els indicadors d’impacte es relacionen amb el concepte d’eficàcia, que s’expressa com la ràtio entre allò que s’aconsegueix i allò que s’havia previst aconseguir (els objectius assolits en relació amb els previstos). S’és tant més eficaç com més s’apropi allò que s’ha obtingut a la previsió.
Aa
Mesuren com es percep i es valora l'actuació del sector públic per part de la ciutadania.
Normalment aquest tipus d'indicadors es genera a partir de la realització d'enquestes de percepció d’un servei públic o d’una política pública o també de bústies d’opinió, grups de discussió, entre d’altres.
Cal diferenciar entre les valoracions que fa la ciutadania no usuària del servei públic o no vinculada directament a la política pública i la valoració dels usuaris i de les usuàries d'aquests serveis que es veuen afectats de forma directa per les actuacions de l'Administració pública.
Exemple
El percentatge de valoracions positives de la ciutadania envers un programa, el nombre de queixes sobre un servei públic concret, o el nombre de peticions sobre una determinada mesura detectades en un canal de comunicació de l’ajuntament (com ara el servei d’atenció telefònica) en un període de temps donat són indicadors de percepció.
Aa
Són aquells que mesuren les condicions d’elements externs a l'organització que poden incidir en la seva activitat, directament o indirecta.
Per l’amplitud que pot suposar aquesta definició, s’acostumen a centrar en aquelles variables que es consideren més vinculades a la configuració i al desplegament de la política o del servei públic.
Exemple
Serien indicadors d’entorn l’evolució del nivell de renda de la ciutadania del nostre municipi, la taxa d’immigració, la piràmide d’edat del nostre municipi, entre d’altres.
Es tracta d’escollir aquelles variables que es puguin considerar més rellevants atenent a la naturalesa i l’abast tant de la política pública com dels serveis públics associats.
Aa
Són aquells que mesuren els resultats de les organitzacions públiques en termes de volum de serveis oferts i objectius de gestió complerts.
Els indicadors d’actuació mesuren els outputs de l’organització, és a dir, el volum de productes i/o serveis oferts.
Exemple
Si un ajuntament endega una política pública de promoció de l’autoocupació a partir d’un programa formatiu, serien indicadors de volum d’actuació: les hores de docència impartida en cada un dels programes formatius, el número de participants en cada programa o la ràtio de tipologies de ciutadans/anes (gènere, franja d’edat, procedència…) per programa.
En els indicadors d’actuació mesurem la nostra activitat, no l’impacte a la societat. Evidentment, l’activitat que fem vol aconseguir un impacte, però l’indicador d’actuació no ens informa de l’impacte.
Seguint l’exemple, el fet que s’hagin fet un determinat nombre d’hores formatives per fomentar l’autoocupació no és garantia que aquesta es produeixi, ja que pot haver-hi altres factors que la promoguin o la dificultin.
Aa
Són aquells que mesuren els recursos emprats per a la realització de les actuacions públiques.
Dins aquesta categoria cal diferenciar entre:
-
Indicadors d'economia: es centren en comparar els costos dels recursos que s'han invertit en les diferents actuacions públiques i els costos d'aquests mateixos recursos comptabilitzats a preus mitjans de mercat. Aquest tipus d'indicadors ens informa sobre el resultat de la gestió pública, mesurant-la monetàriament a preus de mercat.
Exemple
Gràcies a un sistema centralitzat de compres, s’ha aconseguit adquirir els subministraments de papereria a un cost 15 % inferior a la situació prèvia de compra directa a proveïdors sectorials.
-
Indicadors d'eficiència: són aquelles ràtios que comparen les actuacions realitzades i el volum i/o el cost dels recursos emprats per portar-les a terme. Així, l'eficiència és el grau d'optimització del resultat obtingut amb l'actuació pública en relació amb els recursos que s'han fet servir per proveir els serveis públics.
Exemple
Cada atenció a consultes de la biblioteca (resultat) municipal suposa de mitjana 15 minuts de temps de personal d’atenció (recurs).
Aquestes tipologies d’indicadors ofereixen un ampli ventall d’opcions que convé ajustar als objectius que es plantegin en termes de seguiment i d’avaluació de les polítiques públiques i dels seus serveis públics associats.
3. Característiques dels objectius i dels indicadors
Un bon sistema d’indicadors requereix la definició prèvia d’objectius estratègics i operatius, és a dir, definir uns objectius realistes i concrets. El fet d’eliminar biaixos derivats de l’adopció de fites utòpiques o no relacionades amb l'estratègia de l'organització ens facilita trobar indicadors per mesurar si ens aproximem o no a aquells objectius.
Les característiques que assenyalaríem com a bàsiques per als nostres objectius són les següents (Ministeri d’Economia i Hisenda, 2007):
-
Ser mesurables, és a dir, comptar amb unitats de mesura del grau de consecució d'un objectiu.
-
Ser assolibles, o sigui, viables, perquè es puguin assolir amb flexibilitat.
-
Estar coordinats, és a dir, que no hi hagi objectius contradictoris entre si o incoherents.
-
Ser estimulants per a l’organització i comprometedors per a les unitats.
-
Tenir la capacitat d’involucrar el personal.
-
Poder desenvolupar-se en plans d'actuació.
En relació amb els indicadors, podríem plantejar com a necessàries les següents característiques:
-
Referir-se a processos importants o crítics.
-
Representar fidelment l'objectiu a mesurar mitjançant una relació directa.
-
Ser quantificables a través de dades numèriques o un valor de classificació.
-
Ser rendibles, superant el benefici del seu ús el cost de la seva obtenció.
-
Poder definir l'evolució en el temps de l'objectiu, és a dir, sent comparables en el temps.
-
Ser fiables per donar confiança als usuaris i a les usuàries sobre la seva validesa.
-
Ser fàcils de mantenir i d’utilitzar.
-
No interferir amb altres indicadors, sent compatibles amb ells.
-
Permetre a la direcció conèixer la informació en temps real.
Activitat
Selecciona un quadre de comandament que a hores d’ara sigui utilitzat en una unitat administrativa del teu ajuntament i analitza els indicadors que incorpora basant-te en les característiques dels indicadors i objectius als quals es refereixen.
4. Disseny d'indicadors
L'establiment d'un indicador s’hauria de desenvolupar seguint la següent seqüència:
S’ha de procurar que els indicadors estiguin enunciats mitjançant gràfics de senzilla interpretació i, a ser possible, que reflecteixin tant el valor de partida i la fita a aconseguir com l'evolució històrica i el desglossament de l'avanç en els diversos períodes de temps que componen el termini final (Diputació de Barcelona, 2002).
En el cas que l’indicador faci referència a un procés que inclou activitats, recursos i temps, per facilitar el seu control i la seva visualització resulta convenient la utilització de models com poden ser els diagrames del tipus PERT o cronogrames com el diagrama de Gantt. Ambdós diagrames són eines de planificació que representen un cronograma amb les activitats a realitzar i la seva seqüència de desplegament, i que s’orienten a facilitar el seu seguiment. Normalment les dades que s’extreuen dels indicadors es presenten en aplicatius informàtics a la intranet de la corporació.
5. Selecció definitiva d’indicadors
Aa
La selecció dels indicadors ha de connectar-se amb els principis i l’estratègia de la corporació.
Ha de realitzar-se amb el màxim rigor a fi de vetllar pel seu ajust i per la seva coherència a l’hora d’informar del grau d’assoliment dels objectius que concreten el seu desplegament.
La selecció definitiva d’indicadors pot basar-se en diferents criteris de tria, incorporant la participació d’aquells actors que, a banda de la direcció, es considerin pertinents d’incorporar al procés si es desitja generar consens al voltant del resultat a assolir.
En aquest procés de selecció també convé tenir presents les interrelacions d’indicadors.
Si s'opta per fixar com a indicador l’evolució del nombre de visites realitzades a una determinada instal·lació pública, i l’objectiu és augmentar la utilització d’aquell equipament, hem de tenir en compte que haurem també de mesurar l’increment de càrrega de treball del personal de contacte amb la ciutadania.
En d’altres termes, cal considerar la relació de causa efecte entre augment del grau d’utilització i augment de les càrregues de treball, el que pot afectar a la qualitat final de la prestació de l’atenció que es dona a l’equipament.
La conformació del sistema d’indicadors com a eina de gestió no ha de limitar-se a l'establiment del sistema d'indicadors i a la seva publicitat entre els responsables de la seva complementació, sinó que ha d’acompanyar-se d’indicacions clares sobre la seva lògica i el seu funcionament operatiu.
El sistema d’indicadors ha de tenir un manual de suport amb els següents elements:
-
Mètodes de mesura dels indicadors.
-
Responsabilitat del mesurament.
-
Terminis que han de ser emplenats.
-
Responsabilitat de l'actuació sobre els indicadors.
-
Assignació dels recursos necessaris per mantenir el sistema.
Convé confeccionar una fitxa per cada indicador que ha de reflectir:
-
Perspectiva a la qual pertany.
-
Descripció detallada de l'objectiu de què informa.
-
Fórmula de càlcul.
-
Fonts de les dades i la seva qualitat.
-
Responsables de gestionar les dades.
-
Accions a desenvolupar per aconseguir la complimentació de l'índex.
Exemple de fitxa d'indicador
| Codi | PAT01 |
|---|---|
| Nom | Temps de tramitació del procediment X |
| Període i dates d'actualització | Semestral. Dates d'actualització: gener i juliol |
| Descripció | Amb aquest indicador es mesura el temps mitjà de tramitació dels expedients en el procediment X |
| Càlcul | Nombre de dies agregats de tramitacions: sumatori del nombre de dies de tramitació de tots els expedients en el període de temps analitzat. Divisió del nombre de dies agregats entre el número d'expedients realitzats. Dies de tramitació de cada expedient = x; = Σx / núm. d’expedients tramitats |
| Nivell de desagregació | No es desagrega |
| Font | Unitat de Patrimoni |
| Mètode de comprovació/d'evidència | Dades estadístiques de la Unitat de Patrimoni |
| Grau de fiabilitat | Fiabilitat total |
| Històrics | Els darrers cinc anys |
| Unitat generadora | Unitat de Patrimoni |
| Responsable | Cap de la Unitat de Patrimoni |
| Versió | 1/2021 |
| Data | 25/10/2021 |
Font: elaboració pròpia.
6. Validació dels indicadors
Aa
Es recomana establir un sistema de validació dels indicadors a fi de determinar si resulten útils i rendibles, comparant la seva utilitat i el seu cost amb la consecució dels objectius de mesura que es pretenen.
A mitjà termini, superada la fase de posada en marxa, això es pot fer mitjançant la preparació d'una enquesta que reculli l'opinió dels usuaris i de les usuàries.
Apartats de l'enquesta
-
Utilitat de l'indicador en si i per a la presa de decisions.
-
Vinculació inequívoca amb l'objectiu que es desitja millorar.
-
Compatibilitat amb la resta d'indicadors.
-
Utilitat pel que fa al cost de recollida de la informació i al seu desenvolupament.
-
Fiabilitat de les dades en relació amb el temps.
-
Claredat de la representació utilitzada.
-
Redundància amb altres operadors/indicadors ja existents.
-
Adequació de la periodicitat establerta.
-
Senzillesa en l'obtenció de la informació.
-
Aprofitament de mitjans tecnològics.
-
Divulgació idònia dels resultats.
També es recomana validar el conjunt del sistema d’indicadors per part de l’equip de direcció, valorant els següents aspectes:
-
Vinculació del sistema d’indicadors amb una visió global de l’estratègia política o de gestió.
-
Utilitat del sistema d’indicadors per destacar els aspectes crítics del que es considera línia prioritària.
-
Apreciació clara de les desviacions entre resultats obtinguts i programats.
-
Utilitat de sistema d’indicadors per a la presa de decisions.
-
Rendibilitat del sistema d’indicadors.
La validació d'indicadors ha de mantenir-se en el llarg termini per confirmar que els indicadors escollits segueixen sent pertinents i compleixen amb les mesures definides.
Un indicador pot perdre la seva vigència quan l'organització ha definit nous objectius, s'han modificat les circumstàncies i expectatives o ha canviat el públic ciutadà al qual s’adreçava l'objectiu.