5. L’avaluació de l’impacte de la formació i la millora organitzativa

Descripció de l'episodi:

En aquesta conversa, la Yolanda Carrasco, cap de la secció de formació de governs locals de la Direcció de Serveis de Formació de la Diputació de Barcelona, reflexiona sobre les metodologies per avaluar l’impacte de la formació en les organitzacions. Aquestes reflexions se centren en aclarir les diferències entre les diferents metodologies d’avaluació de la formació i en les dificultats i oportunitats que suposa la seva implantació.

Al principi de cada episodi hi ha una dramatització fictícia curta. Aquesta dramatització està protagonitzada per tres personatges: la Marta, el Marc i el David, tres empleats de l’administració local que ens ajudaran a copsar els temes que es tracten en cada episodi.

Transcripció:

Transcripció literal de l’àudio. Si trobeu cap error agrairem que ho reporteu a ds.formació@diba.cat

LOCUTOR: Benvinguts a Audioformació, un pòdcast de Formació DIBA.

ESCENA TEATRALITZADA:

ESCENA ÚNICA: TAULELL D’ATENCIÓ CIUTADANA DE L’AJUNTAMENT.

MARTA: Ens han demanat proves que la formació ha servit per alguna cosa. Si no ho demostrem, ja podem oblidar-nos de qualsevol altre pla formatiu.

DAVID: Això sí que vull veure-ho. Com es pot mesurar una cosa com “millorar l'atenció ciutadana”? No és com comptar quants expedients hem tramitat.

MARC: No siguis tan categòric, David. Podem veure si la gent fa menys queixes, si els tràmits es resolen més ràpid.

FUNCIONARI (CONVERSA DE FONS): Aquí té el volant d'empadronament.

CIUTADANA (CONVERSA DE FONS): Ah, perfecte. Doncs moltíssimes gràcies. Ha estat molt ràpid.

FUNCIONARI (CONVERSA DE FONS): Passi-ho bé.

MARTA: Veus? Això abans no passava.

DAVID: Va, un cas no és estadísticament rellevant.

MARTA: No és només un cas. Hem revisat les dades i en l'últim mes s'han reduït les queixes en un 30%.

MARC: I el temps de resolució de tràmits ha baixat de 10 minuts a 7 de mitjana.

DAVID: Oh, sí, un miracle de la formació! Ara tots som professionals de l'atenció ciutadana.

UN FUNCIONARI S’ACOSTA AL DAVID.

FUNCIONARI: Bon dia, David. Per cert, t'he enviat la documentació directament per correu electrònic. Així no has de venir fins aquí com abans.

DAVID: Ah, gràcies. Això abans no ho fèieu, oi?

FUNCIONARI: No, és una de les coses que ens van ensenyar al curs de formació. Així agilitzem la feina i evitem cues innecessàries.

MARC: Hahahaha! David, just has experimentat una millora real gràcies a la formació.

MARTA: Vols que ho apuntem a l'informe d'impacte?

DAVID: No cal que ho fem tan gran… Però bé, sí, potser alguna cosa ha canviat.

LOCUTOR: Audioformació. Un pòdcast de Formació DIBA.

ENTREVISTA:

ENTREVISTADORA: Benvingut, benvinguda a un nou episodi del nostre pòdcast. Episodi el en què volem parlar de l'avaluació de l'impacte de la formació i la millora organitzativa. I per això està amb nosaltres la Yolanda Carrasco, que és la cap de la secció de formació de governs locals de la Direcció de Serveis de Formació de la Diputació de Barcelona. Yolanda, molt bon dia, benvinguda.

YOLANDA CARRASCO: Un plaer estar aquí amb vosaltres.

ENTREVISTADORA: Escolta'm, a la dramatització que acabem d'escoltar hem sentit com el David, que és tremendo, qüestiona si realment es pot mesurar l'impacte d'una formació. Però finalment, doncs, sí que detecta canvis reals, no? Llavors et volia preguntar, Yolanda, si tu tinguessis el David davant, com li explicaries que la formació contribueix a la millora organitzativa dels ens locals?

YOLANDA CARRASCO: A en David li explicaria que els canvis reals es produeixen quan els coneixements adquirits en una acció formativa es traslladen a la pràctica, és a dir, al lloc de treball, al dia a dia, i aquesta pràctica continuada es tradueix en millores per a l'organització. És a dir, no podem pensar que la formació és només una transmissió de coneixements, sinó que és una eina estratègica que transforma la manera com les persones treballen i això reverteix en els objectius de l'organització.

ENTREVISTADORA: Clar. I quan parlem d'avaluar l'impacte de la formació en l'àmbit públic, a què ens referim exactament? Perquè ens hem de fixar només en si les persones apliquen el que han après o no, o cal anar una mica més enllà?

YOLANDA CARRASCO: Per parlar de l'avaluació de l'impacte de la formació als ens locals, cal entendre que no es tracta només de mesurar si els participants han aplicat el que han après en el seu lloc de treball, sinó que s'ha de fer una anàlisi més profunda dels canvis que observem a nivell individual, a nivell persona, per si tenen un efecte real a l'organització. Aquest enfocament de l'avaluació de l'impacte ve d'una necessitat de millorar la manera com mesurem la formació.

Si hi pensem, tradicionalment ens hem fixat més en la satisfacció dels participants o si han après el contingut de la formació, en típiques proves avaluatives, però el veritable objectiu és saber quin efecte real té aquesta formació en el dia a dia de les nostres organitzacions, dels nostres ajuntaments. La formació no pot ser només una qüestió d'ensenyar, sinó d'assolir resultats que estan alineats amb l'estratègia i amb els objectius corporatius.

Per anar una mica més enllà, hem de pensar en l'avaluació de l'impacte. I és molt important fer una diferenciació que a vegades dona peu a confusió quan parlem d'avaluació de la transferència i quan parlem d'avaluació de l'impacte. Si parlem de transferència, estem fent referència a si els participants apliquen en el lloc de treball el que han après a l'aula, o el que han après en una microformació, o el que han après en una solució formativa. Però això és només un primer pas necessari, però encara no parlem d'impacte.

L'impacte real es mesura quan aquests comportaments nous generen canvis concrets i mesurables en l'organització. Per exemple, la reducció del temps de tramitació d'un expedient, una millora en l'atenció al públic, o bé una millora en la comunicació interdepartamental de l'Ajuntament.

ENTREVISTADORA: Una cosa és que hi hagi hagut l'acte d'aprenentatge, diguéssim, i l'altra és que aquest aprenentatge realment s'apliqui en el dia a dia, com deies, que hi hagi un impacte real.

YOLANDA CARRASCO: L'aplicació en el lloc de treball seria transferència, per dir-ho així. Però si aquesta aplicació en el lloc de treball genera canvis a nivell corporatiu, estem parlant d'impacte.

ENTREVISTADORA: Yolanda, és molt interessant això que estàs dient. Ens pots posar un exemple concret?

YOLANDA CARRASCO: Sí, imagineu que un Ajuntament ofereix una formació sobre gestió de projectes al seu equip tècnic. L'avaluació de la transferència ens diria si el participant ha començat a utilitzar les noves eines que ha après en els seus projectes. Però l'avaluació de l'impacte aniria més enllà: mesuraria si gràcies a aquestes eines els projectes s'estan completant amb menys temps o amb menys desviació pressupostària. Així podríem veure si la formació ha tingut un efecte positiu en els resultats de l'Ajuntament i ha generat millores tangibles en l'eficiència, la qualitat dels serveis, la presa de decisions, etcètera.

ENTREVISTADORA: Que bo. Si parlem de metodologies, Yolanda, o d'enfocaments, què recomanes per avaluar aquest impacte del que parles de manera efectiva i, sobretot, de manera realista, especialment en Ajuntaments que tenen recursos limitats?

YOLANDA CARRASCO: És una pregunta molt interessant. Jo recomanaria, principalment, un enfocament gradual i, per altra banda, basat en competències clau.

És a dir, hem d'entendre que iniciar un sistema o un projecte d'avaluació de l'impacte al nostre ajuntament és un projecte massa ambiciós, per dir-ho així. I, d'alguna manera, hauríem de basar-nos en un enfocament progressiu i estructurat que podríem dir que té unes fases. Una primera fase seria detectar i identificar una necessitat concreta que està, a la vegada, lligada a una competència i que, a la vegada, està lligada a un objectiu estratègic, però només detectar aquelles que considerem més claus o més lligades a l'estratègia de l'organització.

Una vegada detectada aquesta necessitat i abans de dissenyar l'acció formativa, en segon lloc, hauríem de definir els indicadors de rendiment clau que són els que ens permetran veure si els resultats de la formació tenen impacte. Es mesuraran a l'inici de la formació i els mateixos indicadors s'han de mesurar passat un temps, un període que s'ha de decidir, depenent de quina competència o quina necessitat s'estigui treballant, per tornar a mesurar-los. La diferència entre aquests dos resultats ens dona l'impacte real de la formació en aquest objectiu concret.

ENTREVISTADORA: Clar, però ara deixa'm, Yolanda, que faci una mica de David aquí, d'advocada del diable, diguéssim. Com podem saber realment si una millora en l'organització ha estat fruit d'una acció formativa o si ha vingut per altres coses, per altres canvis?

YOLANDA CARRASCO: Doncs és una de les preguntes més complicades i segurament és una de les, d'alguna manera, excuses per no posar en marxa projectes d'aquest tipus d'avaluació de l'impacte. Perquè realment, per saber exactament si una millora és fruit específic i únic d'una acció formativa o d'una activitat formativa, hauríem d'anar a un laboratori, per entendre'ns.

Hi ha metodologies amb que ho podríem fer: aïllar un grup control i veure les diferències que es produeixen. És a dir, imagineu aquest mateix exemple que he posat abans de la gestió de projectes. Tenim un equip tècnic de 20 persones en un ajuntament. A una part, a 10 persones, li faríem una formació específica i a les altres 10 persones no els hi donaríem cap formació. En aquest cas, la diferència de resultats entre el grup control i el grup que ha rebut la formació podríem dir que és deguda a la formació que han rebut, per el que l'impacte seria positiu. Això és una manera d'avaluar l'impacte. El que passa és que, ni amb aquest exemple que he posat, realment, podríem aïllar totes les variables que poden afectar.

Per tant, la recomanació és: si tens un indici, és bona senyal. No cal ser tan puristes per poder extreure resultats que siguin necessaris. I també és molt important entendre que aquests canvis que genera la formació no és necessari que siguin únicament generats per la formació.

ENTREVISTADORA: Però el que ens importa és que hi hagi canvis, no?

YOLANDA CARRASCO: Però ens importa que hi hagi un canvi i que hi hagi una millora i que aquesta millora reverteixi en els objectius de l'organització.

ENTREVISTADORA: Molt interessant, la veritat. I fins a quin punt creus que cal incorporar l'avaluació de l'impacte des del mateix moment en què estem dissenyant aquesta acció formativa?

YOLANDA CARRASCO: Penso que no és important, és absolutament necessari incorporar-ho, però no només en el moment del disseny de l'acció formativa, sinó abans.

ENTREVISTADORA: Entenc, Yolanda, des del mateix moment en què detectem la necessitat formativa.

YOLANDA CARRASCO: Exactament. La idea principal és que no hem de començar pensant l'avaluació quan dissenyem, sinó en el moment en què detectem aquesta necessitat formativa, que estarà lligada a una competència que hem de desenvolupar.

En aquest moment, imaginem, necessitem millorar l'atenció a la ciutadania en l'OAC (Oficina d’Atenció a la Ciutadania) d'un ajuntament. En aquest cas, si directament dissenyem l'acció formativa, sense tenir present quins indicadors ens donaran pistes de com millorem, en el moment en què volem avaluar si això ha anat bé, si l'acció formativa ha anat bé, no tindrem aquesta referència inicial de com anava abans de l'acció formativa. Pel que és molt important pensar en l'avaluació de l'impacte de forma prèvia.

ENTREVISTADORA: Clar. I aquí hi juguen, entenc, un paper important els comandaments, els equips directius, no? El paper a l'hora de donar sentit a l'avaluació d'aquesta formació.

IG: Tant els comandaments com els equips directius són claus perquè un projecte com aquest o un sistema d'avaluació de l'impacte sigui un èxit. Per una banda, la part, diríem, l'alta direcció de qualsevol ajuntament ha de ser la responsable de garantir que la formació estigui alineada amb les prioritats estratègiques del municipi.

Això dona com un nivell bàsic i important, mínim, però necessari perquè després tota la resta d'agents puguin treballar en aquesta línia. Els comandaments, per la seva part, tenen una funció clau en el mesurament de l'impacte de la formació, ja que, per una banda, són els encarregats, d'alguna manera, de coordinar, supervisar el treball diari dels seus equips. I tenen molts inputs per poder valorar si els coneixements adquirits en la formació s'apliquen directament al lloc de treball i a la millora dels processos dels que ells són responsables en la seva àrea.

ENTREVISTADORA: I com es pot fer perquè els resultats de l'avaluació no quedin en un calaix, sinó que serveixin per millorar la pràctica i la planificació formativa?

YOLANDA CARRASCO: Hem parlat de moltes d'aquestes accions o recomanacions que podríem tenir en compte, però, per exemple, és importantíssim incorporar als resultats d'aquesta avaluació la presa de decisions estratègica. És a dir, ja ho hem comentat, alinear la formació amb l'estratègia i els objectius. Si el resultat d'una avaluació de l’impacte és un element a tenir en compte per a la presa de decisions, aquests resultats no quedaran mai en un calaix.

Per altra banda, és molt important implicar, com hem dit anteriorment, els comandaments. El comandament és una peça clau en molts dels esdeveniments de les organitzacions, perquè, al final, són els que estan dia a dia gestionant, coordinant, dirigint els equips. I, des d'aquesta perspectiva, si aconseguim que es prenguin seriosament l'avaluació de l'impacte, ajudaríem a donar-li sentit i a legitimar la formació com a tal. I, d'aquesta manera, es deixaria de veure la formació com una activitat aïllada i passaríem a veure-la com una palanca de transformació. Per això és tan important la implicació dels comandaments.

I, per últim, el que és també un element clau, perquè no es quedi un resultat d'avaluació de l'impacte en un calaix, és que generi sistemes de retroalimentació que permetin ajustar els programes, amb la qual cosa es converteix en un sistema cíclic que va alimentant nous programes i millorant de forma contínua.

ENTREVISTADORA: Yolanda, per acabar, dona'ns una recomanació. Què recomanaries a un ajuntament que vol començar a avaluar l'impacte de la seva formació però que no sap per on començar?

YOLANDA CARRASCO: El més important és no voler fer-ho tot de cop. Una molt bona priorització per intentar que la primera prova pilot es pugui replicar i, d'alguna manera, projectar en altres àrees. Això és bàsic. Per altra banda, com hem comentat, implicar des de l'inici els equips i els responsables. I, a nivell més metodològic, sobretot seleccionar una competència clau, aquella que pensem que és la que marca la diferència en el nostre ajuntament.

A partir d'aquí, escollir una àrea concreta, una unitat organitzativa concreta, i, a partir d'aquesta àrea organitzativa concreta, triar l'acció formativa que connecti amb aquesta necessitat i posar en marxa el que seria el procés d'avaluació de l'impacte complet. A partir d'aquí, analitzar i veure quines millores es poden fer i anar de forma progressiva transferint el projecte a altres àrees de la casa, que pot ser que no s'hagi de fer a nivell global. Això últim també és una decisió.

ENTREVISTADORA: Doncs, amb aquests consells en format de full de ruta, ens quedem avui en aquest episodi en què hem volgut parlar de l'avaluació de l'impacte de la formació i la millora organitzativa. Amb la Yolanda Carrasco, cap de la secció de formació de governs locals de la Direcció de Serveis de Formació de la Diputació de Barcelona. Yolanda, ha estat tot un plaer. Gràcies.

YOLANDA CARRASCO: Moltes gràcies a vosaltres.

ENTREVISTADORA: I no et perdis el proper capítol, que parlarem de la tasca docent, pedagogies actives i tecnologies digitals.

LOCUTOR: Heu escoltat un pòdcast de Formació DIBA.