L’objectiu general del recurs és promoure la cultura de l’avaluació i ajudar les persones amb perfil de tècnic/a municipal d'educació a introduir-la en la gestió de programes i projectes educatius.

Els objectius d'aprenentatge són:

• Oferir formació d’iniciació en avaluació de plans, projectes i programes en l'àmbit educatiu.
• Oferir formació d'iniciació en la creació d'indicadors.
• Mostrar alguns exemples rellevants d’avaluació de plans, projectes i programes en l'àmbit educatiu.
• Guiar en les primeres passes per iniciar l’avaluació de plans, projectes i programes en l'àmbit educatiu.

L’avaluació de programes és un procés de reflexió que aporta coneixement a l’equip o l’organització que l’impulsa i que li permet prendre decisions ben informades per millorar els seus programes. Avaluar programes, i especialment programes educatius, permet millorar-ne els resultats a través de la reflexió i l’aprenentatge col·lectiu. A més, el procés avaluador pot esdevenir una font de transparència i retiment de comptes.

L’essència de l’avaluació consisteix a donar respostes a preguntes sobre el funcionament i el rendiment dels programes. En aquest sentit, l’avaluació no deixa de ser la sistematització de tasques i processos que sovint ja es fan intuïtivament (en fer reculls d’informació o reunions de valoració) però que segurament no es fan de forma prou ordenada o rigorosa.

No hi ha una definició única del terme avaluació, però una de les més completes és la que usa la Comissió Europea (CE) i que se cita a continuació:

Sovint es confon l’avaluació amb altres pràctiques i exercicis que –malgrat ser útils, complementaris o, fins i tot, necessaris–, per si sols, no constitueixen una avaluació. Per exemple, fer una memòria d’activitat pot ser útil per a l’avaluació, però la funció de la memòria és recollir allò que s’ha fet, i no establir els criteris per valorar-ho. Així mateix, fer un seguiment d’indicadors sol ser una pràctica molt rellevant per a l’avaluació, però, un cop més, el seguiment d’indicadors aporta dades però no estableix criteris de valoració ni pautes per a la reflexió.

Avaluar requereix un temps i una dedicació que cal administrar bé, i per tant, no cal avaluar-ho tot, sinó prioritzar què es vol avaluar i per què. De la mateixa manera, cal ser realistes i curosos a l’hora de dimensionar una avaluació. Un criteri senzill i pràctic és que el cost de l’avaluació no ha de ser mai superior al cost del projecte avaluat.

Els principis de l’avaluació es fonamenten en aspectes com el rigor i l’objectivitat, però l’avaluació no deixa de ser un mètode que pot ser emprat de maneres diferents, i per tant, primer cal conèixer els diversos tipus d’avaluació.

Cada tipus d’avaluació respon a un enfocament diferenciat i té unes finalitats i uns usos concrets. Els més recurrents són:

• L’avaluació de necessitats, que busca comprendre i quantificar una problemàtica determinada, així com estimar el tipus i el volum de serveis necessaris per donar-hi resposta.
• L’avaluació del disseny, que se centra en la solució proposada per un programa determinat i en valora la coherència, així com els fonaments del seu disseny teòric.
• L’avaluació de la implementació, que compara el disseny teòric d’un programa amb el seu funcionament real a la pràctica centrant-se en els seus processos i/o resultats.
• L’avaluació de l’impacte, que valora si la intervenció ha desencadenat els canvis esperats sobre el problema inicialment plantejat i fins a quin punt aquests canvis es poden atribuir al programa.
• L’avaluació econòmica, que compara els productes i impactes aconseguits amb el que costa aconseguir-los, i valora així l’eficiència de plans, projectes i programes.

Per escollir el tipus d’avaluació més adient, cal valorar quin enfocament pot donar una millor resposta als reptes que el programa té plantejats. Així mateix, cal tenir en compte alguns paràmetres rellevants, com ara la maduresa del programa o la disponibilitat d’informació, entre altres.

A banda dels tipus d’avaluació segons l’enfocament, hi ha diferents tipus d’avaluació segons qui la porta a terme. Des d’aquesta perspectiva, es parla de:

• Avaluació interna: quan la realitza el mateix equip responsable del programa educatiu. És menys costosa (en principi, només requereix la dedicació en hores de les persones de l’equip) i parteix del coneixement intern de l’equip. D’una banda, cal que es tinguin coneixements tècnics sobre avaluació, i de l’altra, té més risc de ser esbiaixada.
• Avaluació externa: avaluació que es delega a un equip independent. És més costosa en termes econòmics (cal retribuir la dedicació de l’equip extern), però en canvi aporta la professionalitat i independència de l’equip contractat.
• Avaluació mixta: avaluació que es dona quan treballen conjuntament tots dos equips, intern i extern. En moltes avaluacions s’opta per algun tipus de fórmula mixta, ja que la col·laboració entre l’equip intern i l’extern permet gaudir d’una part dels avantatges de cada tipus d’avaluació.

Una bona manera d’ubicar-se respecte al tipus d’avaluació que més convé per a un projecte determinat, és seguir aquest arbre lògic de preguntes:

L’avaluació com a mètode segueix l’estructura d’un projecte d’investigació social de caràcter empíric, racional i pautat. En aquest sentit, la divisió en fases del procés avaluador ajuda a concebre i ordenar aquest procés.

Es distingeixen sis fases principals:

Les tres primeres fases del procés es relacionen, sobretot, amb el disseny de l’avaluació. Les tres darreres fases es relacionen amb l’execució de l’avaluació.

Així com s’han vist els diferents tipus i enfocaments d’avaluació, cal també conèixer algunes de les seves principals eines i els recursos que permetran de dur a terme una avaluació reeixida.

En aquest apartat es recullen dues eines clau per al correcte disseny de l’avaluació de qualsevol programa:

• la teoria del canvi i
• les preguntes d’avaluació.

En apartats posteriors, es veuran altres eines, com els indicadors.

Hi ha diferents eines d’avaluació, cadascuna amb la seva utilitat i les seves característiques. Malgrat que es poden fer servir puntualment i de manera separada per a qüestions concretes, quan s’inicia una avaluació és recomanable seguir aquest esquema d’ús de les eines d’avaluació:

La teoria del canvi és una eina que descriu el funcionament esperat (teòric) d’un programa, partint del problema inicialment detectat i arribant fins a la situació final desitjada.

El trajecte que recorre la teoria del canvi, des del problema fins a la solució, es fa a través d’una cadena lògica d’hipòtesis que lliguen els recursos del programa, les seves activitats, els productes que s’esperen i els impactes últims a què volem arribar. D’aquesta manera, se segueix sempre aquesta seqüència:

Com s’ha explicat abans, l’essència de l’avaluació és donar respostes a preguntes sobre el funcionament i el rendiment dels programes. Però només s’obtenen les respostes que interessen si abans s’han fet les preguntes pertinents.

Per abordar les preguntes que guiaran l’avaluació, en primer lloc cal remetre’s al tipus d’avaluació pertinent, tal com s’ha explicat a l’apartat 2. Cada tipus d’avaluació té una família de preguntes tipus, que després s’han d’acabar d’adaptar i concretar al programa.

Així, seguint la guia d’avaluació número 1 d’Ivàlua, l’Institut Català d’Avaluació de Polítiques Públiques, les principals preguntes d’avaluació segons el tipus d’avaluació són:

Els indicadors són, a grans trets, unitats o dades que aporten informació per avaluar algun fet que s’estudia o analitza. Per mirar de trobar els indicadors adequats i obtenir la informació que es necessita, cal fer-se preguntes d’avaluació primer.

Les preguntes d’avaluació han de poder-se operacionalitzar en indicadors que serveixin per mesurar si s’assoleix l’èxit o no i, d’aquesta manera, respondre a la pregunta. És a dir, els indicadors ajudaran a determinar en quina mesura s’ha cobert la necessitat, si s’ha desenvolupat el projecte o programa tal com s’esperava o si l’impacte ha estat el previst.

Aquí radica la importància que tenen els indicadors en l’avaluació, ja que, al cap i a la fi, és a partir dels indicadors que s’obtenen respostes i coneixement sobre allò que s’està fent.

Donada la importància dels indicadors, és fonamental que aquests, a més de ser compartits entre part avaluadora i part executora, estiguin definits de forma clara i unívoca, mostrin una sola part de la realitat, quedi clara la seva temporalitat i a què donen resposta… En definitiva, que estiguin ben definits i sigui clar què ens aporten i per a què els volem.

És possible diferenciar entre un indicador de monitoratge o seguiment i un indicador d’avaluació. Tot i que el procediment i les característiques de l’un i de l’altre són les mateixes, l’indicador de monitoratge o seguiment serveix per veure, en temps real, com evoluciona una característica concreta i sol estar lligat a aspectes de gestió del programa o projecte. En canvi, l’indicador d’avaluació tindrà per objectiu respondre una pregunta concreta d’avaluació i normalment no s’analitzarà de forma aïllada, sinó en el context del sistema d’indicadors.

S’ha de tenir en compte que, tot i la rellevància dels indicadors, aquests aporten un marc de referència quantitatiu que, en molts casos, no abastarà la complexitat i magnitud d’allò que es vol conèixer o comprendre. Per aquest motiu, és especialment rellevant posar atenció en la selecció i definició dels indicadors que s’empraran. I per aquest mateix motiu, normalment es parla de sistema d’indicadors, que queden recollits en un quadre de comandament on es defineixen i es recullen les dades.

Se sol dir que els bons indicadors són els que compleixen els criteris SMART:

• Specific (específic): per mesurar la informació requerida de la forma més rigorosa possible.
• Mesurable: per garantir que la informació es pot obtenir de forma fàcil.
• Attainable (adequat): per garantir que les dades es poden obtenir de forma oportuna, amb una freqüència determinada i uns costos raonables.
• Relevant (rellevant): per assegurar que no es devalua el sistema d’indicadors amb dades que no ens aporten coneixement.
• Time-bound (temporal): acotat en el temps.

En el moment de la descripció dels indicadors, és també important ser sistemàtics i fer servir algunes pautes que ajudaran a la comprensió, tant del mateix indicador com del sistema d’indicadors en què s’inscriu.

Una bona pràctica a l’hora de descriure els indicadors és començar per la unitat de mesura a la qual fa referència i continuar amb la concreció sobre què es mesura i, si és necessari, amb relació a què es mesura.

Quan es defineixen els indicadors, també és convenient prestar atenció a si el que s’està definint és concret o genèric. És possible adonar-se d’això a posteriori, quan es defineixen les variables necessàries i el càlcul que cal realitzar, però tenir-ho en compte abans estalviarà feina.

Quan s’escullen i es defineixen els indicadors, és pertinent tenir en compte que s’han de calcular a partir d’un conjunt de variables. Algunes vegades l’indicador serà directament la dada que es recull i només caldrà fer una agregació; altres vegades caldrà fer algun càlcul més complex. En tot cas, l’indicador tindrà al darrere una o diverses variables. Tot i que l’indicador sigui numèric en essència, les variables que hi ha al darrere no tenen per què ser-ho.

El quadre següent mostra els tipus de variables que es poden fer servir per calcular indicadors.

Les variables qualitatives de text (la típica resposta oberta en una enquesta) és preferible no utilitzar-les per al càlcul d’indicadors, ja que, abans de poder-les operacionalitzar, s’hauria de dur a terme una recodificació en categories, cosa que dificulta i encareix el procés.

En aquest recurs d’autoaprenentatge s’ha proposat la teoria del canvi. En el moment de definir els indicadors, és molt útil tornar al que s’ha definit en la teoria del canvi i pensar els indicadors que, tenint en compte aquesta eina, respondran les preguntes d’avaluació escollides.

Per realitzar l’operacionalització de l’indicador, partint de la teoria del canvi, s’ha de passar del concepte teòric a la definició teòrica i la definició operacional.

En el quadre de comandament s’haurà de tenir un catàleg dels indicadors que recull i un repositori amb la informació recollida. En el mateix quadre de comandament, o com a producte d’aquest, també es podrà disposar d’informes numèrics, quadres o gràfiques que mostrin les dades de forma comparada entre els indicadors i els mateixos indicadors de forma temporal.

El quadre de comandament pot ser un full de càlcul:

• En una primera pestanya és convenient posar el catàleg d’indicadors que s’hi recullen.
• En una segona pestanya s’hi pot posar les dades recollides.
• I en una tercera o posteriors pestanyes es poden generar taules combinades i gràfiques que mostrin els indicadors i la seva evolució.

Per a la recollida de les dades, és possible treballar de dues maneres:

En el catàleg dels indicadors d’un quadre de comandament s’hi ha de trobar la informació completa per poder entendre i utilitzar els indicadors. S’haurà de recollir, com a mínim, la informació següent:

• Àmbit (si l’indicador correspon a recursos, activitats, productes, impactes)
• Temàtica (sobre què versa l’indicador: estandarditzar temàtiques concretes i concises, no ha de ser un camp extens)
• Definició indicador (d’acord amb els criteris que hem establert a la unitat didàctica anterior)
• Càlcul/variable (explicitar quines variables són necessàries i quin càlcul s’ha de realitzar per disposar de l’indicador)
• Vinculació a ODS (en cas que així sigui, indicar l’ODS al qual es vincula l’indicador)
• Font (d’on s’extrauran les dades per al càlcul de l’indicador)
• Responsable (qui és la persona o la unitat responsable de recollir les dades i calcular l’indicador)
• Periodicitat de recollida (en quins moments s’haurà de recollir aquesta informació perquè sigui útil)

Un cop definit el quadre de comandament, haurem de comprovar els ítems següents per valorar si el quadre de comandament compleix els requisits mínims:

• Tots els indicadors disposen d’una definició clara, que poden entendre tant les persones que han participat en el disseny de l’avaluació com les persones que l’executen.
• S’han definit bé quines són les dades necessàries per calcular l’indicador i, en cas que sigui necessari, quina és la fórmula que cal aplicar.
• Els indicadors compleixen els criteris SMART.
• S’ha definit bé la periodicitat que han de tenir les dades.
• S’ha definit bé quina serà la font de les dades.
• S’ha definit bé quina persona o unitat serà l’encarregada de recollir les dades.

Les enquestes es poden distribuir en un moment del temps per recollir la informació sobre aquell espai de temps (enquesta transversal) o es poden repetir en diversos moments en el temps amb les mateixes preguntes (enquesta longitudinal).

Generalment, les enquestes poden ser autoadministrades en línia o per mitjans telemàtics, o fer-se per telèfon o presencialment.

La tècnica proveeix una descripció quantitativa de tendències, actituds o opinions d’una població. A partir dels resultats de la mostra de la població, es fan generalitzacions o es dibuixen inferències sobre la població.

Les enquestes faciliten la comparació sistemàtica de resultats, ja que permeten estandarditzar dades que després es podran analitzar estadísticament.

Per tant, l’enquesta respon a una finalitat més de mesura que d’exploració o de descobriment, cosa que significa que només es pot preguntar sobre el que prèviament es coneix.

Un bon qüestionari ha de tenir en compte diversos aspectes, s’ha de pensar molt bé i ha de respondre als criteris següents:

• Ha ser visualment atractiu.
• Les preguntes i opcions de respostes han d’estar ben pensades perquè siguin clares i no confonguin les persones enquestades.
• Les preguntes també han de tenir un ordre lògic, i les que són sobre un tema comú haurien d’estar juntes.

Les enquestes solen tenir una combinació de diferents tipus de preguntes:

1. Preguntes obertes, en què l’enquestat té la llibertat d’escriure la resposta amb les seves paraules.
2. Preguntes tancades: aquestes preguntes tenen unes opcions de resposta escollides per l’investigador. Poden ser categòriques, ordinals i contínues.
   • Les respostes de les categòriques no tenen un ordre establert, són excloents entre elles i tenen un únic criteri. A més, hi ha un subtipus, les anomenades dicotòmiques, en què les respostes es limiten a dos; usualment són les que tenen com a opcions de resposta “sí/no”. Exemples de preguntes categòriques serien el gènere, el districte de residència…
   • En el cas de les ordinals, les categories de resposta estan ordenades i es poden col·locar de major a menor. Són molt habituals les escales de resposta, siguin amb números (en què el número més baix sol indicar la resposta més negativa possible i el número més alt la més positiva possible) o amb paraules, per expressar les opinions negatives, positives i neutrals. A més, quan es tracta d’expressar un grau d’acord o desacord, parlem d’escala de Likert.

     Les preguntes següents tindrien respostes ordenades: el nivell educatiu, la freqüència amb què es du a terme una activitat, el grau de satisfacció, el grau d’acord amb una afirmació…

   • I, finalment, les respostes de les contínues són números, que es poden fer servir per a operacions matemàtiques i tenen un significat per si sols, per exemple, l’edat, el salari, el nombre de persones treballadores…

Les preguntes i els formats de resposta a l’enquesta han de ser apropiats per al que es vol investigar; d’aquesta manera serà més fàcil recollir la informació per analitzar-la després.

Què s'ha de tenir en compte:

És recomanable estructurar les enquestes de la manera següent:

1. Preguntes genèriques sobre el tema en qüestió
2. Preguntes més específiques i arrelades a l’objecte d’estudi
3. Preguntes sociodemogràfiques

Un registre és un compendi d’informació recollida de forma sistemàtica, que tant pot ser quantitativa com qualitativa.

• La informació quantitativa s’acostuma a recollir i registrar de forma ordenada i sistemàtica en bases de dades o fulls de càlcul. D’aquest procés se’n diu codificar les dades.
• La informació qualitativa es recull de forma diferent. El registre de les dades es converteix en un relat escrit sobre què s’ha viscut amb relació a l’objecte d’estudi. S’ha de saber distingir entre el que els actors diuen o fan i el que l’investigador interpreta. També suposa deixar constància del que s’ha vist i viscut personalment.

El registre escrit es pot dividir entre el diari de camp i les notes. El diari de camp és un relat detallat i dens dels fets. En canvi, les notes són breus apunts en brut fets al llarg del dia d’idees clau, que serveixen per després refrescar la memòria sobre les coses que s’han vist. Mentre que el registre de notes és més anàrquic, el diari està organitzat i estructurat segons l’hora i el dia.

Les fonts secundàries són les que compilen material ja publicat sobre un tema, però organitzat segons un esquema determinat. Acostumen a ser resultats d’anàlisis de fonts primàries. Aquestes fonts serveixen per recuperar informació amb caràcter retrospectiu.

Els exemples més comuns de fonts secundàries són:

• les obres de referència i consulta (manuals i enciclopèdies),
• els articles de revisió i resum d’investigacions en revistes científiques i
• les bases de dades o l’estadística oficial (catàlegs bibliogràfics, bases de dades estadístiques, catàlegs de revista, etc.).

Abans de començar la recerca, sigui quantitativa o qualitativa, és important buscar literatura existent sobre l’objecte d’estudi.

Els registres adequats per dades quantitatives recullen les dades de forma ordenada i completa i sense provocar situacions de confusió en l’investigador. D’aquesta manera, s’estalvia temps en l’anàlisi i es facilita la lectura de les dades rebudes de les persones enquestades.

Els registres de dades quantitatives han de permetre fer anàlisis profundes, ja que el registre ho possibilita, sigui oferint les dades amb una estructura ordenada o permetent que es puguin descarregar i donar-los la forma que es vulgui per facilitar la investigació. A més, amb un registre adient es pot consultar com s’ha enregistrat una dada determinada en cas de dubte.

Quan es tracta de dades qualitatives, els registres adients es poden aprofitar rellegint-los minuciosament i rigorosament, i estant atents als punts de vista i apreciacions dels actors (actituds i comportaments). La relectura dels registres facilita la reorganització, interpretació i avaluació respecte a la qüestió d’estudi.

També es poden anotar pensaments als registres per: aclarir un concepte o una idea; fer connexions entre diversos actors i informació; identificar situacions inesperades, que val la pena estudiar; formular una nova hipòtesi, i adonar-se d’assumpcions inconscients i formular les implicacions d’aquestes.

Hi ha diverses tipologies d’entrevista en funció del grau d’obertura i de direcció de l’investigador en les seves intervencions, com el grau de sistematització, la profunditat, la finalitat i els seus objectius, el nombre de participants… La modalitat que s’hagi d’utilitzar dependrà dels objectius específics d’investigació i el tipus d’informació que es vol obtenir.

Segons el grau d’estructuració, les entrevistes es poden distingir en tres tipus:

• L’entrevista estructurada: permet una situació en la qual l’entrevistador realitza les mateixes preguntes a cada entrevistat amb un protocol fixat, que se segueix rígidament.
• L’entrevista semiestructurada: exigeix l’elaboració d’un guió de preguntes o qüestions que s’han de tractar, però es flexible i permet alterar la seqüència de les preguntes segons la dinàmica de l’entrevista.
• L’entrevista no estructurada: requereix un mínim esquema o guió per saber els temes que cal tractar, i deixa un alt grau de flexibilitat i adaptació a les necessitats d’investigació i a les característiques dels entrevistats.

Segons el grau de direcció, és a dir el ro,l que pren l’entrevistador, hi ha:

• L’entrevista dirigida, que té un estil col·loquial i informal. Ha de quedar clar que l’entrevistador és qui guia l’entrevista i condueix la persona pel qüestionari treballat prèviament.
• L’entrevista no dirigida, que consisteix a crear un clima facilitador i posar focus d’atenció a l’entrevistat. La idea és que l’entrevistat tingui llibertat a l’hora d’expressar les seves opinions, els seus coneixements, etc.

Segons el grau de profunditat, existeixen tres tipus d’entrevistes:

• L’entrevista en profunditat: vol aprofundir en el món interior de les persones entrevistades i comprendre les seves vides, experiències i situacions personals des de la seva perspectiva.
• L’entrevista no focalitzada: comprèn un ampli espectre de temes i vol incloure, sense aprofundir-hi, molts aspectes d’una mateixa problemàtica.
• L’entrevista superficial: busca valors objectius útils per a la investigació, per calibrar la importància i les dades essencials de l’objecte d’estudi.

Els diferents tipus de grups focals són:

• Grups focals: són el tipus que més s’assembla a les entrevistes en grup amb interaccions amb el moderador. Aquest controla la participació de cada assistent i, a vegades, es demana que contestin de forma aïllada. S’utilitza sobretot en projectes exploratoris.
• Grups de discussió: en els grups de discussió es produeix un major aprofundiment del tema a tractar. S’accentua l’obertura i la interacció entre els participants, més que amb el moderador.
• Grups brainstorming: destaquen per la creativitat i la generació de noves idees a partir d’un tema que el moderador planteja al grup de persones. El seu propòsit és exploratori, i el moderador té un paper més passiu que en els altres tipus. No hi ha una estructuració de preguntes i es pot fer tant en escenaris formals com informals.

Evidentment no totes les entrevistes proporcionen els mateixos resultats:

És molt important determinar la manera com s’ha de fer l’entrevista. Per tant, es pot dir que a grans trets hi ha diferents moments:

Inici

Per començar, i durant l’inici de l’entrevista, és convenient explicar:

• La motivació i el propòsit de l’entrevista.
• Què es farà amb la informació obtinguda.
• Com es gravarà i quant de temps durarà.
• Com es garantirà la confidencialitat de l’entrevista.

Aquesta explicació pot estar complementada amb un document enviat prèviament amb la presentació de la investigació i el seu propòsit.

Desenvolupament de l’entrevista

Un cop començada l’entrevista, es pot fer servir el guió depenent del grau d’obertura de l’entrevista i el perfil de la persona entrevistada. Molts cops se sol memoritzar les principals línies del guió per aconseguir independència per improvisar i fer que sigui més fluida.

És important tenir en compte que prendre notes, sobretot de forma exhaustiva, durant l’entrevista pot enrarir el clima i fer que la persona entrevistada se senti examinada. Per això és recomanable enregistrar l’entrevista, amb el consentiment adient, i un cop que s’hagi acabat la gravació, sí que es pot prendre notes sobre aspectes que han aparegut a l’entrevista.

Final

En deixar de gravar l’entrevista, és convenient agrair la participació; a vegades, són moments crucials, ja que la persona entrevistada revela expressions rellevants que abans no ha manifestat.

Un bon comiat pot obrir la porta a una pròxima predisposició de la persona entrevistada a tornar a col·laborar. Una bona manera d’acabar és oferir a l’entrevistat l’oportunitat d’explicar qualsevol cosa que li sembli pertinent i que no s’hagi abordat durant l’entrevista.

Finalment, s’ha de recollir el material i apuntar idees o pensaments que hagin sorgit de l’entrevista.

L’anàlisi de dades és el procediment o procés que es realitza per organitzar i extreure la informació recollida pels investigadors. En aquest procediment s’estableixen relacions, interpretacions i significats de les dades obtingudes.

Abans d’analitzar les dades, és convenient conèixer quin és el seu abast i sobre què estan parlant. Per això és important tenir en compte els conceptes d’univers/població, cens i mostra.

• L’univers o població és el conjunt total d’individus (persones, objectes, centres escolars, associacions…) sobre els quals es vol realitzar un estudi o una anàlisi.
• Un cens és un llistat complet de totes les persones que formen part d’una població o un univers determinats.
• Una mostra és una part de l’univers o la població que es vol estudiar, sobre la qual s’observa determinades característiques que després es voldran extrapolar o inferir a la població o l’univers en general.

Normalment es treballa sobre mostres perquè d’aquesta manera s’abarateixen els costos que suposa haver d’arribar a tota la població. Però llavors s’ha de tenir en compte que és possible caure en els errors mostrals, és a dir, mesures esbiaixades sobre la població o l’univers perquè existeix un biaix en la mostra.

La mostra pot ser:

• Probabilística: mostra en què el conjunt d’individus de la població té la mateixa probabilitat de ser seleccionat per formar part de la mostra, és a dir, que se selecciona de forma aleatòria.
• No probabilística: mostra que s’escull de forma intencionada.

Dintre de les mostres probabilístiques, existeixen diversos tipus de mostreig:

L’aleatorietat no implica atzar. Per seleccionar una mostra sobre un univers del qual es disposa d’un cens, una opció és utilitzar la mostra sistemàtica. Consisteix a ordenar el cens i enumerar-lo, calcular un període (nombre total d’individus a la població / nombre total d’individus al cens) i seleccionar les unitats mostrals que coincideixin amb aquest període.

En cas que sigui assumible analitzar l’univers complet, ja sigui perquè és reduït o perquè es té «captiu», sempre és preferible. De totes maneres, s’ha de tenir en compte un altre tipus d’error, el sistemàtic, que pot produir-se per la no obtenció d’informació dels individus o per un error en la mesura.

Aquesta és la primera anàlisi que s’acostuma a fer de les dades. Amb dades de tipus qualitatiu, l’anàlisi es fa mitjançant una taula de freqüències.

Les taules de freqüències es fan calculant quantes vegades ocorre cadascuna de les possibles opcions d’una variable. A més, es calcula quant representa aquesta freqüència sobre, en termes percentuals, el total d’informació.

Amb les dades numèriques, com els indicadors, es fan servir mesures de tendència central i de dispersió.

Les mesures de tendència central més utilitzades són:

• Moda: és el valor que es repeteix més vegades.
• Mediana: és el valor que, endreçats tots els valors per ordre, queda al mig (deixa el 50 % dels valors a esquerra i dreta).
• Mitjana aritmètica: és la suma de tots els valors disponibles dividida entre el nombre d’individus.

La mesura de dispersió més utilitzada és la desviació estàndard, que informa sobre si la distribució de les dades està molt concentrada al voltant de la mitjana (quan representa valors baixos) o està més dispersa (valors elevats).

També és molt útil la utilització dels quartils, sobretot el segon i tercer quartils, que mostren, respectivament, quin és el valor que queda a l’esquerra i a la dreta el 25 % dels casos. Per calcular-los és necessari, tal com es feia també amb la mediana, ordenar els valors obtinguts i identificar quins són els dos valors que compleixen la característica mencionada.

L’anàlisi de dades bivariada consisteix a posar en relació els valors de dues variables o dos indicadors de forma conjunta. S’ha de tenir en compte si les variables que es posen en relació són les dues qualitatives, si són les dues quantitatives o si una és qualitativa i l’altra quantitativa.

Per analitzar, primer de tot cal reduir la informació obtinguda i organitzar-la en unitats fàcilment gestionables per poder esbrinar i ressaltar allò que és important i amb què es relaciona aquella informació, i per poder descriure i comprendre el que s’ha narrat i, així, dotar-ho de sentit i significat.

En el cas de l’anàlisi de dades qualitatives, per exemple entrevistes i grups focals, no existeix una eina màgica per poder descobrir els significats ocults de la informació obtinguda (àudios, vídeos, etc.). Malgrat això, hi ha un consens en el procés que permet donar rigor i qualitat als resultats.

El procés ha d’estar guiat pels objectius i ha de ser sistemàtic i ordenat. En aquest context, cal destacar que, com a investigadors i investigadores, no s’han d’oblidar aquelles anotacions realitzades sobre aspectes que s’hagin produït durant la recollida d’informació i que poden servir per contextualitzar les interpretacions de la informació.

No hi ha una feina d’avaluació acabada sense unes conclusions finals. Tanmateix, en aquesta part tan delicada del procés, en la qual es condensa i es tradueix en dades tot allò que s’ha estat fent en les fases prèvies, cal tenir presents algunes qüestions.

Les conclusions de l’avaluació constitueixen el darrer pas del procés avaluador. Després de les fases de disseny de l’avaluació, de treball de camp i d’anàlisi de resultats, toca concloure els resultats de l’avaluació tot ordenant i sintetitzant les dades i la informació més rellevant.

Les conclusions constitueixen l’apartat de l’avaluació on s’emet un judici de valor informat (resultats de l’avaluació), sempre sobre la base de les preguntes d’avaluació i la definició d’èxit que hem definit prèviament. Per tal que aquest judici de valor sigui objectiu, cal respondre les preguntes d’avaluació amb l’evidència generada durant el procés avaluador.

Aquesta evidència pot ser quantitativa (indicadors d’avaluació), qualitativa (informació extreta en les entrevistes i els grup focals) o una combinació d’ambdós mètodes. Les dades quantitatives són concretes i ajuden a ancorar les conclusions, mentre que la informació qualitativa ajuda a donar context a allò que s’ha quantificat, a explicar allò que potser no s’ha pogut quantificar i, en definitiva, a comprendre millor allò que es vol exposar.

Com que les conclusions provenen de l’anàlisi realitzada, no és sobrer ressaltar que una major amplitud d’anàlisi comporta una menor concreció. Dit d’una altra manera: un excés de dades i informació pot arribar a saturar i fer més difícil destriar allò important d’allò superflu. Així doncs, és important que durant les fases de disseny s’hagin establert bé els paràmetres de l’avaluació; així les conclusions podran remetre a allò que realment interessa.

Lluny de ser un exercici merament intel·lectual i/o tècnic, el procés avaluador és un exercici d’aprenentatge col·lectiu que es beneficia enormement de la participació dels diversos col·lectius involucrats (stakeholders), com ara l’organització responsable del programa, les persones usuàries del programa o, fins i tot, la ciutadania que es pugui veure influenciada pel programa en algun aspecte. Des d’aquesta perspectiva, es pot parlar d’avaluació de naturalesa pluralista o avaluació participativa (MÉNDEZ LAGO, 2005).

L’abast de la participació és especialment rellevant en la fase de conclusions, tot i que es reconeix la importància dels valors i de les opinions de la pluralitat d’actors que tenen a veure amb un programa. Si bé en fases de caràcter més tècnic la participació és complexa (per exemple, la fase d’anàlisi, que requereix coneixements de tècniques quantitatives o qualitatives), la fase de conclusions té una naturalesa més política, i per això és especialment rellevant fomentar la participació i facilitar el diàleg entre els diferents actors i les diverses perspectives.

Com s’ha comentat a l’inici, avaluar els programes educatius permet millorar-ne els resultats a través d’un exercici de reflexió i aprenentatge col·lectiu. Però, perquè això passi, és indispensable vincular les conclusions de l’avaluació a un seguit de recomanacions encaminades a la millora del programa.

En aquest sentit, les recomanacions han de ser coherents amb la resta del procés avaluador; és a dir, han de ser raonades i realistes. En la majoria dels casos, les mesures proposades a les recomanacions ja s’entreveuen al llarg del procés avaluador, perquè tot sovint quan es detecten mancances ja es pensa com corregir-les. D’aquesta manera, així com es deia que l’avaluació sistematitza les tasques que sovint ja es fan intuïtivament, es pot dir que les recomanacions sistematitzen els deures pendents.

Com s’ha vist, les recomanacions esdevenen les directrius que cal seguir per millorar el programa. Ara bé, és l’equip responsable del programa (i no l’equip avaluador) qui ha de decidir en última instància quines mesures portarà a terme i per què, en cas que no es puguin o no es vulguin portar a terme totes.

També cal ressaltar que el document d’avaluació no traça un pla detallat per implementar les recomanacions, sinó que marca unes directrius per tal que l’equip del programa pugui traçar un «pla a mida» per implementar les mesures que consideri més convenients.

En la mesura que s’entén l’avaluació i les recomanacions de l’avaluació en aquest sentit, s’entén que s’està al davant d’una eina realment potent per promoure el coneixement i la presa de decisions informades. Per tant, es va deixant de banda la visió de l’avaluació com un requeriment o com un element merament justificatiu.

Al llarg dels apartats del recurs, s’expliquen diversos aspectes que s’han de tenir en compte o poden ser útils per plantejar una avaluació d’un pla, projecte o programa en l’àmbit educatiu. Com a exercici pràctic, es proposa omplir la fitxa següent sobre el pla, projecte o programa. D’aquesta manera es pot disposar d’una primera visió completa sobre la seva avaluabilitat, a més de tenir esbossat el disseny de l’avaluació.

Quines preguntes d’avaluació et semblen rellevants i com les adaptaries al teu projecte?

Definició, unitat de mesura, càlcul, font, persona encarregada, periodicitat.

BALLESTIN, BEATRIZ & FÀBREGUES, S. (2018). La práctica de la investigación cualitativa en ciencias sociales y de la educación. Barcelona: Editorial UOC. Col·lecció Manuales, núm. 599.

BLASCO, J. (2009). Guia pràctica 1 - Com iniciar una avaluació: oportunitat, viabilitat i preguntes d’avaluació. Col.lecció Ivàlua de guies pràctiques sobre avaluació de polítiques públiques.

BUSTELO RUESTA, M. (2017). Evaluación con perspectiva de género: una evaluación de mayor calidad, alcance y rigor.

CONSELL SUPERIOR D'AVALUACIÓ DEL SISTEMA EDUCATIU; RANCHAL COLLADO, F. (2016). Manual d’avaluació de projectes i programes educatius. Barcelona: Departament d’Ensenyament.

CRESWELL, J. W. (2013). Research Design: Qualitative, Quantitative and Mixed Methods Approaches (4th ed.). Sage Publications, Inc.

DAVIES, C. (2020). A Quick Guide to Quantitative Research in the Social Sciences. Wales: University of Wales Trinity Saint David.

DE QUINTANA, J. (2021). La perspectiva de gènere en l’avaluació de polítiques públiques (Guia d’avaluació d’Ivàlua número 18).

GARCÍA CABRERO, B. (2010). “Modelos teóricos e indicadores de evaluación educativa”, a Sinéctica, (35), 1-17.

i-LabSo (2021). L’avaluació de projectes a l’economia social i solidària, a la Sèrie «Ecos de Transformació», núm. 12. Barcelona: ECOS, Grup Cooperatiu.

MÉNDEZ LAGO (2005). L’avaluació de polítiques públiques: característiques i metodologia (Guia UOC Open Access).

SOMEKH, B. & LEWIN, C. (2004). Research Methods in the Social Sciences: A Guide for Students and Researchers. Londres: SAGE Publications Ltd.

STOCKEMER, D. (2018). Quantitative Methods for the Social Sciences: A Practical Introduction with Examples in SPSS and Stata (2019 ed.). Springer.