Avui dia els responsables dels CLSE ja disposen de diversos mecanismes i sistemes de seguiment de les activitats i de control de la qualitat dels serveis prestats. Aquests mecanismes són, sens dubte, essencials per a una bona gestió, però no permeten respondre satisfactòriament algunes preguntes com ara: quina és la incidència real i constatable d’un servei del CLSE en la millora de la situació inicial dels usuaris, o bé conèixer si les necessitats de la població han canviat i no s’ha adequat conseqüentment el disseny del servei.

L’objectiu d’aquesta guia és facilitar el trànsit del seguiment a l’avaluació. Avaluar consisteix en desplegar un conjunt de tècniques i mètodes que permeten trobar evidències sobre si els serveis i programes estan assolint els resultats que se suposa que han d’assolir, i com s’estan assolint aquests resultats. Les evidències i els resultats trobats a partir d’una avaluació es poden incorporar a la presa de decisions per a la millora contínua del servei i/o per oferir un retiment de comptes millor.

Aquesta guia pretén ajudar als responsables dels CLSE a fer aquest pas amb més seguretat. La guia també és el resultat dels tallers de formació i treball amb responsables tècnics de 15 CLSE, i tindrà un desplegament progressiu, ja que s’anirà enriquint amb la incorporació de capítols pels diversos serveis d’un CLSE.

A continuació es mostra un vídeo que il·lustra les potencialitats de l'avaluació:

Actualment, bona part dels Centres Locals de Serveis a les Empreses (CLSE) ja disposen dels seus mecanismes per al seguiment de les seves activitats i serveis, per tal de saber si s’estan acomplint les fites plantejades en la programació d’activitats, serveis o plans. Disposar d’aquests sistemes de seguiment és essencial, ja que permet als responsables conèixer millor la realitat dels serveis: com s’organitzen, com s’estan desenvolupant i prendre així decisions més fonamentades en dades per poder aconseguir els resultats i objectius previstos.

Però els resultats d’aquest seguiment no permeten respondre a preguntes d’avaluació com ara:

• Els resultats obtinguts són imputables només al servei o programa?
• Hi ha algun altre servei en l’entorn que ofereixi recursos semblants als del CLSE?

A continuació, s’introdueixen alguns exemples de preguntes que s’aborden preferentment des de l’enfocament d’una avaluació.

• Exemple 1: Els destinataris han acabat rebent els serveis previstos?
• Exemple 2: Hi ha tipus de beneficiaris no atesos i que haurien d’haver rebut els serveis?
• Exemple 3: Hi ha hagut obstacles en l’execució del programa?
• Exemple 4: S’han identificat bones pràctiques? Hi ha elements de millora en la prestació?
• Exemple 5: S’han assolit els objectius tal com es preveien?
• Exemple 6: El servei ha estat útil per a millorar la situació?
• Exemple 7: La intervenció ha estat eficaç o eficient?

Seguiment i avaluació són dues activitats que poden ser complementàries si es tracta de trobar evidències per a la millora contínua:

Disposar de bones fonts d’informació (adaptables i fiables) és essencial per a poder avançar cap a fer avaluacions. En aquest sentit, cal tenir present que la definició de les preguntes d’avaluació poden ser molt afinades i rellevants, però si no disposem de la matèria bàsica per a respondre-les (informació, dades…) no es podran trobar respostes i, per tant, no s’obtindran resultats ni tampoc evidències per a poder millorar la presa de decisions (l’objectiu final de les avaluacions).

Per a dur a terme una avaluació cal disposar d’un cert volum d’informació fiable i que respongui a les preguntes d’avaluació formulades. Aquesta informació pot provenir del sistema de seguiment de les activitats, de les memòries d’activitats fetes o dels registres administratius, altra, en canvi, caldrà elaborar-la expressament i d’altra es pot obtenir d’estudis de context.

De fet, les fonts d’informació per avaluar poden ser moltes i extenses, i variaran segons les preguntes que es vulguin respondre o segons el tipus d’avaluació que es vulgui dur a terme. En general, les diverses fonts d’informació es combinen segons el tipus de preguntes que volem respondre amb l’avaluació i, per tant, segons el tipus d’avaluació.

En el cas dels CLSE, hi ha diverses fonts disponibles, però per la seva especificitat, es destaquen els estudis i fonts d’informació sobre la situació de l’emprenedoria i sobre els serveis que presten els CLSE, i que el Servei de Teixit Productiu de la Diputació de Barcelona posa a disposició dels CLSE:

Per avaluar calen bàsicament quatre elements:

Seguidament es desenvolupen els 3 primers elements.

Per tal de conèixer el màxim possible el servei que es vol avaluar, és útil donar resposta a preguntes d’aquest tipus:

• Quins són els seus objectius?
• Com es duen a terme les activitats realitzades per assolir aquests objectius?
• De quin pressupost disposa?
• Com i quines són les instal·lacions del servei?
• Quin personal hi treballa?
• Com són els destinataris o beneficiaris del servei?
• Quina ha estat la trajectòria del servei?
• Quins problemes han tingut? Quina és la satisfacció dels usuaris?
• S’ha avaluat prèviament? Amb quin resultat?

Per a respondre aquestes qüestions o altres de similars es poden fer servir totes les fonts d’informació esmentades anteriorment.

Complementàriament, també cal emmarcar l’avaluació. En el següent quadre hi ha una sèrie de condicionants previs a avaluar que ajuden a fer una primera aproximació a l’avaluació que es pot dur a terme i saber el context en el qual es realitzarà l’avaluació, com ara els actors clau, els propòsits, els recursos per avaluar o la capacitat de l’organització per desenvolupar l’avaluació.

Preguntes guia per emmarcar l'avaluació:

Un cop es coneix el programa i s’ha fet un primer emmarcament de l’avaluació, ja es pot començar a dissenyar operativament l’avaluació del servei que voldríem dur a terme. Per a fer-ho, convé elaborar la teoria del canvi i/o el marc lògic que hi ha rere del servei o de la política.

Un cop ja es coneix en profunditat el servei a analitzar i ja s’ha elaborat el marc lògic, és el moment de pensar en les preguntes d’avaluació que es volen respondre. A mode general, es poden tenir en compte una sèrie d’orientacions. Les preguntes haurien de ser:

Un problema inicial és saber si les preguntes que es plantegen en un primer moment estan ben orientades o si realment són d’avaluació. Per a estar més segurs que les preguntes d’avaluació són adequades, es pot:

Les preguntes d’avaluació depenen d’on posarem l’atenció dins d’un marc lògic:

L’objectiu principal d’una avaluació del disseny és l’anàlisi de la solidesa de la formulació teòrica del programa. A la pràctica l’avaluació del disseny consisteix en el contrast de la solidesa i coherència de la teoria del canvi que hi ha rere tot servei d’un CLSE, d’acord amb allò establert en la teoria, en la normativa, o en el coneixement consolidat per experts.

Tot i ser recomanable fer-les abans de fer efectiu un nou servei, es poden dur a terme també quan una política s’està executant, o bé quan un servei fa un temps que funciona i se sospita que les condicions que havien donat sentit al servei anteriorment han canviat.

Les principals característiques d'aquesta tipologia d'avaluació es sintetitzen en el següent quadre:

Algunes de les preguntes d’avaluació a plantejar-se s'exposen en el següent quadre:

A continuació es plantegen 3 passes per fer una avaluació del disseny:

S'ha identificat una avaluació real del disseny, en l'àmbit del suport a les PIME, elaborada per la Comissió Europea (2013):

Les avaluacions de necessitats analitzen si hi ha concordança entre l’oferta (pública, privada empresarial o del tercer sector), les necessitats i la demanda expressada per la població per saber si la resposta que es dona per part del servei (el seu disseny i les seves actuacions) és l’adequada. S'acostumen a fer abans de l’entrada en funcionament del servei o bé quan hi ha hagut algun canvi important.

Les principals característiques d'aquesta tipologia d'avaluació es sintetitzen en el següent quadre:

Si bé són exercicis sobretot quantitatius (que busquen identificar al màxim la relació entre les necessitats expressades, la demanda potencial que hi ha i l’oferta de serveis per a fer-hi front), una bona anàlisi qualitativa (focus grup, entrevistes, etc.) pot ser-ne un complement enriquidor (per exemple, ajudant a entendre el sentit als desajustos en la cobertura).

Algunes de les preguntes d’avaluació a plantejar-se s'exposen en el següent quadre:

A continuació es plantegen 3 passes per fer una avaluació de necessitats:

S'ha identificat una avaluació real de necessitats, en l'àmbit d'un programa facilitar el finançament a les PIME, elaborada per encàrrec del Ministeri d'indústria del Canadà (2014):

L’avaluació d’implementació és un tipus d’exercici que habitualment es realitza durant l’execució d’un programa o projecte o bé quan fa relativament poc que ha finalitzat. Té com a objectiu principal trobar desviacions entre allò previst i el que realment succeeix per validar el model d’actuació o trobar elements de millora del servei.

Aquest tipus d’avaluacions generen evidències i informació que pot ser molt útil pels gestors, però no ofereix informació sobre si s’han assolit o no els resultats i impactes objectius del programa. D’això se n’encarreguen les avaluacions de l’impacte.

A continuació es presenta en dos quadres les principals característiques de les avaluacions de la implementació:

Cal dir que una avaluació de la implementació no ha de respondre necessàriament a totes aquestes dimensions, sinó que es pot concentrar en algunes. En el següent quadre es desenvolupen les preguntes a fer-se per cadascuna de les dimensions de l’avaluació de la implementació:

Pel que fa les fonts d’informació, s’utilitzen sobretot mètodes qualitatius (grups de discussió, entrevistes en profunditat, anàlisi documental, etc.) però no és gens estrany complementar-ho amb indicadors de seguiment elaborats pels serveis, amb enquestes puntuals o amb dades de registre.

Algunes de les preguntes de les avaluacions de la implementació coincideixen amb algunes de les avaluacions de necessitats. I les avaluacions de la implementació també poden ser un complement previ a les avaluacions de l’impacte.

A continuació es plantegen 3 passes per fer una avaluació de la implementació:

S'ha identificat una avaluació real de la implementació, en l'àmbit d'ocupació i promoció econòmica, elaborada per Ivàlua (2017) sobre el Consorci per l’Ocupació i la Promoció Econòmica del Vallès Occidental (COPEVO):

L’avaluació de l’impacte té com a principal finalitat «identificar fins a quin punt s'aconsegueix modificar la problemàtica sobre la qual es pretén incidir» (Sabes-Figuera i Ferré 2016, 8). Quan interessa saber fins a quin punt els canvis detectats són fruit de l’actuació del servei, llavors es tractaria de fer una avaluació de l’impacte.

Per poder-ho determinar, cal analitzar què hauria passat als destinataris dels serveis si no haguessin rebut el servei: la seva empresa hagués sobreviscut igualment al cap del temps? El seu volum de negoci hagués estat el mateix?. Es tracta d’aïllar els efectes nets del que un servei del CLSE ha aconseguit i poder establir una relació causal entre les activitats del servei i els resultats obtinguts (outcomes).

Es presenten les principals característiques de l'avaluació d'impacte en el següent quadre:

Les avaluacions d’impacte permeten valorar si els recursos disponibles s’estan aplicant d’una manera eficaç i permeten resoldre el problema o necessitat inicial i, per tant, poden aportar evidències de si cal continuar amb la intervenció que s’està duent a terme o bé destinar els recursos a altres polítiques o serveis.

L’avaluació d’impacte només és idònia quan la política o actuació ja s’ha implementat i els seus efectes ja estan assentats en la població.

Com que per a interpretar els resultats cal saber com ha funcionat el programa, es complementa sovint amb una avaluació de la implementació.

A nivell metodològic, cal tenir en compte:

Per il·lustrar una avaluació de l'impacte, en l'àmbit de la creació i consolidació d'empreses, a continuació es fa una síntesi de l'avaluació final del Programa GATE, encarregada pel Departament de Treball dels E.E.U.U. i realitzada per IMPAQ International, LLC (2009):

Una vegada hem estructurat el servei i hem plantejat les preguntes d’avaluació, serà la selecció i posada en pràctica de diversos mètodes d’obtenció i anàlisi de la informació el que ens farà possible emetre judicis valoratius sobre aquells elements que volem avaluar del servei o programa. L’anàlisi d’indicadors, de variables, d’opinions, ens han de permetre obtenir evidències sobre les preguntes d’avaluació formulades, confirmant o rebutjant les hipòtesis inicials.

Si bé cada tipus d’avaluació s’associa amb més freqüència a una tipologia de tècniques i mètodes (per exemple, les avaluacions d’impacte incorporen sempre tècniques quantitatives), sovint les avaluacions són fruit d’una combinació de tècniques i mètodes. En aquest sentit, les diferents tècniques i mètodes, siguin de tipus quantitatiu o qualitatiu, representen una caixa d’eines, d’on l’avaluador seleccionarà aquelles que siguin més rellevants, atenent a l’enfocament i naturalesa de l’objecte d’estudi, i les que siguin més adequades tot considerant la disponibilitat de recursos i possibilitats.

Malgrat que la classificació més tradicional de les tècniques disponibles és aquella que diferencia entre les de tipus qualitatiu i les de tipus quantitatiu, en aquesta unitat repassarem:

1. Mètodes més habituals de creació de contrafactual
2. Principals tècniques per obtenir i explotar dades de valor

Per completar l’explicació de l’avaluació d’impacte, s’exposa breument la metodologia i les tècniques més habituals de creació de contrafactual (tècniques de tipus quantitatiu).

Els quatre mètodes que s’utilitzen, ordenats de major a menor grau de validesa, són:

Tècnica	Descripció	Requeriments bàsics	Quan es recomana
Experiment aleatoritzat	Mesura les diferències en els outcomes entre el grup de participants i el grup de no participants (grup de control). Els membres de cada grup s’assignen aleatòriament.	→ L’outcome a analitzar només està condicionat per la participació o no en el programa. No hi pot haver biaixos derivats de la selecció de participants, o del tractament (l’experiment). → El mecanisme de selecció s’ha de definir abans que el programa comenci. → Els grups de tractament i el de control han de ser suficientment grans com per a que estadísticament siguin comparables.	✔ Excés de demanda o més sol·licituds que places i s’opta per un sorteig per a designar qui participarà. ✔ Programa s’implementa gradualment per territoris o per grups socials (s’aleatoritza quan comença el tractament). ✔ Testar un canvi o innovació (s’aleatoritza qui participa en el programa innovat i qui no o quan). ✔ Testar estímul a participar (s’aleatoritza qui rep els estímuls a participar i qui no).
Dobles diferències	Mesura les diferències en els outcomes del grup de participants abans i després de participar en el programa en relació al grup de control abans i després de quan es va fer el tractament al grup de tractament	→ Qualsevol factor que pugui incidir en els resultats de l’outcome al llarg del temps ha de tenir el mateix impacte en els dos grups.
Regressió discontínua	S’ordenen els participants segons una variable contínua rellevant i s’estableix un punt de tall. Els participants en un cantó del punt de tall es comparen amb els que estan a l’altre cantó. Es comparen les rectes de regressió d’un cantó del punt de tall amb la de l’altre. La comparació es fa entre els grups de persones que estan al voltant del llindar. És una mesura “local” (al voltant d’un llindar) i no global. Per exemple, si un programa només s'aplica en empreses de menys de 50 treballadors, es compararà empreses de 49 treballadors (que sí han participat) amb empreses de 51 que no han participat.	→ Qualsevol factor que pugui incidir en els resultats de l’outcome al llarg del temps ha de tenir el mateix impacte en els dos grups. → Els participants que estan a prop del punt de tall, però a una i altra banda, tenen unes característiques molt similars.	✔ Si participar en el programa depèn dels valors d’una variable: nivell de puntuació, nivell de renda, tenir o no una característica determinada. ✔La variable de discriminació (rating) ha d’estar vinculada amb els outcomes. ✔ La variable de discriminació és independent del tractament. ✔ El llindar de comparació no és discrecional: els individus no trien si entren o no en programa. ✔ Cap altra variable rellevant pot tenir discontinuïtats a l’entorn del punt de tall.
Matching o aparellament	Matching o aparellament mesura les diferències en els outcomes entre el grup de tractament i el grup de control. Aquests han de ser o bé idèntics segons unes determinades característiques, o bé el màxim de semblants possibles mitjançant unes variables de control (propensity score matching). No hi ha d’haver diferències importants entre els participants i no participants pel que fa les variables utilitzades per a fer l’aparellament.	→ No hi ha d’haver diferències importants entre els participants i no participants pel que fa les variables utilitzades per a fer l’aparellament.	✔ Quan es pugui crear un grup de control ex-post que s’assembli el màxim possible al grup de tractament en aquells atributs observables i rellevants. Per a cadascun dels individus dels dos grups cal disposar del valor dels outcomes d’interès i també de tots aquells factors que poden haver influït tant en la decisió de participar en el programa com en el valor de l’outcome.

S’optarà per una o altra tècnica segons el volum i qualitat de les dades disponibles. En general, les dades que caldran per aplicar aquests mètodes i tècniques de creació de contrafactuals poden tenir fonts i orígens diversos, tal i com s’indicava en l'apartat 5 d'aquesta guia.

Tot i que hi solen predominar la combinació de registres administratius del programa, amb enquestes que permeten elaborar indicadors, obtenir i explotar dades. A continuació s'exposa alguns dels mètodes per obtenir dades específiques per a una avaluació.

Pel que fa als indicadors, aquests no compten amb una definició unívoca:

Des de la perspectiva de l’avaluació, es pot considerar que:

Quan un CLSE encari una avaluació d’un programa o servei, és possible que aquesta requereixi recopilar informació elaborada expressament, extreta directament dels usuaris del servei i/o de la ciutadania, bé sigui per conèixer l’opinió sobre un servei, per saber com ha evolucionat la seva situació després d’haver-lo rebut, etc.

En aquest cas, hi ha tres grans alternatives (la primera de tipus quantitatiu i les altres dues de tipus qualitatiu), que es resumeixen en el següent quadre:

	Enquestes	Grups de discussió	Entrevistes en profunditat
Definició	Tècnica d’investigació en que s’obté informació d’un grup de persones a partir d’un qüestionari estructurat.	Tècnica d’investigació que pren la forma d’un debat obert en grup seguint una guia de temes i conduït per un moderador/a	Tècnica d’investigació en que una persona planteja qüestions sobre un tema segons un guió més o menys estructurat.
Enfoc	Quantitatiu	Qualitatiu	Qualitatiu
Objectiu	Relacions causals	Opinions i percepcions	Opinions i percepcions
Disseny	Tancat i ordenat	Flexible i adaptable	Flexible i adaptable
Disseny mostral	Estadístic	Intencional	Intencional
Dades	Numèriques	Narratives o textuals	Narratives o textuals
Anàlisi	Deductiva	Inductiva	Inductiva

En els següents apartats de la guia s'aprofundeix en les definicions d'aquestes tècniques d'investigació i en els elements clau per dur-les a terme correctament.

Una enquesta és una tècnica de recollida de dades mitjançant l'aplicació d'un qüestionari a una mostra d'individus per conèixer les opinions, les actituds i els comportaments de les persones d’interès amb relació a l’objecte d’estudi.

En general, els governs i les institucions públiques recorren a les enquestes per saber quines són les preferències, les opinions (la satisfacció, valoració…) o els problemes de la societat o de les persones directament relacionades amb alguns dels serveis o actuacions que presten o que estan valorant d’impulsar.

Per començar a realitzar una enquesta, és precís definir els seus objectius: sobre quin tema o temes es volen conèixer les actituds, opinions o situació de les persones usuàries dels nostres serveis, dels potencials usuaris, o de les persones emprenedores i empreses en general.

Els qüestionaris consisteixen en una sèrie de preguntes que serveixen per demanar les opinions o informacions de la mostra a enquestar.

En el cas dels CLSE, fonamentalment sobre necessitats d’emprenedors i empresaris (avaluació de necessitats), sobre la seva situació (podria ser la base per avaluar impacte d’una intervenció), o sobre la qualitat i/o utilitat dels serveis que ofereixen (avaluació implementació). A més, es pregunta sobre característiques de les persones entrevistades (gènere, edat, nivell d'estudis, situació econòmica…), ja que un dels objectius és esbrinar si hi ha diferències en el que opina o succeeix en cada un d'aquests grups.

En el disseny de les preguntes cal seguir el següents requisits:

Les preguntes de les enquestes poden ser:

L'univers d’una enquesta és tota la població de la qual es voldria obtenir informació. Per exemplificar-ho, anem a dos casos reals coneguts:

Com que en general no és possible entrevistar a tot l’univers, és precís fer una selecció, una mostra de persones per realitzar l'enquesta. Per a obtenir una mostra vàlida o representativa, cal seguir procediments científics.

La mida i les característiques de la mostra varien en funció dels objectius d'una enquesta. Les variables determinants són:

• la grandària de l’univers, i
• el grau d’indeterminació (generalment s’usa el major, que és 0,5).

Si coneixem aquests dos elements, podrem saber exactament quin nombre d’enquestes (mostra) necessitarem per a obtenir uns resultats amb el marge d’error desitjat.

Com més alt sigui el marge d’error resultant, amb més cautela caldrà interpretar els resultats.

És important assenyalar:

El treball de camp s’ha d’orientar a assegurar la validesa de l’estudi, amb dos elements clau a impulsar:

• Garantir la màxima participació dels integrants de la mostra seleccionada
• Que l’entrevista (sigui telefònica, presencial o telemàtica) reculli adequadament i sense biaixos les opinions, percepcions, i posicionaments dels participants

Els grups de discussió són reunions programades que es produeixen entre una quantitat estipulada de persones, d’entre 4 i 12 participants, en les que es conversa sobre determinats temes que són objecte d’investigació, en una sèrie de dinàmiques guiades per una moderació que garanteix que els participants puguin opinar lliurement. Els membres del grup s’influeixen mútuament, ja que responen a les idees i comentaris que sorgeixen en la discussió.

Tal i com s’apuntava anteriorment, aquesta tècnica es pot combinar amb mètodes quantitatius, com les enquestes, obtenint combinacions metodològiques que reforcin el treball analític. Segons Krueger (1991: 44-45), es podria emprar:

A l’hora d’emprar aquesta tècnica, cal anar perfilant des del principi els objectius inicials, com seleccionarem la mostra de participants en cada grup, com els contactarem i captarem (també si els hi oferirem recompensa per participar), el lloc on es celebrarà la reunió, la durada i la dinàmica de les sessions. A continuació es repassaran amb més detall aquestes qüestions claus a tenir present en els grups de discussió.

Pel que fa a la durada, es recomana que un grup de discussió no sobrepassi una durada d’una hora i mitja. És recomanable que el moderador informi, al principi de la sessió, sobre la durada de la sessió.

La composició dels grups hauria de complir:

El lloc on es celebri el grup de discussió hauria de ser neutre, que no generés influència sobre les opinions dels participants. Per aquest objecte d’estudi i pels col·lectius a convocar, qualsevol sala de reunions en dependències municipals seria adequada. No obstant, és important que sigui cèntrica i/o ben comunicada, així com no llunyana del lloc de residència de la majoria de participants, facilitant al màxim l’èxit de la convocatòria.

Tot i que l’estil de moderació pot ser divers en funció del rol que desenvolupi el conductor, i hi hagi opinions diferenciades entre els experts (més o menys favorables a la intervenció del moderador), és rellevant que el moderador:

✔ Ha d’afavorir una conversa lliure i oberta entre les persones del grup, tot i introduir temes o qüestions de debat d’acord amb el guió.

✔ Ha de saber escoltar, més que interrogar als participants.

✔ Facilitar que totes les persones opinin i contribueixin a la discussió, tot intervenint, si és necessari, per limitar el protagonisme dels “experts” o per facilitar la participació dels que es mostren més reservats.

✔ Controlar i afavorir que la conversa abordi els temes i qüestions recollides en el guió. El guió, que es prepararà amb anterioritat, ha de comptar amb una benvinguda que, a banda d'agrair l'assistència, exposi de forma simple i entenedora els objectius de la trobada (per a què servirà i com es faran servir els resultats), de manera que emmarqui la discussió; també ha de recollir les grans qüestions o temes que idealment es voldria que fossin abordats pels participants, d'acord amb els objectius de l'avaluació.

Es recomana que tota la conversa sigui gravada, com a mínim, en àudio i, si fos possible i els assistents no hi posessin inconvenient, en vídeo.

De totes formes, el moderador ha de prendre notes, especialment d’allò que observa més enllà de les paraules: llenguatge corporal, els silencis i el comportament general dels participants amb relació a les preguntes i les manifestacions dels altres.

En aquesta tècnica qualitativa, l’objectiu no és obtenir dades representatives sobre les opinions de les persones sobre un tema o problema, sinó captar, identificar i conèixer la diversitat de posicions i opinions què hi ha, identificant i aproximant-nos a les diferents tendències i regularitats de percepcions i opinions, així com poder interpretar-les. És a dir, aportar llum sobre en què es fixen del servei, quines són les diferents línies d’opinió sobre aquest (quines opinions diferents hi ha, qüestions que generen més consens vs qüestions amb disparitat opinions), què sembla que influeixi en aquestes, etc.

El que es busca amb aquesta tècnica, doncs, és la comprensió detallada dels enfocaments d’altres persones (Taylor & Bogdan, 1989) i els resultats “reflecteixen quins significats atribueixen els participants a la situació presentant-los en forma d’un model que ordena les dades, les relacions i les interpretacions que fan les persones” (de Andrés, 2002: 96).

A continuació, es llisten els passos a seguir per analitzar la informació:

Una vegada hem transcrit, codificat i analitzat tota la informació generada en els grups de discussió, serà el moment de recopilar tota la informació i treball analític i plasmar-ho en un document.

A l’hora de fer-ho, podem optar per generar un resum que abordi les principals categories i subcategories, acompanyant-ho d’una selecció de cites textuals dels participants (les més rellevants i representatives), de manera que quedin reflectides algunes opinions. Més enllà d’oferir la síntesi amb els literals més destacats, l’avaluador pot aportar interpretacions sobre les opinions concretes que descriu.

Amb aquesta tècnica, com amb la dels grups de discussió, l’objectiu és aprofundir en les percepcions, vivències i opinions dels individus, descobrir les significacions, elaborades pels individus en els seus discursos, relats i experiències sobre l’objecte d’estudi.

Tot i que l’entrevista en profunditat pot ser oberta o semiestructurada, s’explica a continuació l’entrevista semiestructurada. Aquesta segueix un guió temàtic, amb preguntes obertes o temes a formular a l’entrevistat, però procura que es desenvolupi una conversa natural i viva. En aquest sentit, si bé l’investigador compta amb el guió i les preguntes que vol formular, l’ordre de les preguntes i la manera de formular-les queda relativament condicionat per com es va desenvolupant la conversa. Així, la persona entrevistada ha de poder expressar les seves opinions, matisar respostes, fer noves aportacions o aclariments. I, tot i que l’investigador ha de mantenir l’atenció suficient per introduir en les respostes de l’entrevistat les seves preguntes de forma natural, també ha d’estar obert i valorar l’interès de temes emergents o no previstos i que es generen en la conversa amb l’informant.

Pel que fa a la selecció de persones a entrevistar, aquesta dependrà de l'objecte de l'estudi, però generalment seguirà els elements que s'han exposat per a seleccionar els integrants del grup de discussió (mostra intencional, que reculli les opinions i vivències de persones amb diferents característiques sociodemogràfiques i que tinguin relació amb l'objecte d'estudi).

A continuació, es destaquen els elements rellevants que hauria de seguir l’entrevistador:

El treball i l’anàlisi de la informació de les entrevistes en profunditat seguirà en gran mesura els objectius, la lògica i les pautes exposades amb els grups de discussió: transcriure, categoritzar, recomptar i, finalment, fer una revisió i anàlisi per identificar i interpretar els temes i elements clau sobre els motius de no iniciar el pla d’empresa o en iniciar i abandonar-lo.

La principal diferència és que mentre en els grups de discussió hi ha interacció i debat entre els participants, i això permet identificar elements que generen major i menor consens, en les entrevistes individuals això no es produeix in situ, sinó que ho ha d’interpretar l’investigador en base al contrast d’opinions i vivències.

En tots aquests casos de tècniques qualitatives, grups de discussió i entrevistes semiestructurades, l’anàlisi acostuma a requerir de major temps per l’anàlisi que les tècniques quantitatives. No obstant, les tècniques quantitatives acostumen a requerir més esforços abans d’iniciar el treball de camp.

Al llarg d’aquesta guia s’han presentat els elements principals per a poder avaluar: quin tipus d’informació es pot fer servir, la necessitat de conèixer, al màxim possible, el servei a avaluar per a poder elaborar la teoria del canvi i el marc lògic, i els tipus d’avaluació i preguntes que es poden respondre.

Amb aquests elements introductoris, un responsable de CLSE ja pot afrontar una avaluació d’un servei o part d’un servei, però avaluar per primera vegada sempre suposa tenir dubtes sobre com procedir, ja que una avaluació no sempre implica seguir un camí recte i directe. A continuació, es presenten unes recomanacions orientatives a mode de fites o recordatoris que cada responsable de l’avaluació haurà d’adaptar a les seves circumstàncies específiques.

Identificar quins són els problemes que es volen resoldre. Es tracta de fer una llista ordenada de les pretensions inicials d’on centrar l’atenció. D’aquesta manera s’estableix un horitzó de treball possible.

Examinar amb quina informació es compta habitualment i la seva qualitat: quins sistemes de seguiment es fan servir, si es disposa d’informació sobre la qualitat dels serveis, si hi ha dades rellevants d’estudis externs, d’informes de gestió, etc. Així es té una primera valoració de la matèria primera per a trobar evidències.

Fer un primer contrast entre la informació disponible amb els problemes inicials. La informació disponible és suficient com per a plantejar-se la possible resolució dels problemes? Si no ho és, llavors cal plantejar-se els costos d’adquisició (econòmics, personals, organitzatius i de temps). D’aquesta manera, s’aconsegueix una primera aproximació als costos d’avaluar.

Plantejar-se si realment cal fer una avaluació. És a dir, valorar si es poden obtenir respostes satisfactòries o aproximacions prou bones amb els sistemes de seguiment i d’informació ja disponibles, o bé cal articular un procés d’avaluació. Així, se sabrà si realment el que necessitem fer és una avaluació o bé si amb un aprofitament o millora dels sistemes de seguiment ja n’hi ha prou.

Finalment, si cal fer una avaluació, es pot passar a formular les preguntes d’avaluació seguint les explicacions d’aquesta guia (i/o de les properes específiques sobre els principals serveis que ofereixen els CLSE).

Avaluar serveix fonamentalment per a dues coses:

→ La millora contínua del servei (juntament amb l’explotació dels sistemes de seguiment i de la qualitat) i

→ Per un bon retiment de comptes.

En aquesta guia s'ha posat especialment l’èmfasi en la primera, per tal d’avançar cap a una gestió més basada en informació de valor i en la introducció d’evidències en la presa de decisions sobre els CLSE i el seu funcionament.