El marc conceptual es basa enel pla d'avaluació de l'impacte de la recerca (RIA)
Notes metodològiques:
- A continuació es mostren les guies generals que se solen utilitzar en el disseny d'una Taula matriu d'aquest tipus [1]. S'assenyalen mitjançant un quadre aquells aspectes que es consideren adaptables o a tenir en compte per al cas de Impact Metrics.
- En el document de excel s'inclou una proposta d'adaptació de la taula general. Resten per definir les preguntes generals i específiques, d'una banda, i d'altra banda, l'ús final i el format dels informes anuals.
Components:
1) Preguntes generals d'avaluació
Descriure i triar les principals preguntes d'avaluació general / d'alt nivell que els grups d'interès han de conèixer depenent del propòsit (s) de la seva avaluació.
Un grup de preguntes de nivell general / alt relacionat amb quins resultats / impactes s'han produït?
• Quins resultats s'han produït?
• Quina aplicació, adopció, progrés cap als resultats socials o econòmics s'han produït (resultats intermedis)?
• Quina salut / altre sector, els resultats socials o econòmics han tingut lloc?
Exemples de resultats / impacte:
• Resultats de la ciència: àrees de focus en què el programa vol afectar la manera com es fa la recerca, com augmentar la capacitat de recerca, noves eines de recerca, més col·laboració amb professionals, etc.
• Resultats d'aplicació / adopció: efectes específics després dels resultats de la ciència i abans dels resultats sanitaris, socials o econòmics, com ara l'ús en el desenvolupament d'un nou producte o un canvi en la política, la pràctica clínica, les àrees
• Resultats sanitaris, socials o econòmics: àrees més enllà de la comunitat investigadora que el programa vol afectar, com ara l'estat de salut o el desenvolupament econòmic
Les preguntes clau també inclouen una o més d'aquestes preguntes típiques:
• Com es comparen els resultats / impactes observats amb el que s'esperava (objectiu, estàndard, etc.)?
• Quin impacte pot atribuir-se al programa?
• Com es comparen els resultats / impactes del programa amb programes similars?
• Com es pot millorar l'impacte?
2) Preguntes d'avaluació específiques
Identificar un conjunt de preguntes d'avaluació específiques per a cada àrea del model de lògica de recerca genèrica que proporcionar o fer servir les vostres pròpies eines de programa, com ara el model lògic o el mapa estratègic. Per això, afegir preguntes específiques per a les altres preguntes generals d'alt nivell aplicables (com ara Com es compara?).
Exemples:
Resultats de la ciència
• S'ha fet una recerca d'alta qualitat?
• Tenim coneixement avançat i publicat?
• S'han desenvolupat o construït noves eines de recerca, tècniques, instal·lacions?
• Hem format alumnes de postgrau, mà d'obra?
• S'han creat noves col·laboracions, comunitats de pràctica?
• Què tan vital és l'entorn de la recerca?
• Ha informat la nostra investigació, ha canviat l'agenda de recerca?
• La nostra investigació és estimada pels nostres companys (p. Ex., Premis)?
Resultats d'aplicació / adopció
• Han canviat les actituds o comportaments desitjades?
• S'ha aprofitat el finançament?
• Hem contribuït o afegit a la base de coneixement, producció d'informació / recollida, emmagatzematge, utilització?
• Els resultats de la nostra recerca han informat o influït a les decisions sectorials de R + D, producte?
• Els resultats de la nostra recerca han informat o influïtsobre la política i els programes governamentals?
• Els resultats de la nostra recerca han informat o influït en l'opinió pública, la defensa?
• Els resultats de la nostra recerca han influït en els canvis específics del sector (p. Ex., Canvi de la pràctica clínica)?
Salut, resultats socials i econòmics
• Tenir els nostres resultats de recerca ajudats a millorar l'estat de salut?
• Tenir els nostres resultats de recerca ajudats a augmentar les vendes, llocs de treball, reduir costos, etc.?
FONTS: Documentació del programa, requisits d'avaluació, lògica del programa o mapa estratègic, eines de modelatge lògic, comunicacions dels grups d'interès.
CONSELLS: Els indicadors existents o sol·licitats poden ser una font de preguntes (ha passat X?) O eines de modelatge lògic, com preguntar "Si ... Llavors" a mesura que avança dels resultats a una seqüència de resultats, es poden generar preguntes.
3) Indicadors
Definir indicadors per a cada pregunta específica. Trobareu idees en les que es proporciona per al model lògic de recerca genèrica.
Fer que cada indicador es pugui mesurar. Per exemple:
• Un nombre
• Un canvi de percentatge
• Estat de ser, segons el mesurament d'un panell d'experts, d'una enquesta
• Canvi en la percepció a partir d'entrevistes clau informants, etc.
Seleccionar un conjunt més equilibrat d'indicadors per incloure-los al vostre pla.
Equilibri significa un conjunt d'indicadors del vostre programa per vincular els resultats a les activitats i disminuir els incentius pervers que poden acompanyar-se a la mesura.
• Observar la disponibilitat de dades.
• Enllaç als resultats desitjats. I almenys un ha de vincular-se als objectius en la jerarquia organitzativa / informativa.
• Comunicar-se bé. Senzill d'informar i comprensible; ajudar al públic a comprendre el funcionament del programa.
• Beneficis superiors als costos. Assegureu-vos que els beneficis de mesurar-los són més grans que els costos.
• Funciona de manera correcta o els efectes perversos es compensen amb un altre indicador del conjunt.
• Hi ha un indicador que pot causar un comportament inadequat i, en cas afirmatiu, hi ha un altre indicador que compensarà (p. Ex., Avaluarà la qualitat i la quantitat)?
• Un conjunt equilibrat / Quadre de comandament mostra una breu i convincent història de rendiment i condueix el rendiment de la manera correcta mesurant les estratègies i cobrint tots els aspectes de la lògica del programa i de les necessitats d'informació dels grups d'interès.
FONTS: Mapa de lògica o estratègia de programes, indicadors existents o quadres de comandament, avaluacions anteriors, informes d'organització i gestió de programes.
CONSELLS: No seleccionar indicadors sense pensar en els objectius del programa i en les estratègies per aconseguir-los, ja sigui utilitzant models de lògica o mapes d'estratègia o alguna altra eina per fer-ho. Així doncs, apareixerà un petit conjunt d'indicadors clau (més importants) que equilibren els incentius i les perspectives.
4) Mètodes i Fonts de dades
Identificar i seleccionar els mètodes més adequats per respondre a les teves preguntes i el disseny de prioritat. Triar els mètodes que generaran evidència creïble en el nivell de defensabilitat que necessiteu. Tenir en compte els diferents mètodes, els avantatges i els inconvenients per a cadascun i seleccionar segons el propòsit i el nivell de rigor requerit.
Exemples de mètodes comuns per als dissenys comuns són:
Identificar les fonts de dades de cada mètode, tenint en compte:
• Quines fonts de dades estan disponibles (internes o externes a l'organització), com ara Web of Science, enquestes existents.
• Quines fonts de dades cal desenvolupar, comprar o modificar.
• Fonts primàries (dades recollides directament durant l'avaluació).
• Fonts secundàries (recollides per altres i disponibles de forma gratuïta o per a la compra).
FONTS: EUA GAO 2012; RAND Measurement Research 2013 revisió de cada mètode / eina, Departament d'Energia dels Estats Units, Guia de Mètodes de R + D; llibres de text d'avaluació.
CONSELLS: Planifiqui endavant! Obteniu una línia de base al principi del programa perquè pugueu comparar pre i post. Recordeu comparar les pomes amb les pomes i triar amb cura un grup de comparació si aquest és el disseny adequat seleccionat.
5) Sol·licitants de dades i freqüència
A qui se us demanarà les dades i quan? Per cada pregunta d'avaluació, identificar la població d'interès o mostra (segons el cas) i la freqüència de recollida de dades.
Alguns exemples:
• Recollir anualment publicacions de tots els professors tècnics a temps complet
• Entrevista almenys 12 experts en temes, una vegada durant el programa
• Enquestes a una mostra aleatòria de becaris, una vegada durant el programa
Llista de verificació
• Tenir en compte la càrrega de l'administració als sol·licitants
• Determinar si recopilarà dades de tots els sol·licitants o d'una mostra
• Si utilitzeu una mostra, considereu les estratègies de mostreig i les taxes de resposta
• Sobre la base de les opcions de disseny (p. Ex., El disseny de la comparació prèvia), considerar la freqüència amb què s'han de recollir les dades i si s'ha d'enllaçar entre diferents períodes de temps
• Desenvolupar un protocol per recollir dades de diferents sol·licitants (p. Ex., Clients, investigadors, pacients, etc.)
FONTS: Registres del programa de socis i participants, experts en temes, guies d'avaluació.
CONSELLS: Considerar la càrrega dels sol·licitants. Feu totes les vostres preguntes alhora, limitant-les al més crític per respondre. Potser podeu afegir preguntes a l'esforç de recollida de dades d'un altre usuari.
6) Persona responsable
Descriure la logística de recollida de dades i opcions d'anàlisi utilitzant les llistes de comprovació proporcionades.
Llista de comprovació de la recopilació de dades: qui i com
• Identificar qui recollirà les dades
• Establir procediments i directrius de recollida de dades
• Desenvolupar la conveniència cultural
• Traduir els instruments de recollida de dades (segons correspongui)
• Prevalgui eines de recollida de dades i modifiqueu-les si cal
• Col·leccionistes de dades de trens
• Obtenir permisos
• Consideracions ètiques
L'estratègia d'anàlisi hauria de ser apropiada per generar proves creïbles per respondre a les preguntes d'avaluació.
Llista de verificació d'anàlisi de dades:
Anàlisi de partit a mètode(s)
• Compensar la informació feble en qualsevol àrea
Preparar dades
• Netejar i preparar-se per a l'anàlisi
Analitzar dades
• Equilibri les opinions fortes dels proponents i els opositors
• Equilibri de dades qualitatives i quantitatives
• Revelar nous aspectes de l'operació i el resultat del programa
Validar les dades
• Augmentar la fiabilitat i validesa de les conclusions
• Varietat de dades per origen, tipus i participants
• Triangular-cross validar i reforçar cada mètode / origen de dades
7) Ús i Públic objectiu
Donat l'audiència de l'avaluació, identificar qui necessita saber què, en quin format i qui el lliurarà.
Llista de verificació del pla d'informes
• Identificar necessitats, formats i públics d'informes específics
• Determinar el calendari dels informes
• Determinar els mecanismes de disseminació
• Identificar els responsables dels informes
Informe d'informació per dirigir-se al públic, tenint en compte que:
• Els informes són importants per difondre el coneixement.
• Els plans d'informe haurien d'ajustar-se al propòsit i l'abast de l'avaluació.
• Es recomana informar les troballes al director del programa que s'està avaluant durant l'estudi perquè no hi hagi sorpreses, especialment si hi ha troballes negatius.
Exemple de tipus d'informes
• Resum executiu
• Tècnica
• Progrés, progressar
• Contes d'impacte
Difusió
Identificar i descriure estratègies de difusió i traducció de coneixement per fomentar l'ús. Tenir en compte que:
• L'estratègia s'adapta als requisits d'informació dels interessats.
• Les recomanacions de l'informe s'han d'enllaçar amb l'evidència recollida i jutjada contra normes, codis de pràctica, criteris i / o valors dels grups d'interès.
Exemple de mecanismes de divulgació clau
• Materials d'impressió
• Comunicacions per Internet
• Presentacions en viu
• Comunicacions telefòniques
• Comunicacions per ràdio
• Presentacions de televisió i filmades
• Xarxes
Identificar diferents usos futurs de l'informe
Tenir en compte si el vostre pla proporcionarà la informació necessària per a aquests usos comuns:
• Responsabilitzar a les organitzacions de holdings
• Informar l'assignació de recursos
• Analitzar el progrés, on millorar
• Proporcionar informació per defensar les lliçons apreses per a les avaluacions futures
[1]Research Impact Assessment Plan. User Guidelines. Version 1.0. The International School on Research Impact Assessment
Fonts:
Pressupost de Barcelona: Pressupost liquidat de 2016, Obligat (http://ajuntament.barcelona.cat/estrategiaifinances/ca/pressupostos-anteriors-liquidats)