El disseny d’aquesta guia s’ha fonamentat en un procés sistemàtic i participatiu estructurat en diverses fases, orientat a garantir la seva utilitat, adaptabilitat i coherència amb els valors institucionals i les iniciatives internacionals en avaluació de la recerca.

1. Suport documental i marc de referència: s’ha realitzat una revisió exhaustiva dels següents documents i iniciatives: DORA, COARA, Manifest de Leiden, EUA Roadmap, SPACE-DORA, així com models institucionals com el de l’IN3, la Universitat de Gant o la Universitat de Califòrnia. També s’han considerat els plans estratègics i de coneixement obert de la UOC.




2. Codisseny conceptual: el procés ha estat liderat per un equip intern de l’eHealth Center i ha comptat amb la participació activa dels IPs dels grups de recerca, a través de sessions presencials, consultes i votacions.




3. Estructura modular i adaptativa: la guia ha estat concebuda com un document modular, flexible i en evolució contínua, per adaptar-se a la diversitat disciplinària dels GR, als requeriments institucionals i als estàndards emergents de ciència oberta.




4. Coherència metodològica: l’enfocament híbrid combina anàlisi quantitativa (indicadors i mètriques) i avaluació qualitativa (relats, impactes contextualitzats, revisió experta). Es prioritza l’ús responsable dels indicadors, evitant biaixos o efectes adversos com el sobreús de mètriques (Goodhart’s Law).



5. 
   

   Votació d’indicadors: en el marc del procés de cocreació es va dur a terme una votació entre els investigadors per prioritzar les dimensions d’indicadors. Els resultats mitjans sobre 5 de les votacions van ser els següents (Dimensió Mitjana (sobre 5)):

   
   
   
   

   1. Research outputs - 4,72

   
   

   2. Research process - 3,67

   
   

   3. Innovation and impact - 3,39

   
   

   4. Indicadors de transferència de la UOC - 3,22

   
   

   5. Leadership - 2,56

   
   
   
   



6. Validació i seguiment: el document s’entén com una proposta inicial subjecta a revisió col·lectiva.

Preparació per a l’avaluació 2025 (que es va aturar a causa de la reorganització de la recerca)

• Avaluar els grups segons els seus propis objectius i estratègies.




• Millorar la qualitat i la rellevància social de la recerca.




• Proporcionar feedback expert per orientar els grups a futur.




• Alinear-se amb els valors de la ciència oberta i amb iniciatives com DORA i CoARA.




• Preparar la renovació dels grups adscrits a l’eHealth Center.

• Plantejament híbrid: combina anàlisi quantitativa i qualitativa.




• Orientació formativa: enfocada a l’aprenentatge i la millora, no a la fiscalització.




• Diversitat i contextualització: criteris i mètriques adaptades a les especificitats de cada grup.




• Participació: procés co-creat amb els grups, amb transparència i debat intern.




• Impacte social i transferència de coneixement: prioritzats respecte a mètriques tradicionals.

• Equip intern: format per membres de recerca, avaluació institucional, ètica i polítiques acadèmiques.




• Experts externs: amb experiència en l’àmbit científic de cada grup, metodologies qualitatives i en nous models d’avaluació (DORA, CoARA).

• Autoinforme del GR (estructura suggerida a l’annex).
• Indicadors quantitatius i qualitatius (vegeu apartat 6).
• Guia d’avaluació i plantilla de feedback per als avaluadors externs.

• Context i estructura




• Política de recerca i recursos humans




• Activitat investigadora i captació de fons




• Productivitat científica




• Internacionalització




• Impacte social i transferència




• Visió estratègica i sostenibilitat a mitjà termini (SWOT)




• Contribució a la comunitat científica i a la societat

A) Research Outputs

• Publicacions científiques




• Dades i materials de recerca




• Desenvolupament de programari/metodologies




• Informes i recomanacions de polítiques

B) Research Process

• Ètica, integritat i recerca responsable




• Participació en xarxes i consorcis




• Revisió per parells i edició científica




• Captació de fons externs

C) Transferència UOC

• Doctorats industrials




• Contractes universitat-empresa




• Càtedres i prestació de serveis




• Ingressos i indicadors de valorització

D) Innovation and Impact

• Difusió científica a mitjans




• Col·laboracions amb agents socials i empresarials




• Patents, spin-offs, innovació social




• Ciència ciutadana

E) Leadership

• Lideratge científic i institucional




• Rol en entorns col·laboratius




• Diversitat, inclusió i promoció del talent

Aquest cronograma presenta la seqüència prevista del procés d’avaluació, amb una estimació de la durada de cada fase.

Fase - Durada estimada

Disseny i comunicació - 2 mesos

Elaboració de l’autoinforme pels GR - 1,5 mesos

Assignació d’avaluadors externs - 1 mes

Avaluació externa i elaboració de feedback - 2 mesos

Retorn i diàleg amb cada GR - 0,5 mesos

Tancament i renovació - 1 mes

• Autoinforme GR: complet, rigorós, validat pel grup i basat en evidències.




• Plantilla d’informe extern: per garantir feedback estructurat, útil i constructiu.




• Infografies i materials divulgatius: per garantir una comunicació clara i institucional.

• Evitar el mal ús de mètriques (JIF, H-index, etc.)




• Revisió per parells com a base de l’avaluació




• Inclusió i transparència




• Evitar efectes perversos de l’avaluació (Goodhart’s Law)




• Coherència amb principis DORA, CoARA, SPACE, Leiden Manifesto, EUA Roadmap

Important que no representi una gran feina per part del GR i que tot allò que sigui automatitzable ja sigui pre-omplert per part d’equips de gestió de la recerca, sobretot l’Annex.

1. Dades generals i equip




2. Activitat investigadora




3. Assoliments científics




4. Estratègia 2025-2030




5. Resum final




6. Annex amb indicadors (vegeu apartat 6 més amunt)