Il sistema attuale della ricerca e della comunicazione scientifica si costruisce su regole di valutazione che non sempre sono allineate con i principi della scienza aperta, della qualità e dell’integrità. I parametri di giudizio si concentrano sulle pubblicazioni, ovvero sulla sintesi finale del percorso di ricerca, che tralascia tutto quanto ha riguardato i processi intermedi. Per questo motivo, la Commissione Europea, ben consapevole dei limiti intrinseci ai metodi di valutazione attuali, ha lanciato un’iniziativa per ridefinire la valutazione della ricerca, raccogliendo le spinte e il fermento che già da diversi anni vanno nella direzione di azioni concrete verso il cambiamento.

L’Accordo per una riforma della valutazione della ricerca è stato pubblicato il 20 luglio 2022 e il primo dicembre 2022 si è costituita la Coalition for Advancing Research Assessment, CoARA, cui l’Università di Milano-Bicocca partecipa. Una coalizione di organizzazioni di finanziamento della ricerca, organizzazioni di ricerca, autorità e agenzie di valutazione nazionali/regionali, nonché associazioni delle suddette organizzazioni, società scientifiche e altre organizzazioni pertinenti. Lo scopo primario della Coalizione è quello di facilitare lo scambio di informazioni, l’apprendimento reciproco, la condivisione di buone pratiche tra tutti coloro che desiderano migliorare le pratiche di valutazione della ricerca.

Il modo di fare ricerca si evolve. I valori della collaborazione, delle pratiche della scienza aperta, della condivisione dei risultati prevalgono sempre di più sulla competizione. La digitalizzazione ha cambiato il modo di lavorare e questa trasformazione ha riguardato risultati e processi della ricerca e dell’innovazione in tutte le loro forme, compresi set di dati, software, codici, metodologie, protocolli e brevetti e non solo le pubblicazioni; la trasformazione apre a percorsi di carriera eterogenei, a varie discipline di ricerca, alla diversità, alla parità di genere.
La comunicazione e la valutazione, oggi considerata tradizionale, della scienza hanno condotto sempre più verso comportamenti scorretti: la publish or perish culture, ovvero la corsa a pubblicare, a svilire l’importanza dei processi in favore del risultato, a premiare la quantità delle pubblicazioni e di pubblicazioni su riviste rispondenti a determinati canoni, riconosciuti come elementi distorsivi (Journal Impact Factor, H-Index e indicatori bibliometrici quantitativi in generale).
Ci si è quindi interrogati sull’appropriatezza del sistema di valutazione attuale e ne è emersa l’urgenza di un’azione di riforma concreta e non di mera forma.

L’Agreement on Reforming Research Assessment, alcune premesse

Nel gennaio 2021 la Commissione Europea ha dato formalmente l’avvio a un processo di consultazione per riformare la valutazione della ricerca scientifica, azione poi sfociata nella pubblicazione dell’Agreement on Reforming Research Assessment, avvenuta il 20 luglio 2022. L’Accordo è attualmente aperto alla sottoscrizione di università, enti di ricerca e agenzie di finanziamento.

Ma quali sono stati gli avamposti della riforma?
La San Francisco Declaration on Research Assessment, DORA (2013) ha rappresentato una premessa teorica essenziale: ha stabilito raccomandazioni per migliorare la maniera in cui i prodotti della ricerca scientifica sono valutati e ha raccomandato in particolare la valorizzazione del merito intrinseco della ricerca, escludendo le misurazioni basate su metriche quantitative, come il Journal Impact Factor.
The Leiden Manifesto for Research Metrics (2015) e Hong Kong Principles for Research Assessment (2019) hanno definito i principi per assicurare che i ricercatori siano incentivati a pratiche a supporto dell’integrità della ricerca. Non sono mancate azioni con impatto a livello nazionale, come il Room for everyone’s talent, che ha unito le forze di diversi stakeholder a livello nazionale in Olanda, come università ed enti finanziatori della ricerca, per promuovere cambiamenti nella valutazione della scienza.

Il fermento alla base di questi movimenti nazionali e sovranazionali ha innescato il processo per la riforma in atto, accelerato in maniera dirompente dalla pandemia di Covid-19, che ha reso lampanti molti limiti del sistema di comunicazione della scienza e fatto emergere enormi contraddizioni.

Tedros Adhanom Ghebreyesus, direttore generale dell’Organizzazione Mondiale della Sanità, immediatamente dopo l’inizio della pandemia, invitava tutti i paesi, le aziende e le istituzioni di ricerca a rendere liberamente accessibili dati della ricerca e informazioni per l’avanzamento della scienza, a beneficio della comunità (“I call on all countries, companies and research institutions to support open data, open science, and open collaboration so that people can enjoy the benefits of science and research”
WHO Director-General’s Opening Remarks at the Media Briefing COVID-19 – 6 April 2020).

Robert Terry, Manager Research Policy, dell’OMS, asseriva come, dopo oltre un anno dall’inizio della pandemia, gli editori tradizionali si fossero rivelati inutili e meno del 25% del materiale scientifico incluso nelle Linee Guida dell’OMS sul COVID-19 proveniva da pubblicazioni tradizionali (“They proved useless, just when we needed them most” Time to unlock the potential of the digital age, OpenScienceFair2021, settembre 2021).

In questo scenario, la Commissione Europea ha messo in atto una duplice strategia: sul fronte pratico, per quanto riguarda le procedure di valutazione dei progetti europei, e sul fronte politico, con la promulgazione dell’Accordo per una riforma della valutazione della ricerca.  

Con il Programma quadro dell’Unione Europea per la ricerca e l’innovazione 2021-2027, Horizon Europe, sia nella valutazione dei ricercatori sia delle proposte c’è stata una grande accelerazione in direzione della scienza aperta. Vengono ammesse e sottoposte a valutazione diverse tipologie di risultati della ricerca a favore della bibliodiversità, la valutazione dei curricula dei ricercatori avviene mediante forma narrativa: è esplicitamente richiesto di descrivere l’impatto dei propri risultati non utilizzando gli indicatori bibliometrici. Si sottopongono a valutazione solo – o in via privilegiata – pubblicazioni provviste di DOI, un identificativo univoco che le renda pertanto findable, rintracciabili, ossia che rispondano al primo dei principi FAIR (Findabile, Accessibile, Interoperable, Reusable) della scienza aperta, e che siano ad accesso aperto. Altro aspetto molto importante e innovativo è che per la prima volta le pratiche della scienza aperta devono essere incluse nella metodologia.

L’Accordo, Agreement on Reforming Research Assessment, è stato pubblicato il 20 luglio di quest’anno, alla fine di una serie di consultazioni tra Commissione Europea, stati membri, agenzie di valutazione avutesi durante l’intero 2021. Un processo lungo e complesso che ha portato, nel dicembre 2021, alla composizione di un gruppo di lavoro, il Drafting Team, composto da Commissione Europea, Science Europe, che rappresenta i maggiori enti finanziatori della ricerca a livello europeo, la European University Association, che comprende oltre 800 università in Europa e la ricercatrice Karen Stroobants. Il Drafting Team che si è dedicato, tra gennaio e luglio 2022, alla stesura dell’Accordo, coadiuvato da un ulteriore gruppo di lavoro, il Core Group (di cui hanno fatto parte 20 istituzioni europee, tra cui il CNR, unica istituzione italiana) e un’assemblea degli stakeholder interessati, che ha superato le 350 organizzazioni (23 italiane), da 40 paesi.

Il documento è stato sottoposto ai rappresentanti degli stati membri in occasione dello European Research Area forum per essere finalmente pubblicato il 20 luglio 2022. È stato ufficialmente aperto alle firme dei potenziali sottoscrittori durante la sessione plenaria dell’evento European Research and Innovation Days 2022, il 28 settembre, da Mariya Gabriel, Commissario europeo per l’istruzione, la cultura, il multilinguismo e la gioventù, occasione in cui è stata anche lanciata CoARA, Coalition for Advancing Research Assessment.

Quello che è importante sottolineare è non solo il numero di organizzazioni che hanno contribuito e collaborato alla stesura dell’Accordo, bensì l’eterogeneità di tali organizzazioni, coinvolte a vario titolo nella valutazione della ricerca. Una riforma di entità rilevante può avvenire in modo efficace solo se si tratta di un cambiamento che interessa l’intero ecosistema della comunicazione e della valutazione scientifica. L’inclusività che ha connotato il processo di genesi dell’Accordo è certamente una delle ragioni per le quali oggi un numero importante di organizzazioni è già firmatario del documento (si contano 360 organizzazioni, il 18 novembre).

L’anima dell’Accordo è racchiusa in un documento denominato Scoping Report; esso contiene le basi teoriche per facilitare e accelerare una riforma che:

  • promuova la valutazione qualitativa basata sulla peer review, supportata da un uso più responsabile degli indicatori quantitativi
  • consideri il valore e l’impatto di una pluralità di risultati della ricerca (bibliodiversità) e il multilinguismo
  • riconosca la diversità delle attività svolte da un ricercatore e supporti la scienza collaborativa (team science)
  • incentivi la collaborazione aperta e la condivisione di risultati e dati preliminari

“The aim is for research to be evaluated based on its intrinsic merits rather than on the number of publications and where these are published” – Scoping Report on Research Assessment, European Commission

La visione si cui si basa l’Accordo è che la valutazione della ricerca, dei ricercatori e delle organizzazioni riconosca i diversi risultati, le pratiche e le attività che massimizzano qualità e impatto della ricerca.
Il documento è estremamente snello e si compone di cinque sezioni: un’introduzione, che riprende brevemente quanto contenuto nello Scoping Report, i principi su cui si basa l’accordo, gli impegni fondamentali e di supporto che chi firma l’accordo è tenuto a rispettare, la definizione della coalizione CoARA, la cui attività sarà preposta all’implementazione di quanto previsto nell’Accordo e, infine, un calendario di azione che scandisce le tappe e gli obiettivi che le istituzioni aderenti alla coalizione si impegnano a raggiungere.
Uno strumento estremamente prezioso, infine, sono gli allegati che contengono una serie di strumenti concreti che facilitano la messa in pratica del processo di cambiamento.

I principi dell’Accordo

La seconda parte del documento è focalizzata sui principi sia per le condizioni generali sia per la valutazione di criteri e di processi.
I principi per le condizioni generali:

  • rispettare le regole e le pratiche di etica e integrità e garantire che l’etica e l’integrità siano la massima priorità, mai compromessa da alcun contro-incentivo
  • tutelare la libertà della ricerca scientifica
  • rispettare l’autonomia delle organizzazioni di ricerca
  • garantire l’indipendenza e la trasparenza dei dati, dell’infrastruttura e dei criteri necessari per la valutazione della ricerca e per determinare gli impatti della ricerca; in particolare attraverso una raccolta di dati, algoritmi e indicatori chiari e trasparenti, garantendo il controllo e la titolarità da parte della comunità di ricerca sulle infrastrutture e gli strumenti critici e consentendo alle persone valutate di accedere ai dati, alle analisi e ai criteri utilizzati

I principi per la valutazione di criteri e processi si focalizzano in modo particolare sulla qualità, per la quale la scienza aperta diviene cifra imprescindibile, nonché fattore abilitante, e prendono in esame:

  • l’originalità delle idee, la conduzione professionale della ricerca e i risultati che vanno oltre lo stato dell’arte
  • la varietà di missioni di ricerca, che vanno dalla ricerca di base e di frontiera alla ricerca applicata
  • la qualità = la ricerca è condotta attraverso processi e metodologie di ricerca trasparenti e attraverso una gestione della ricerca che consenta il riutilizzo sistematico dei risultati precedenti. L’apertura della ricerca e i risultati verificabili e riproducibili, ove applicabili, contribuiscono fortemente alla qualità. L’apertura riguarda anche i risultati preliminari e la condivisione dei dati, nonché la collaborazione aperta, compreso il coinvolgimento della società ove appropriato. La valutazione dovrebbe basarsi su un giudizio qualitativo per il quale la revisione tra pari è centrale, supportata da indicatori quantitativi utilizzati in modo responsabile, ove appropriato
  • diversità, inclusività, collaborazione

Gli impegni previsti dall’Accordo

Gli enti firmatari dell’accordo sono tenuti a rispettare 10 impegni chiari al cambiamento; di essi 4 sono fondamentali, perché rappresentano i punti che favoriranno e supporteranno il cambiamento verso il riconoscimento della diversità dei risultati della ricerca, pratiche e attività e che supporteranno una valutazione della ricerca che si evolve dall’uso degli indicatori quantitativi, che non saranno però abbandonati, ma ne sarà promosso l’uso responsabile, prevedendo, quindi, uno scollamento dal loro utilizzo inappropriato.

I 4 impegni fondamentali:

  1. riconoscere la varietà dei contributi e delle carriere, secondo i bisogni e la natura della ricerca
  2. basare la valutazione principalmente sugli aspetti qualitativi per i quali la peer review è centrale, supportata da un uso responsabile di indicatori quantitativi
  3. abbandonare gli usi inappropriati di metriche basate su riviste e pubblicazioni, in particolare gli usi inappropriati del Journal Impact Factor (JIF) e dell’H-index
  4. evitare l’uso di ranking delle organizzazioni di ricerca

Sei impegni di supporto rendono praticabili, attuabili i 4 punti fondamentali:

  • impegnare risorse per riformare la valutazione della ricerca sulla base di quanto è necessario a realizzare i cambiamenti organizzativi sui quali ci si è impegnati
  • rivedere e sviluppare criteri, strumenti e processi per la valutazione della ricerca
  • aumentare la consapevolezza sulla riforma della valutazione della ricerca e fornire comunicazione, orientamento e formazione trasparenti sui criteri e sui processi di valutazione, nonché sul loro utilizzo
  • scambiarsi pratiche ed esperienze per l’apprendimento reciproco all’interno e all’esterno della Coalizione
  • comunicare i progressi compiuti nell’adesione ai Principi e nell’attuazione degli Impegni
  • valutare pratiche, criteri e strumenti basati su prove solide e sullo stato dell’arte della ricerca sulla ricerca (research on research) e rendere i dati apertamente disponibili per la raccolta e la ricerca

I principi e gli impegni delineati cominciano la loro attuazione con la sottoscrizione dell’Accordo e poi aderendo alla Coalition for Advancing Research Assessment, CoARA, una coalizione di organizzazioni di finanziamento della ricerca, organizzazioni di ricerca, autorità e agenzie di valutazione nazionali/regionali, nonché associazioni delle suddette organizzazioni, società scientifiche e altre organizzazioni pertinenti. Lo scopo primario della coalizione è quello di facilitare lo scambio di informazioni, l’apprendimento reciproco, la condivisione di buone pratiche tra tutti coloro che desiderano migliorare le pratiche di valutazione della ricerca.

La comunicazione dei progressi delle singole istituzioni, nel rispetto dell’autonomia di ognuna, si baserà su un’autovalutazione condivisa pubblicamente. A un anno dalla firma, i membri pubblicheranno un proprio percorso e piano d’azione per la riforma.
Dopo 5 anni, l’organizzazione che ha sottoscritto l’Accordo si impegna ad avere realizzato almeno un ciclo di revisione e sviluppo dei nuovi criteri, processi e strumenti di valutazione.

Già al lancio della coalizione, il 28 settembre scorso, all’apertura delle firme, comparivano i primi 51 firmatari e, pochi giorni dopo, il 6 ottobre, anche l’ANVUR, l’Agenzia nazionale di valutazione del sistema universitario e della ricerca, ha sottoscritto l’Accordo, impegnandosi formalmente a entrare nel processo. La Commissione Europea ha aderito ufficialmente l’8 novembre e, nella stessa occasione, ha anche firmato la San Francisco Declaration on Research Assessment, DORA. Dalla metà dello scorso novembre 2022, anche UniMiB partecipa alla Coalizione.

L’assemblea costituente di CoARA ha avuto luogo il primo dicembre 2022 e ne fanno parte solo i membri che hanno firmato l’Accordo e partecipato alla Coalizione entro il 17 novembre. CoARA resta aperto per le organizzazioni che firmeranno successivamente l’Accordo e sarà sempre possibile farne parte, firmando sul sito di CoARA.

Nell’Accordo è esplicitato che l’Open Science è riconosciuta come una condizione in sé non sufficiente, ma necessaria per indicare la qualità della ricerca. La riforma vuole tornare a porre l’accento sul rigore e sul processo che porterà a pubblicare probabilmente meno, ma meglio. È importante che indicatori e criteri di valutazione della scienza siano aperti e trasparenti, che si investa in un percorso strutturato di informazione e formazione dei valutatori, sì da innescare un vero e proprio cambiamento culturale, lungo un percorso di apprendimento reciproco. Il sistema che si va definendo non è da considerarsi come definitivo, ma dovrà essere continuamente sottoposto a esame e critica: l’Agreement è certamente un punto di partenza e non di arrivo.