L’Accordo, Agreement on Reforming Research Assessment, è stato pubblicato il 20 luglio di quest’anno, alla fine di una serie di consultazioni tra Commissione Europea, stati membri, agenzie di valutazione avutesi durante l’intero 2021. Un processo lungo e complesso che ha portato, nel dicembre 2021, alla composizione di un gruppo di lavoro, il Drafting Team, composto da Commissione Europea, Science Europe, che rappresenta i maggiori enti finanziatori della ricerca a livello europeo, la European University Association, che comprende oltre 800 università in Europa e la ricercatrice Karen Stroobants. Il Drafting Team che si è dedicato, tra gennaio e luglio 2022, alla stesura dell’Accordo, coadiuvato da un ulteriore gruppo di lavoro, il Core Group (di cui hanno fatto parte 20 istituzioni europee, tra cui il CNR, unica istituzione italiana) e un’assemblea degli stakeholder interessati, che ha superato le 350 organizzazioni (23 italiane), da 40 paesi.

Il documento è stato sottoposto ai rappresentanti degli stati membri in occasione dello European Research Area forum per essere finalmente pubblicato il 20 luglio 2022. È stato ufficialmente aperto alle firme dei potenziali sottoscrittori durante la sessione plenaria dell’evento European Research and Innovation Days 2022, il 28 settembre, da Mariya Gabriel, Commissario europeo per l’istruzione, la cultura, il multilinguismo e la gioventù, occasione in cui è stata anche lanciata CoARA, Coalition for Advancing Research Assessment.

Quello che è importante sottolineare è non solo il numero di organizzazioni che hanno contribuito e collaborato alla stesura dell’Accordo, bensì l’eterogeneità di tali organizzazioni, coinvolte a vario titolo nella valutazione della ricerca. Una riforma di entità rilevante può avvenire in modo efficace solo se si tratta di un cambiamento che interessa l’intero ecosistema della comunicazione e della valutazione scientifica. L’inclusività che ha connotato il processo di genesi dell’Accordo è certamente una delle ragioni per le quali oggi un numero importante di organizzazioni è già firmatario del documento (si contano 360 organizzazioni, il 18 novembre).

L’anima dell’Accordo è racchiusa in un documento denominato Scoping Report; esso contiene le basi teoriche per facilitare e accelerare una riforma che:

• promuova la valutazione qualitativa basata sulla peer review, supportata da un uso più responsabile degli indicatori quantitativi
• consideri il valore e l’impatto di una pluralità di risultati della ricerca (bibliodiversità) e il multilinguismo
• riconosca la diversità delle attività svolte da un ricercatore e supporti la scienza collaborativa (team science)
• incentivi la collaborazione aperta e la condivisione di risultati e dati preliminari

“The aim is for research to be evaluated based on its intrinsic merits rather than on the number of publications and where these are published” – Scoping Report on Research Assessment, European Commission

La visione si cui si basa l’Accordo è che la valutazione della ricerca, dei ricercatori e delle organizzazioni riconosca i diversi risultati, le pratiche e le attività che massimizzano qualità e impatto della ricerca.
Il documento è estremamente snello e si compone di cinque sezioni: un’introduzione, che riprende brevemente quanto contenuto nello Scoping Report, i principi su cui si basa l’accordo, gli impegni fondamentali e di supporto che chi firma l’accordo è tenuto a rispettare, la definizione della coalizione CoARA, la cui attività sarà preposta all’implementazione di quanto previsto nell’Accordo e, infine, un calendario di azione che scandisce le tappe e gli obiettivi che le istituzioni aderenti alla coalizione si impegnano a raggiungere.
Uno strumento estremamente prezioso, infine, sono gli allegati che contengono una serie di strumenti concreti che facilitano la messa in pratica del processo di cambiamento.

I principi dell’Accordo

La seconda parte del documento è focalizzata sui principi sia per le condizioni generali sia per la valutazione di criteri e di processi.
I principi per le condizioni generali:

• rispettare le regole e le pratiche di etica e integrità e garantire che l’etica e l’integrità siano la massima priorità, mai compromessa da alcun contro-incentivo
• tutelare la libertà della ricerca scientifica
• rispettare l’autonomia delle organizzazioni di ricerca
• garantire l’indipendenza e la trasparenza dei dati, dell’infrastruttura e dei criteri necessari per la valutazione della ricerca e per determinare gli impatti della ricerca; in particolare attraverso una raccolta di dati, algoritmi e indicatori chiari e trasparenti, garantendo il controllo e la titolarità da parte della comunità di ricerca sulle infrastrutture e gli strumenti critici e consentendo alle persone valutate di accedere ai dati, alle analisi e ai criteri utilizzati

I principi per la valutazione di criteri e processi si focalizzano in modo particolare sulla qualità, per la quale la scienza aperta diviene cifra imprescindibile, nonché fattore abilitante, e prendono in esame:

• l’originalità delle idee, la conduzione professionale della ricerca e i risultati che vanno oltre lo stato dell’arte
• la varietà di missioni di ricerca, che vanno dalla ricerca di base e di frontiera alla ricerca applicata
• la qualità = la ricerca è condotta attraverso processi e metodologie di ricerca trasparenti e attraverso una gestione della ricerca che consenta il riutilizzo sistematico dei risultati precedenti. L’apertura della ricerca e i risultati verificabili e riproducibili, ove applicabili, contribuiscono fortemente alla qualità. L’apertura riguarda anche i risultati preliminari e la condivisione dei dati, nonché la collaborazione aperta, compreso il coinvolgimento della società ove appropriato. La valutazione dovrebbe basarsi su un giudizio qualitativo per il quale la revisione tra pari è centrale, supportata da indicatori quantitativi utilizzati in modo responsabile, ove appropriato
• diversità, inclusività, collaborazione

Gli impegni previsti dall’Accordo

Gli enti firmatari dell’accordo sono tenuti a rispettare 10 impegni chiari al cambiamento; di essi 4 sono fondamentali, perché rappresentano i punti che favoriranno e supporteranno il cambiamento verso il riconoscimento della diversità dei risultati della ricerca, pratiche e attività e che supporteranno una valutazione della ricerca che si evolve dall’uso degli indicatori quantitativi, che non saranno però abbandonati, ma ne sarà promosso l’uso responsabile, prevedendo, quindi, uno scollamento dal loro utilizzo inappropriato.

I 4 impegni fondamentali:

1. riconoscere la varietà dei contributi e delle carriere, secondo i bisogni e la natura della ricerca
2. basare la valutazione principalmente sugli aspetti qualitativi per i quali la peer review è centrale, supportata da un uso responsabile di indicatori quantitativi
3. abbandonare gli usi inappropriati di metriche basate su riviste e pubblicazioni, in particolare gli usi inappropriati del Journal Impact Factor (JIF) e dell’H-index
4. evitare l’uso di ranking delle organizzazioni di ricerca

Sei impegni di supporto rendono praticabili, attuabili i 4 punti fondamentali:

• impegnare risorse per riformare la valutazione della ricerca sulla base di quanto è necessario a realizzare i cambiamenti organizzativi sui quali ci si è impegnati
• rivedere e sviluppare criteri, strumenti e processi per la valutazione della ricerca
• aumentare la consapevolezza sulla riforma della valutazione della ricerca e fornire comunicazione, orientamento e formazione trasparenti sui criteri e sui processi di valutazione, nonché sul loro utilizzo
• scambiarsi pratiche ed esperienze per l’apprendimento reciproco all’interno e all’esterno della Coalizione
• comunicare i progressi compiuti nell’adesione ai Principi e nell’attuazione degli Impegni
• valutare pratiche, criteri e strumenti basati su prove solide e sullo stato dell’arte della ricerca sulla ricerca (research on research) e rendere i dati apertamente disponibili per la raccolta e la ricerca

I principi e gli impegni delineati cominciano la loro attuazione con la sottoscrizione dell’Accordo e poi aderendo alla Coalition for Advancing Research Assessment, CoARA, una coalizione di organizzazioni di finanziamento della ricerca, organizzazioni di ricerca, autorità e agenzie di valutazione nazionali/regionali, nonché associazioni delle suddette organizzazioni, società scientifiche e altre organizzazioni pertinenti. Lo scopo primario della coalizione è quello di facilitare lo scambio di informazioni, l’apprendimento reciproco, la condivisione di buone pratiche tra tutti coloro che desiderano migliorare le pratiche di valutazione della ricerca.

La comunicazione dei progressi delle singole istituzioni, nel rispetto dell’autonomia di ognuna, si baserà su un’autovalutazione condivisa pubblicamente. A un anno dalla firma, i membri pubblicheranno un proprio percorso e piano d’azione per la riforma.
Dopo 5 anni, l’organizzazione che ha sottoscritto l’Accordo si impegna ad avere realizzato almeno un ciclo di revisione e sviluppo dei nuovi criteri, processi e strumenti di valutazione.

Già al lancio della coalizione, il 28 settembre scorso, all’apertura delle firme, comparivano i primi 51 firmatari e, pochi giorni dopo, il 6 ottobre, anche l’ANVUR, l’Agenzia nazionale di valutazione del sistema universitario e della ricerca, ha sottoscritto l’Accordo, impegnandosi formalmente a entrare nel processo. La Commissione Europea ha aderito ufficialmente l’8 novembre e, nella stessa occasione, ha anche firmato la San Francisco Declaration on Research Assessment, DORA. Dalla metà dello scorso novembre 2022, anche UniMiB partecipa alla Coalizione.

L’assemblea costituente di CoARA ha avuto luogo il primo dicembre 2022 e ne fanno parte solo i membri che hanno firmato l’Accordo e partecipato alla Coalizione entro il 17 novembre. CoARA resta aperto per le organizzazioni che firmeranno successivamente l’Accordo e sarà sempre possibile farne parte, firmando sul sito di CoARA.

Nell’Accordo è esplicitato che l’Open Science è riconosciuta come una condizione in sé non sufficiente, ma necessaria per indicare la qualità della ricerca. La riforma vuole tornare a porre l’accento sul rigore e sul processo che porterà a pubblicare probabilmente meno, ma meglio. È importante che indicatori e criteri di valutazione della scienza siano aperti e trasparenti, che si investa in un percorso strutturato di informazione e formazione dei valutatori, sì da innescare un vero e proprio cambiamento culturale, lungo un percorso di apprendimento reciproco. Il sistema che si va definendo non è da considerarsi come definitivo, ma dovrà essere continuamente sottoposto a esame e critica: l’Agreement è certamente un punto di partenza e non di arrivo.