Come si valutano le ricadute della ricerca

Spesso leggiamo sui giornali di classifiche e liste dei migliori ricercatori italiani o europei. Questi annunci fanno di frequente molto discutere ed è innegabile che abbiano un notevole impatto mediatico, aumentando la notorietà e la visibilità soprattutto dei meglio classificati. Non sempre è facile però comprendere quali criteri siano stati presi in considerazione in queste valutazioni, quali i dati raccolti, con quali mezzi e da chi.
Valutare l'attività di ricerca di singoli ricercatori, team, atenei, centri di ricerca è sempre più una esigenza sentita e condivisa. Chi finanzia la ricerca ha la necessità di valutare l'efficienza del sistema per orientare le risorse, sempre più limitate, in specifiche aree e in generale per non disperderle. Anche gli utilizzatori dei  frutti della ricerca, come politici e cittadini o - nel caso della ricerca sanitaria - i pazienti, sono interessati a capire come e quanto produce la ricerca scientifica, se è loro utile e se ne traggono un diretto e concreto beneficio.
Valutare l'impatto della ricerca scientifica è quindi un esercizio dovuto e richiesto, sebbene estremamente complesso.
I ricercatori del Centro Cochrane Italiano, ospitato presso l'Istituto Mario Negri di Milano, hanno condotto e pubblicato di recente sulla rivista Politiche Sanitarie [1] un'analisi della letteratura scientifica dedicata al tema della valutazione dell'impatto della ricerca biomedica e sanitaria. In termini tecnici hanno condotto quella che viene chiamata revisione sistematica della letteratura, raccogliendo e sintetizzando numerose iniziative nel mondo accomunate dall'obiettivo di studiare e valutare le ricadute dei programmi di ricerca.
Il team di ricercatori ha cercato nelle fonti bibliografiche classiche (riviste scientifiche) e sui siti web delle maggiori agenzie di finanziamento e supporto alla ricerca scientifica pubblicazioni e report che illustrassero i modelli teorici alla base delle valutazioni, le categorie di impatto nelle quali possono essere classificate le ricadute, la metodologia per attuare le valutazioni e gli indicatori più utilizzati per misurare le ricadute stesse. E' stata applicato uno dei cardini della metodologia delle revisioni sistematiche: massimizzare la  sistematicità e l'ampiezza della ricerca nelle fonti per ottenere il più possibile una visione d'insieme degli studi disponibili.
In tutto sono state incluse 22 pubblicazioni che riportano i risultati di 18 studi diversi: quattro revisioni sistematiche (che a loro volta citavano numerosi studi primari) e 14 studi primari. La grande maggioranza di questi lavori sono stati condotti nei paesi anglosassoni, Canada e Regno Unito in particolare, dove sembra che il tema della valutazione dell'impatto della ricerca si sia particolarmente diffuso e consolidato negli ultimi 20 anni.  Ogni studio è stato descritto in modo sintetico riportandone gli obiettivi, l'ambito scientifico in esame, il setting e la nazione in cui è stato condotto, la finestra temporale di valutazione e i principali risultati.
Gli approcci utilizzati nelle valutazione sono molteplici e molto eterogenei fra loro. Tra i più usati si annoverano i modelli strettamente economici, nei quali viene valutato il ritorno in termini monetari di un determinato investimento in ricerca. La maggior parte degli approcci non econometrici ha una natura complessa nella quale si integrano le ricadute dell'attività di ricerca su diversi aspetti conoscitivi, di sviluppo di capacità, di miglioramento della salute e di benefici economico-sociali. La categoria più spesso citata è quella dell'avanzamento delle conoscenze, cioè quanto produce in termini di diffusione dei risultati uno specifico programma di ricerca. In questo ambito l'analisi bibliometrica e citazionale sono le strategie valutative dominanti. Sebbene ampiamente dibattuti e discutibili gli indici bibliometrici (numero di pubblicazioni, impact factor, H-index, indici citazionali, etc.) sono ancora i più largamente utilizzati per fornire informazioni sull'impatto conoscitivo della ricerca. Questo perché, tra gli altri motivi, sono indicatori relativamente semplici da costruire ed è più facile collegare con un rapporto causa-effetto la ricerca e le pubblicazioni da essa scaturite.
Dalla letteratura raccolta appare però evidente che quasi mai è saggio fermarsi alla valutazione dell'avanzamento delle conoscenze. Questo aspetto, sebbene indispensabile per fare “uscire” i risultati della ricerca dai laboratori, è da considerarsi un indicatore surrogato del reale impatto. Non sempre infatti le ricerche migliori o più rilevanti sono quelle più pubblicate o citate in letteratura. Altre categorie importanti che dovrebbero essere considerate sono quelle legate all'avanzamento delle competenze, allo sviluppo di nuove linee di ricerca e di partnership così come quelle connesse alla produzione di informazioni utili per poter prendere decisioni. Questo ultimo aspetto, sintetizzabile ad esempio attraverso il numero di citazioni in linee guida e documenti di indirizzo, costituiscono un nodo fondamentale perché i decisori politici possano basare le loro scelte sulle prove che arrivano dalla ricerca scientifica. Nel caso della ricerca biomedica e sanitaria la ricaduta più importante da considerare dovrebbe essere la salute dei cittadini e/o un migliore accesso e equità alla salute. Valutare l'impatto su questi aspetti pone però enormi problemi di fattibilità, soprattutto nella identificazione di indicatori robusti e affidabili. E' inoltre molto difficile attribuire esiti e benefici quali ad esempio la riduzione della mortalità per una patologia a un unico e specifico programma di ricerca.
Un'attenta e pianificata valutazione dell'impatto della ricerca è sicuramente auspicabile per migliorare la trasferibilità dei risultati della ricerca e la gestione delle risorse. Non si tratta però di un esercizio banale, serve partire da una domanda valutativa (ad esempio chi sta e perché sta facendo la valutazione) e adattare una strategia multidimensionale allo specifico ambito valutativo. E (purtroppo) non esiste un unico indicatore robusto, di facile costruzione e condiviso cui affidarsi totalmente!
Questa revisione sistematica è stata preparata nell'ambito di un progetto più esteso promosso dalla Regione Emilia Romagna dal titolo “La ricerca scientifica in Emilia Romagna: costruzione di un archivio aperto dei prodotti della ricerca nelle aziende sanitarie. Valorizzazione e valutazione dei prodotti della ricerca e formazione del personale”

[1] Banzi, R. Pistotti, V., Moja, L., Liberati A. Valutazione dell'impatto della ricerca biomedica e sanitaria: revisione sistematica di letteratura Politiche Sanitarie 2010, 11(3): 175-195.