In una prospettiva di supporto a una ricerca scientifica basata sull’evidenza (evidence-based) e sulla qualità e il rigore metodologico, Rita Marzoli – Responsabile della Biblioteca e Centro di documentazione “Aldo Visalberghi” dell’INVALSI – interviene in questo articolo per presentare l’approccio fondato sulla revisione sistematica (systematic review), una metodologia improntata alla chiarezza degli obiettivi di ricerca e contraddistinta da un processo sistematico e riproducibile mirato a identificare, selezionare, collezionare e studiare i principali dati e le principali analisi di ricerca di un dato campo di interesse. La Redazione ringrazia Rita Marzoli per la collaborazione e auspica di riscontrare l’interesse dei lettori su alcuni dei filoni strategici della progettazione e della ricerca contemporanee, soprattutto nell’Unione Europea.
“Ti insegnerò che cos’è la sapienza: riconosci di sapere quel che sai e di non sapere quello che non sai. Questa è la sapienza” (Confucio – I Dialoghi)
L’accesso alla conoscenza scientifica ha raggiunto possibilità, fino a pochi decenni fa, inimmaginabili. La diffusione della cultura open access – come Elena Giglia dell’Università di Torino ha avuto modo di argomentare nella Chiave di lettura del numero scorso di Valu.Enews – ha esteso ulteriormente la possibilità di accedere in maniera diretta ai contenuti della scienza. Materiali bibliografici, ai quali era precluso un accesso se non attraverso luoghi fisici, e con i dovuti accreditamenti, sono oggi a portata di click. Non che gli accreditamenti non siano più necessari per alcune tipologie di risorse (banche dati, periodici scientifici), ma il digitale ha aperto scenari di accesso alla conoscenza dove le barriere sono, sicuramente, meno invalicabili.
Un maggiore accesso alla conoscenza, tuttavia, non si traduce in un automatico aumento del sapere.
Negli ultimi decenni abbiamo assistito a un moltiplicarsi di contributi della ricerca educativa su diversi aspetti dell’istruzione, dalle comparazioni internazionali alle sperimentazioni di nuove tecnologie didattiche, dallo studio di nuovi modelli di apprendimento e di insegnamento al ruolo delle comunità educative per la cittadinanza attiva, si potrebbe stilare un elenco molto esteso.
La sensazione ricorrente di overwhelming informativo, tra i ricercatori, e la continua richiesta del what works, da parte dei decisori politici, spiegano molto bene l’attuale panorama, in bilico tra politica e scienza. All’incrocio di questi mondi, e alla ricerca di un equilibrio tra i due, trovano spazio i lavori di revisione sistematica come prodotto di sintesi della conoscenza, al servizio, sempre più spesso, della politica. Si è infatti consolidata, negli ultimi decenni, una prassi sinergica tra la ricerca educativa e quella che viene definita, con un anglicismo, l’informed policy. I decisori politici manifestano sempre più una maggiore esigenza nei confronti della ricerca, la rendicontazione (sociale ed economica) gioca un ruolo importante con cui la politica deve confrontarsi e a cui la ricerca non può sottrarsi.
Ma andiamo al punto. Che cos’è una revisione sistematica e cosa la differenzia da una revisione della letteratura tradizionale? Si tenterà di fornire una visione dell’intero ciclo della Revisione Sistematica (d’ora in avanti RS), seppur restando, per ovvi motivi, sulla superficie dell’intero processo.
Spesso, fare ricerca e svolgere una ricerca bibliografica sono considerate due attività distinte, attribuendo alla prima un peso scientifico e intellettuale maggiore rispetto alla seconda.
Il termine ‘ricerca’ in ambito accademico ci porta immediatamente al processo di formulazione di una o più domande di ricerca e a trovare risposte che generino nuova conoscenza. Ebbene, la RS fa esattamente la stessa cosa, entrambe si propongono di ricercare: la RS va alla ricerca di cosa è stato fatto prima, cosa si sa già; la ricerca, intesa come ricerca primaria, di fornire risposte a domande che non ce l’hanno ancora o sono incomplete.
La RS è un metodo per dare senso a una mole di letteratura riguardo a uno specifico argomento.
Proprio come la ricerca primaria, la RS segue dei metodi rigorosi; si può affermare che è qui che si differenzia dalla revisione della letteratura tradizionale.
L’aggettivo ‘sistematica’ definisce la revisione in maniera inequivocabile conferendole una connotazione scientifica. Lo scopo della RS è quello di effettuare una revisione rigorosa e trasparente documentando ogni passaggio del processo in modo da renderla riproducibile e aggiornabile. Dunque, si può affermare che il lavoro di RS fa riferimento a un approccio di ricerca di secondo livello (secondary research) che mette insieme i risultati di ricerca di primo livello (primary research). Le domande a cui rispondono le RS possono essere diverse e in base al tipo di domanda posta ci si orienta sul tipo di approccio da seguire. In ambito educativo, in particolare, l’approccio è necessariamente diverso dall’ambito medico, dove il ricorso alle RS è ampiamente utilizzato e i metodi spesso puramente quantitativi; si pensi all’utilizzo di sperimentazioni farmaceutiche basate sugli studi a controllo randomizzato (RCT). Nell’ambito delle scienze sociali la questione è più delicata e il ‘cosa funziona’ deve sempre, o quasi sempre, tener conto del ‘sotto quali circostanze’.
Introduciamo quindi i due approcci più rappresentativi: configurativo e aggregativo.
Le RS che seguono l’approccio configurativo tendono a rispondere a domande di ricerca che si concentrano sul significato e l’interpretazione. La qualità degli studi, molto spesso interviste o osservazioni, è intesa in termini di autenticità. La sintesi a cui si tende, nella review configurativa, è quella di creare un livello più elevato per la comprensione del fenomeno studiato.
Le RS che seguono invece la logica della sintesi aggregativa indagano preferibilmente gli impatti e gli effetti. Questo approccio si utilizza quando si vuole misurare l’impatto di un intervento educativo.
Il processo delle RS.
Abbiamo già scritto che la RS è il tentativo di mettere insieme la letteratura esistente per rispondere a una o più domande di ricerca; tra gli obiettivi principali c’è senz’altro quello di informare la politica. Ma perché una RS è una scelta migliore rispetto a una revisione della letteratura che non lo è? Fondamentalmente, i principi alla base sono: la completezza, l’imparzialità (la riduzione dei bias è un caposaldo della RS), la trasparenza e la replicabilità.
Mentre la scienza dubita e dibatte, la politica necessita di saperi solidi prima di prendere decisioni che avranno un impatto sulla cittadinanza. La politica non può permettersi di procedere per tentativi, ha bisogno dell’evidenza, o quanto meno il tentativo di raggiungerla. Il nodo che lega questi due mondi, la ricerca scientifica da una parte e la politica dall’altra, è stretto dal rigore del metodo. Il processo metodologico, che è alla base della RS, ha l’obiettivo di garantire la tenuta di quel nodo e di fornire un risultato scrupoloso (la risposta alla domanda di ricerca), frutto di un lavoro che risponde a criteri di trasparenza e replicabilità. Per questo motivo, lavorare a una RS, soprattutto se si decide di percorrere la strada della registrazione presso organismi internazionali, comporta un’organizzazione e una gestione dell’intero processo ben definite, a partire dalla costituzione del gruppo di autori, le cui competenze devono coprire diversi ambiti disciplinari, nonché metodologici. Il processo, come già rimarcato, è un insieme di passaggi che, rigorosamente documentati, costruiscono un protocollo dal quale prende vita, in un secondo momento, la vera e propria RS. Brevemente, di seguito elenchiamo le fasi del processo di avvio della RS, anche per fornire un’idea della successione di competenze chiamate in causa.
La domanda di ricerca.
Può differire per approccio o metodo, ma ci sono dei passaggi dell’intero processo che devono essere presenti perché una revisione possa definirsi sistematica. La domanda di ricerca è il primo step e deve essere ben definita e specifica. È il punto di partenza e, forse, il più importante, perché determina e influisce su tutto il processo. Anche la domanda di ricerca segue un vero e proprio iter metodologico, oltre che creativo. Ci sono anche dei metodi che gli autori possono utilizzare per ‘far emergere’ la formulazione corretta della domanda. Il sistema PICOS (Population, Intervention, Context, Outcomes, Study design) aiuta a circoscrivere la domanda e anticipa la fase della strategia di ricerca delle banche dati.
La redazione di un protocollo, da seguire in maniera rigorosa, aiuta il gruppo di autori a non perdere il filo metodico del lavoro, riduce il rischio di bias ed è un valido strumento di preparazione al lavoro di ricerca. I protocolli sono dei veri e propri lavori di ricerca e possono essere pubblicati, se approvati, dagli organismi preposti, come Campbell Collaboration. Nell’ambito delle scienze sociali, la registrazione di protocolli e revisioni sistematiche presso questi organismi sta assumendo sempre più peso.
Il framework concettuale.
La domanda di ricerca fornisce alla RS la sua particolare impostazione e guida i passaggi chiave: che tipologia di studi includere, dove cercarli, come valutarli, come combinarli insieme. Ci sono diversi assunti in una domanda di ricerca e, implicitamente o meno, questi includono aspetti epistemologici e teorici che, insieme, producono il framework concettuale. Il framework è uno strumento di ricerca che aiuta il gruppo a sviluppare la consapevolezza e la comprensione dell’oggetto di studio. Si può considerare un’ipotesi di lavoro che può essere rivista, modificata o confermata nel corso della ricerca. L’obiettivo del framework è spiegare il focus da studiare, i costrutti o le variabili, e le relazioni tra loro.
Criteri di selezione.
In questa fase si prendono decisioni sulla tipologia di studi da selezionare. I criteri di inclusione ed esclusione sono dei filtri che restringono a un determinato corpo di ricerca. Ad esempio, una domanda di revisione sull’impatto dell’orario di inizio delle lezioni nella scuola primaria prevederà che gli studenti di quel livello scolastico siano considerati nei criteri di inclusione.
La strategia di ricerca.
I criteri di selezione definiscono gli studi da includere e rappresentano così i punti chiave della strategia di ricerca. Questa fase del processo mira a identificare tutte le fonti che saranno oggetto di consultazione: banche dati (disciplinari o generaliste), motori di ricerca, periodici scientifici, indici citazionali, ricerca manuale. L’elenco dei termini di ricerca dipende dalla fonte consultata: dalle parole chiave ai termini di thesaurus, per costruire una strategia combinata con l’aiuto degli operatori booleani.
Il processo di selezione degli studi.
Gli studi selezionati, a questo punto, saranno oggetto di screening. Questa parte del processo avviene in due momenti: prima si valuta l’effettiva utilità e rilevanza attraverso la lettura di titolo e abstract, in un secondo momento si passa alla lettura del testo intero dei prodotti inclusi.
Codifica degli studi.
Una volta selezionati gli studi rilevanti, questi saranno oggetto di codifica. In questa fase, ogni studio viene riportato in un elenco completo delle principali caratteristiche e i risultati emersi da ogni singolo studio.
Valutazione degli studi.
Questa è una fase delicata e fondamentale. Gli autori devono valutare la qualità e l’effettiva validità degli studi selezionati. Sono tre gli elementi guida per la valutazione: appropriatezza del disegno di ricerca, la qualità del metodo, la rilevanza rispetto alla domanda di revisione.
Sintesi degli studi.
La sintesi è molto di più di un elenco di studi, è il tentativo di fornire una lettura integrata derivante dai singoli prodotti bibliografici al fine di produrre una ‘risposta’ alla domanda di revisione.
L’INVALSI, nell’ambito del Progetto di Rilevante Interesse Nazionale (PRIN) Evaluating the School-Work Alternance: a longitudinal study in Italian upper secondary schools – coordinato dall’Istituto Nazionale e dalle Università Sapienza di Roma, Milano-Bicocca e di Genova – ha avviato il primo progetto di revisione sistematica sul tema dell’alternanza scuola lavoro. Il gruppo degli autori (coordinato da Donatella Poliandri, Prima ricercatrice INVALSI e Principal Investigator dello stesso PRIN) ha lavorato alla prima fase dell’intero processo che corrisponde alla ‘title registration’ presso la Campbell Collaboration. La Campbell Collaboration, lo ricordiamo, è un organismo internazionale che promuove cambiamenti sociali ed economici attraverso la produzione e l’utilizzo di revisioni sistematiche e altre sintesi di evidenze per le policies e le pratiche basate sull’evidenza.
Naturalmente, questo breve contributo vuole essere solo una piccola introduzione a un grande tema di ricerca, sempre più al centro del dibattito scientifico, e che meriterà sicuramente ulteriore studio e approfondimento.
Rita Marzoli
Primo Tecnologo INVALSIResponsabile della Biblioteca e Centro di documentazione INVALSI “Aldo Visalberghi”
Per approfondire: Calvani, A., & Vivanet, G. (2014). Evidence based education e modelli di valutazione formativa per le scuole. ECPS – Educational, Cultural and Psychological Studies, (9), 127-146.
Ghirotto, L. (2020). La systematic review nella ricerca qualitativa. Metodi e strategie. Roma: Carocci.
Petticrew, M., & Roberts, H. (2008). Systematic reviews in the social sciences (1st ed. ed.) Wiley. doi:10.1002/9780470754887.
Zawacki-Richter, O., Kerres, M., Bedenlier, S., Bond, M., & Buntins, K. (2020). Systematic reviews in educational research methodology, perspectives and application. Wiesbaden: Springer VS.
