In qualità di Presidente dell’ICSEI, l’International Congress for School Effectiveness and Improvement, è davvero un onore e un piacere scrivere questo Editoriale per il Research Magazine Valu.Enews (INVALSI), come già fatto in occasione del numero speciale dello scorso anno dedicato alle attività di ricerca ICSEI del 2019. Cari amici di Valu.Enews, sto scrivendo questo Editoriale durante la pandemia di Coronavirus COVID-19 che sta colpendo tutto il mondo. Permettetemi allora innanzitutto di esprimere la mia preoccupazione per ciò che sta accadendo: l’impatto che le nostre società stanno vivendo è molto grave: ad esempio, in quasi tutto il mondo, le persone hanno oggi a che fare con la chiusura delle scuole e i genitori lavorano da casa e allo stesso tempo si prendono cura dei propri figli, continuando a seguire la loro formazione. Oggi stiamo affrontando sfide nuove, che non avevamo preventivato, sfide anche per i temi che maggiormente ci sono cari, quali l’efficacia educativa, il miglioramento, la qualità e l’equità della scuola. È probabile che questa pandemia avrà un impatto diseguale sulle persone nella nostra società e siamo particolarmente preoccupati per le persone che sono già tra le più vulnerabili. I responsabili politici, i professionisti e i ricercatori di tutto il mondo devono lavorare insieme per mitigare questi rischi. Prima di passare ai contenuti di questo Editoriale, pertanto, consentitemi di augurarvi tutto il meglio in questi tempi difficili. Per favore, prendetevi in primo luogo cura della vostra salute, di quella dei vostri cari e di tutti coloro che vi circondano.
Nel gennaio 2020, pochi giorni prima del diffondersi della pandemia, abbiamo tenuto il nostro Congresso annuale in Marocco. È stata, per noi dell’ICSEI, la prima volta nel continente africano nella storia dell’Associazione di ricerca che presiedo, la cui fondazione risale ormai a ben 33 anni fa. La nostra missione è quella di migliorare la qualità e l’equità dell’educazione in tutto il mondo e questo è uno dei motivi per cui questa conferenza ha rivestito un significato davvero molto particolare per la nostra organizzazione, oltre che per me personalmente: per raggiungere la nostra missione dobbiamo infatti mettere in connessione tra loro le persone di tutto il mondo e mettere la nostra Associazione in collegamento con esse.
Per realizzare appieno questa missione è fondamentale la collaborazione tra tutti i diversi soggetti interessati (sto pensando in primo luogo ai decisori politici, ai professionisti del mondo della scuola e ai ricercatori). Alla nostra conferenza annuale in Marocco sono stati riaperti i canali dei network di ricerca esistenti e sono stati fondati nuovi network, costituiti da interlocutori diversi: si tratta di reti e persone che possono apprendere vicendevolmente. È stato incredibile vedere la straordinaria passione dei numerosi partecipanti alla conferenza, che erano lì raccolti con l’obiettivo comune di migliorare la qualità dell’istruzione nei propri Paesi, ma anche a livello internazionale. Sono state molte le buone pratiche, le policies e i risultati della ricerca che abbiamo insieme condiviso. E mi piace ricordare come non si sia parlato soltanto dei successi della ricerca, ma anche dei suoi fallimenti. Perché sicuramente è molto importante imparare dai successi – pur consapevoli di come non basti mai applicare le stesse soluzioni in contesti diversi – ma allo stesso tempo, è altrettanto importante imparare dai fallimenti. Spesso, lo sappiamo, le cose non vanno come previsto, ed è importante indagare sul perché.
Come fondatore ed ex Presidente del network che all’interno dell’ICSEI si concentra sull’importanza dell’uso dei dati, è stato per me molto utile rendermi conto del rilievo e dell’attualità che ancora rivestono le questioni relative alla qualità dei dati per la ricerca nel campo dell’istruzione. Insieme alla mia collega dell’Università di Twente Cindy Poortman, abbiamo infatti tenuto una Masterclass proprio inerente l’uso dei dati per la ricerca educativa, alla quale hanno partecipato persone di tutto il mondo. In questa Masterclass abbiamo parlato di come ogni giorno i Dirigenti Scolastici e gli insegnanti debbano affrontare decisioni cruciali per sostenere la qualità dei sistemi educativi. Tuttavia, ci sono volte in cui le decisioni finiscono per essere prese con una riflessione troppo rapida oppure sulla base di informazioni e ipotesi per lo più aneddotiche anziché a partire dai dati di ricerca. Non dimentichiamoci che quando i dati – e mi riferisco principalmente ai dati riguardanti i risultati dell’apprendimento, ai dati relativi alle osservazioni in classe, così come ai dati che derivano dall’ascolto diretto degli studenti – vengono utilizzati nel processo decisionale dei Dirigenti Scolastici e degli insegnanti, ciò può portare anche a migliorare gli stessi risultati degli studenti. Per supportare le scuole nell’uso dei dati, in particolare, abbiamo sviluppato una procedura fondata intorno a gruppi di lavoro che si occupano dell’uso dei dati. Anche nell’ambito della nostra stessa Masterclass i partecipanti sono stati spinti a lavorare in gruppi di lavoro sull’uso dei dati, a partire dalle nostre ricerche sull’importanza di studiare in gruppo i dati della ricerca educativa. Nel corso della mia esperienza di ricerca, e mi riferisco a diverse conferenze internazionali cui ho preso parte, tra cui lo stesso ultimo Congresso internazionale dell’ICSEI, mi sono potuta rendere conto dei diversi equivoci che caratterizzano la ricerca sull’uso dei dati. Questo mi ha spinta, insieme a una collega proveniente dagli Stati Uniti, a pubblicare uno studio Open access proprio su alcuni malintesi che caratterizzano questo campo d’indagine (Mandinach & Schildkamp, 2020). Di seguito, riassumerò due o tre di questi cosiddetti “malintesi”, proprio a partire da questo contributo.
Un malinteso: l’uso dei dati è utile solo ai fini di rendicontazione
Diverse persone pensano che l’uso dei dati abbia solo o principalmente a che fare con le responsabilità di rendicontazione. Ecco che un uso dei dati mirato precipuamente a questo fine si concentrerà soltanto sui risultati (spesso a partire da alcune competenze specifiche tra cui la sola lettura e la matematica), mentre trascurerà l’apprendimento nelle altre materie. Alcune ricerche hanno dimostrato i limiti di quest’approccio in termini di creatività, responsabilità e dialogo degli insegnanti, sostituendo a questi principi una visione più ristretta sull’uso dei dati utile a raggiungere per lo più obiettivi di breve termine (Datnow et al., 2018). Inoltre, la pressione sulla rendicontazione può portare a un uso improprio se non addirittura a un vero e proprio abuso dei dati, ad esempio quando i dati portano a concentrare un’attenzione eccessiva sugli studenti che si attestano subito al di sotto della soglia al fine di aumentare i loro punteggi. Per non dire di altri atteggiamenti non corretti mirati a prendersi gioco del sistema, sto pensando al cheating (un modo di favorire la copiatura o di agevolare il raggiungimento dei parametri di riferimento o di ottemperare a certi indicatori di qualità); ma anche all’insegnamento mirato esclusivamente a consentire a uno studente di passare agevolmente i test (teaching to the test); o addirittura all’esclusione degli studenti più deboli dai test per emarginare oppure incoraggiare gli studenti con scarso rendimento a rinunciare (Booher-Jennings, 2005). Attenzione: non stiamo sostenendo che l’uso dei dati non dovrebbe essere utilizzato anche ai fini inerenti la responsabilità di rendicontazione. L’accountability, infatti, è sicuramente necessaria in quanto rende l’istruzione più trasparente e i dati possono rivelare gli aspetti che necessitano maggiormente di miglioramento (Tulowitzki, 2016). Usare i dati per rendicontare e usarli per migliorare sono due azioni parimenti necessarie per la scuola. Sulla base di questo malinteso, Ellen Mandinach e io abbiamo elaborato le seguenti raccomandazioni (p. 4):
• bilanciare l’uso dei dati ai fini di rendicontazione con l’uso dei dati ai fini del miglioramento continuo;
• assumere un modello di uso dei dati incentrato sull’analisi di un ventaglio di risorse, piuttosto che un approccio punitivo e più interessato a focalizzarsi sulle lacune degli studenti, tendendo a emarginare ulteriormente gli studenti con maggiori difficoltà;
• aumentare il rendimento degli studenti è un obiettivo primario dal punto di vista dell’uso dei dati, ma sono parimenti importanti altresì obiettivi educativi come il benessere e l’equità;
• valutare le fonti dei dati che raccogliamo a livello di scuola e a livello di sistema: tutti i dati che raccogliamo hanno ancora importanza? C’è qualche aspetto che dovremmo analizzare e che invece ancora non cogliamo?
Un altro malinteso: limitare l’uso dei dati ai risultati dei test
Diverse persone associano i dati solamente ai risultati dei test, come valutazioni standardizzate e valutazioni intermedie. All’interno del nostro articolo, invece, sosteniamo che i dati da raccogliere debbano essere il più possibile diversificati, includendo dati qualitativi e quantitativi, non prescindendo dagli aspetti socio-emotivi, dalle attitudini, dal comportamento e anche da ulteriori aspetti. Gli educatori devono essere in grado di triangolare tra loro diverse forme di dati e devono essere consapevoli dei vantaggi e degli svantaggi derivanti dall’analisi di ciascun tipo di dati. È importante utilizzare diversi modelli di misura alla luce di una prospettiva formativa, che abbia lo scopo di descrivere lo studente secondo una prospettiva “a tutto tondo”, per migliorare l’istruzione e l’apprendimento in classe a partire dai dati. Anche in questo caso, abbiamo formulato alcune raccomandazioni (p. 6):
• prendere in considerazione modelli di dati molteplici, imparando a guardare oltre gli indici tradizionali;
• utilizzare nel processo decisionale una combinazione di dati formali e informali;
• allineare diversi tipi di dati ai diversi tipi di decisioni che devono essere intraprese e concretamente attuabili.
Un terzo malinteso: le tecnologie a supporto dell’uso dei dati non sono adeguate
Esistono diverse tecnologie a supporto dell’uso dei dati, che vanno dai sofisticati data warehouse alle app sui dispositivi mobili. Tuttavia, non sempre queste tecnologie sono allineate con gli obiettivi propri della formazione, alcune tecnologie portano a rappresentazioni eccessivamente semplificate (pensiamo per esempio ai “semafori” rossi, gialli e verdi che indicano rispettivamente quali studenti stiano andando male, andando bene o così così), altre tecnologie forniscono interpretazioni mal concepite o talora fuorvianti (Wayman et al., 2010). L’uso di alcune di queste rappresentazioni eccessivamente semplificate fornite da queste tecnologie dovrebbero al massimo essere utilizzate come punto di partenza per ulteriori analisi. C’è da dire, però, che nuove opportunità tecnologiche vengono alla luce quasi ogni giorno: i sistemi e gli strumenti stanno migliorando e diventano via via più sofisticati per raccogliere e archiviare i dati (anche in tempo reale) e per visualizzare e analizzare questi dati che sono utili a sostenere l’insegnamento e l’apprendimento nelle scuole (sto pensando a strumenti tecnici quali i data warehouse, Dashboard, Data Locker, a strumenti di data mining, di machine learning; o ancora a strumenti di analisi dei dati, anche nell’ambito della ricerca sull’intelligenza artificiale). Le nostre raccomandazioni per l’utilizzo delle tecnologie (p. 7) includono:
• utilizzare la tecnologia per supportare il processo di utilizzo dei dati, ma ricordando di impegnarsi in ulteriori analisi;
• favorire la ricerca e l’interscambio di sistemi e strumenti che soddisfino le esigenze di tutti gli utenti;
• approfondire gli studi educativi per progettare, sviluppare, implementare e valutare sistemi e strumenti in grado di supportare proficuamente l’insegnamento e l’apprendimento nelle scuole.
Ci sono sicuramente molti altri malintesi in questo campo ed è importante iniziare a svelare queste concezioni erronee, per assicurarsi che i sistemi educativi di tutto il mondo siano in grado di raccogliere e utilizzare una varietà molteplice di dati, supportati dalla tecnologia, non solo a fini di rendicontativi, ma anche ai fini di miglioramento. Un’ultima nota: dobbiamo stare attenti a tenere in considerazione l’esperienza dei professionisti dell’educazione e a fidarci del loro giudizio professionale. Si tratta senza dubbio di aspetti cruciali, ma che devono essere tenuti in considerazione insieme ai dati.
Come affermiamo nel nostro documento (p. 7), “uno dei punti di forza del processo decisionale fondato intorno all’uso dei dati – se tale processo viene svolto in maniera efficace, appropriata e responsabile – è che lo stesso uso dei dati si rivela essere prezioso al fine di consentire ai professionisti dell’educazione di prendere decisioni più sensibili e giuste sulla base di una più piena conoscenza dei loro studenti e dei fattori contestuali che possono influenzarli quotidianamente”.
Per approfondire:Booher-Jennings, J. (2005). Below the bubble: “Educational triage” and the Texas Accountability System. American Educational Research Journal, 42(2), 231–268.
Datnow, A., Park, V., & Choi, B. (2018). “Everyone’s responsibility”: Effective team collaboration and data use. In N. Barnes, & H. Fives (Eds.). Cases of teachers’ data use (pp. 145–161). New York, NY: Routledge.
Mandinach, E.B. & Schildkamp, K. (2020). Misconceptions about data-based decision making in education: An exploration of the literature. Studies in Educational Evaluation. https://doi.org/10.1016/j.stueduc.2020.100842
Tulowitzki, P. (2016). Educational accountability around the globe. Challenges and possibilities for school leadership. In J. EaslyII, & P. Tulowitzki (Eds.). Educational accountability: International perspectives on challenges and possibilities for school leadership (pp. 233–238). London: Routledge.
Wayman, J. C., Cho, V., & Richards, M. (2010). Student data systems and their use for educational improvement. In B. McGaw, P. Peterson, & E. Baker (Vol. Eds.), The international encyclopedia of education: Vol. 8, (pp. 14–20). London: Elsevier
* Kim Schildkamp è Professore Associato presso la Facoltà di Scienze comportamentali, gestionali e sociali dell’Università di Twente, nei Paesi Bassi. Nel 2019 è stata eletta Presidente dell’ICSEI (International Congress for School Effectiveness and Improvement), il Congresso Internazionale per l’efficacia e il miglioramento scolastici.
