Sociologa ed esperta di valutazione, Nicoletta Stame ha insegnato nelle Universit\u00e0 di Paris X, Messina, Bari e Sapienza di Roma. Gi\u00e0 Presidente dell\u2019Associazione Italiana di Valutazione (AIV) e della European Evaluation Society (EES), \u00e8 attualmente Vicepresidente dell\u2019A Colorni-Hirschman International Institute (AC-HII).
Relatrice in numerose occasioni di riflessione promosse dall\u2019INVALSI, in collaborazione con il gruppo di ricerca del Progetto PON Valu.E \u00e8 intervenuta con un Editoriale su L\u2019INVALSI e la valutazione pluralista<\/a><\/em> (2019) ed ha collaborato alla realizzazione del volume collettaneo In between tra notizia e rivista. Valutazione e innovazione: un anno di divulgazione scientifica per la ricerca educativa<\/a><\/em> (a cura di D. Poliandri, et. al., FrancoAngeli, 2020, 262 pgg., in Open Access).
Il Coordinatore Editoriale di Valu.Enews Mattia Baglieri ha avuto il piacere di incontrare la Professoressa Stame in occasione della pubblicazione del suo ultimo libro in una conversazione su obiettivi e metodi di una valutazione pubblica innovativa.<\/p>\r\n\r\n\r\n\r\n
<\/p>\r\n\r\n\r\n\r\n
![\"\"](\"https:\/\/value.invalsi.it\/portale\/wp-content\/uploads\/2022\/11\/TPEV.jpg\")
<\/p>\r\n\r\n\r\n\r\n
Nicoletta Stame, quando parliamo di <\/strong><\/em>innovazione nella valutazione <\/strong>abbiamo l\u2019innata tendenza a pensare a qualcosa che ancora non sia stato trovato, inventato. Il suo libro invece ci ricorda quanto la valutazione possa essere ispirata anche dalla lezione di alcuni suoi precursori, seppure involontari. Come contemperare innovazione e ricerca sulle fonti della disciplina valutativa?<\/strong><\/em> <\/p>\r\n\r\n\r\n\r\n <\/p>\r\n\r\n\r\n\r\n In che modo si intrecciano gli interessi intellettuali dei due studiosi?<\/em><\/strong> <\/p>\r\n\r\n\r\n\r\n <\/p>\r\n\r\n\r\n\r\n Un altro polo di tensione \u00e8 quello tra <\/em>assessment ed<\/em> evaluation. In italiano traduciamo entrambi i termini con valutazione, ma Hirschman e Tendler ne approfondiscono a pi\u00f9 riprese le differenze\u2026<\/em><\/strong>
\u00abIl lavoro della ricerca valutativa pu\u00f2, a mio parere, dirsi paradossalmente innovativo nel momento in cui ripercorre le idee di alcuni precursori e anticipatori, che con il proprio originale percorso intellettuale, hanno anticipato la comprensione di problemi con cui poi i valutatori si sono scontrati successivamente. Pensiamo, per esempio, ad Albert Hirschman e Judith Tendler: si tratta di due autori che hanno impresso un contributo fondamentale agli studi economico-politici, non di valutatori di professione. E non volevano essere considerati tali, anche se Hirschman \u2013 un economista che si \u00e8 occupato in prima persona di progetti e programmi di sviluppo \u2013 alla fine degli anni Sessanta ha pubblicato un libro che \u00e8 utilissimo ai valutatori, dal titolo Development Projects Observed<\/em> (1967), e Tendler per molto tempo \u00e8 stata consulente di prestigiose agenzie internazionali di sviluppo, come l\u2019USAID, l\u2019Inter-American Foundation e la Banca Mondiale, per le quali svolgeva anche valutazioni. Il mio libro suggerisce ai valutatori di recepire la lezione del lavoro di questi due autori, che hanno anticipato \u2013 se vogliamo anche in modo involontario \u2013 alcuni sviluppi recenti della valutazione. Tra i loro contributi principali, in particolare, penso al loro porsi in modo indipendente rispetto alle stesse organizzazioni con cui essi collaboravano, favorendo il dialogo costante tra attuatori e beneficiari di quei progetti di sviluppo di cui si occupavano. Dobbiamo loro molto: ancora ricordo il momento in cui Hirschman mi introdusse a una sua allieva, proprio Judith Tendler, allora docente presso il dottorato di Urban Studies and Planning <\/em>presso il Massachusetts Institute of Technology (MIT), dopo avere concluso una esperienza ventennale di consulente presso le agenzie internazionali di sviluppo. Hirschman e Tendler, con i loro preziosi consigli e la loro aspirazione democratica, hanno guidato molti di noi ricercatori sociali, anche ospitando nei percorsi di dottorato offerti dalle proprie universit\u00e0, alcuni laureati delle nostre interessati a lavorare su questi temi \u2013 come fece Judith con diversi studenti che si erano laureati con Luca Meldolesi alla Federico II di Napoli\u00bb.<\/p>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/value.invalsi.it\/portale\/wp-content\/uploads\/2022\/11\/AO3.png\")
\u00abSe il contributo di Hirschman si situa maggiormente nell\u2019alveo dell\u2019economia \u2013 ma anche \u201ctrespassing to politics and beyond\u201d come titola un suo libro \u2013 pur con significativi, sebbene rari momenti di lavoro valutativo diretto, al contrario il percorso di ricerca di Tendler, anch\u2019essa economista, ha condotto all\u2019introduzione di notevoli innovazioni in ambito valutativo. Tendler, infatti, ha pubblicato numerosi rapporti di valutazione di progetti, sia in ambito rurale che urbano, per lo sviluppo e \u2018l\u2019alleviamento della povert\u00e0\u2019, con una impressionante mole di materiale di analisi e proposta nell\u2019ambito di ciascun progetto che la vedesse coinvolta. \u00c8 proprio laddove Tendler si dedicava a riflettere sui progetti in cui lavorava in prima persona, che le pagine dei suoi contributi di ricerca finiscono per assumere anche la valenza di indicazioni in grado di oltrepassare la specificit\u00e0 dei singoli progetti, con l\u2019occhio rivolto alle agenzie internazionali di sviluppo, alla societ\u00e0 civile e al settore pubblico, e in generale alle opportunit\u00e0 di sviluppo.
Avendo lavorato nel Piano Marshall \u2013 il programma di ricostruzione postbellica dell\u2019Europa \u2013, Hirschman si propose di studiare quali lezioni da quel Piano fosse possibile applicare anche al contesto dei paesi in via di sviluppo, assumendo, su incarico della Banca Mondiale, un ruolo da consigliere economico e finanziario del Consiglio per la pianificazione in Colombia. L\u2019impostazione hirschmaniana avvertiva la necessit\u00e0 di un\u2019economia dello sviluppo attenta alle esigenze dei Paesi beneficiari, sovvertendo i modelli calati dall\u2019alto e lontani dal contesto di realizzazione effettiva delle politiche e dalle esperienze di quei Paesi. Nella prospettiva indicata da Hirschman, infatti, lo sviluppo \u00e8 legato alla capacit\u00e0 di mobilitare quell\u2019insieme di risorse umane e materiali \u201cdisperse, nascoste e mal utilizzate\u201d che sono reperibili in ogni contesto, pubblico o privato, e pi\u00f9 in generale nella societ\u00e0. Quando poi svolse quella ricerca su una decina di progetti della Banca Mondiale, il rapporto di interlocuzione non fu facile, perch\u00e9 Hirschman si rese ben presto conto che i progetti presentavano aspetti di complessit\u00e0 e incertezza che richiedevano una indagine sugli effetti collaterali, di cui le valutazioni condotte dalla Banca Mondiale non tenevano conto, anche perch\u00e9 non si avvalevano del contributo che avrebbe potuto essere offerto da un dialogo con gli operatori locali e con gli stessi fruitori delle risorse.
La lezione hirschmaniana venne fatta propria e sviluppata anche nel metodo di lavoro di Tendler che condivideva con Hirschman la necessit\u00e0 di redigere dei rapporti di ricerca interessati ad approfondire anche gli aspetti plurali e creativi dell\u2019implementazione dei programmi complessi. Questi autori distinguevano tra progetti come\u00a0blueprint<\/em>, ossia documenti dalla natura rigida, preparati spesso da ingegneri consulenti, che fondamentalmente non lasciavano nessuno spazio all\u2019incertezza per la loro messa in pratica, e progetti concepiti come\u00a0particelle privilegiate di sviluppo<\/em>, la cui implementazione si rivelava essere un viaggio di scoperta di processi politici, sociali, economici e tecnologici\u00bb.
Quali sono le parole chiave che hanno caratterizzato il sodalizio di ricerca di Hirschman e Tendler?<\/em><\/strong>
\u00abSi tratta di due autori senz\u2019altro innovativi e che possono contribuire a dare un sostegno teorico pi\u00f9 solido al modo di lavorare del valutatore:\u00a0guardare altrove<\/em>,\u00a0creativit\u00e0<\/em>\u00a0e\u00a0sorpresa<\/em>\u00a0sono le caratteristiche principali del loro metodo di lavoro. Saper guardare dove di solito non si guarda: apprezzare la \u201cmano che nasconde\u201d le difficolt\u00e0 che si potrebbero incontrare nella proposta e nella realizzazione dei diversi interventi, cos\u00ec da poter lasciare spazio alla\u00a0creativit\u00e0\u00a0<\/em>con cui i soggetti possono trovare soluzione ai problemi incontrati. La tendenza corrente in valutazione \u00e8 ancora spesso ancorata agli\u00a0esiti<\/em>\u00a0finali prestabiliti, mentre l\u2019indicazione principale che proviene da Hirschman e Tendler \u00e8 quella di non sottrarsi a un\u2019analisi attenta dei\u00a0processi<\/em>, a\u00a0guardare altrove<\/em>. Vengono cos\u00ec \u2018ribaltate\u2019 le domande di valutazione, aggiungendone continuamente di nuove, basate su ci\u00f2 che era stato osservato: Tendler chiedeva sempre \u201cche cosa ti ha sorpreso?\u201d. Tutto ci\u00f2 comporta un superamento della tensione tra analisi qualitativa e quantitativa, nella necessit\u00e0 di un lavoro di ricerca capace di cogliere anche quei dettagli di un progetto a prima vista marginali. Fare riferimento alla concretezza dei processi che il ricercatore osserva, significa promuovere l\u2019analisi attenta dell\u2019impatto che i singoli progetti manifestano sui diversi attori coinvolti, superando una lettura deterministica delle politiche di sviluppo: l\u2019osservazione ha proprio il compito di rimanere aderente al progressivo compiersi degli interventi proposti, anche qualora gli esiti finali sembrino allontanarsi dalle aspettative iniziali. Da un imprevisto \u2013 ci dicono i due autori \u2013 possono nascere possibilit\u00e0 a cui non si era pensato in prima battuta, mentre una troppo rigida ricerca di corrispondenza alle ipotesi iniziali potrebbe non trovare riscontro reale, e quindi portare alla percezione di un fallimento progettuale, e fare abbandonare il progetto: ci\u00f2 che Tendler considera uno \u2018spreco\u2019 nel modo di valutare delle agenzie internazionali. \u00c8 il tema della\u00a0sorpresa<\/em>, che si lega al titolo del mio libro, ovvero\u00a0Tra possibilismo e valutazione<\/em>. Potremmo dire che il possibile \u00e8 l\u2019evoluzione originata dall\u2019inaspettato. Quell\u2019inaspettato che fa maturare e ampliare l\u2019orizzonte delle conoscenze: una presa di consapevolezza impensabile se si considera l\u2019imprevisto come di per s\u00e9 negativo. I due autori propongono, insomma, una filosofia della sorpresa, una sorpresa che spinge sempre ad ulteriore riflessione, come \u00e8 nella pratica del\u00a0reflective practitioner\u00a0<\/em>di Donald A. Sch\u00f6n, che Tendler impersonava cos\u00ec bene\u00bb.<\/p>\r\n\r\n\r\n\r\n![\"\"](\"https:\/\/value.invalsi.it\/portale\/wp-content\/uploads\/2022\/11\/Tendler2.jpg\")
\u00abAmpliare la prospettiva fondata sull\u2019assessment <\/em>rappresenta un altro importante contributo dei due autori. La differenza tra assessment <\/em>ed evaluation <\/em>\u00e8 simile alla differenza tra la parte e il tutto: l\u2019assessment<\/em> fa riferimento all\u2019analisi di costi e benefici, allo studio degli indicatori per obiettivi e all\u2019analisi della corrispondenza tra indicatori e risultati, condotta prevalentemente con metodi desk. \u00c8 una concezione che rimanda alla linearit\u00e0. L\u2019evaluation<\/em>, invece, comporta un\u2019analisi delle dinamiche innescate dai progetti, delle potenzialit\u00e0 di sviluppo anche impreviste. Tendler distingueva tra assessment e studi che consentono di fare delle comparazioni tra situazioni diverse e sosteneva la necessit\u00e0 di condurre questi ultimi. A ci\u00f2 si collega la questione dei metodi: la valutazione richiede un insieme di analisi sia qualitative, condotte sul campo, che quantitative. Alla base del possibilismo <\/em>c\u2019\u00e8 l\u2019idea di osservare, e anche per questo \u00e8 necessario andare sul campo, perch\u00e9 \u00e8 l\u00ec che possiamo effettuare raffronti e comparazioni, ma soprattutto essere sul campo favorisce l\u2019acquisizione di dati di ricerca che, come Tendler argomentava, \u00e8 bene non vadano mai sprecati. Per Tendler questa diventa una preoccupazione primaria: nessuna agenzia pu\u00f2 permettersi di sprecare conoscenze, specie se ottenute sul campo\u00bb.
Come mai, anche pensando a questi contributi di Hirschman e Tendler, la valutazione \u00e8 ancora caratterizzata da pregiudizi?<\/em><\/strong>
\u00abOltre che da un aspetto di diffidenza, sia da parte di chi deve essere valutato sia da parte di un\u2019opinione pubblica che ancora considera la valutazione come qualcosa di lontano dalla concretezza e dal pragmatismo dei processi, lo stesso lavoro valutativo manifesta delle tendenze che nell\u2019ottica dei due autori sarebbe bene superare. Penso ad alcune pagine che Tendler ha pubblicato sotto il titolo di Consigli ai valutatori<\/em>, e in cui troviamo un compendio della teoria possibilista consegnato a chi svolge il lavoro valutativo.
Primo consiglio, l\u2019attenzione al contesto<\/em>: il contesto come pluralit\u00e0 di fonti informative su un progetto.
Secondo consiglio, favorire la partecipazione<\/em>: a parit\u00e0 di condizioni, la diffusione di risorse e conoscenze all\u2019interno delle comunit\u00e0 di riferimento va fortemente incentivata come modello pluralistico e democratico di superamento di una logica elitaria di gestione delle risorse. La teoria valutativa potr\u00e0 allora proporsi come strumento di sostegno alla politica democratica, all\u2019insegna di un profondo richiamo morale finalizzato alla partecipazione, specie delle donne e dei giovani, alla cosa pubblica.
Terzo consiglio: la venerazione per il successo<\/em>. Un elemento lontano dalla ossessione per il fallimento, cui oggi spesso si assiste, quanto piuttosto una chiave per il superamento del pregiudizio. Abbiamo visto che, in un ambito che critica la linearit\u00e0, incoraggiando piuttosto la creativit\u00e0, alcune tra le conoscenze pi\u00f9 utili derivino anche dagli imprevisti. Allo stesso modo, \u00e8 importante superare pregiudizi e generalizzazioni tipici della vulgata. Hirschman per esempio esortava a prestare la massima attenzione alla fallacia delle convinzioni riguardo alle precondizioni<\/em> e agli ostacoli<\/em>. Tante volte \u2013 come metteva in evidenza \u2013 si tende a insistere su una lettura mainstream<\/em> dei progetti secondo cui determinate precondizioni <\/em>siano sempre necessarie al cambiamento, e lo stesso dicasi di taluni ostacoli <\/em>ritenuti per lo pi\u00f9 insormontabili per migliorare le cose. E invece: ecco il potere dell\u2019inatteso, per cui si scopre che ci pu\u00f2 essere sviluppo anche senza quelle precondizioni<\/em>, e che certi cosiddetti ostacoli<\/em> non sono insormontabili, e talvolta possono pure favorire lo sviluppo.
E ancora: richiedere agli enti committenti che la valutazione si svolga sul campo significher\u00e0 anche, nei fatti, contrastare tutta una serie di stereotipi<\/em> come quelli sull\u2019inefficienza del settore pubblico. Tendler, al contrario, riconosceva che un certo numero di interventi da lei studiati avessero goduto di particolare successo in termini di promozione sociale proprio nella misura in cui essi fossero sostenuti dagli enti pubblici, smentendo il tipico stereotipo della \u201cpigrizia\u201d dei funzionari pubblici: lei aveva conosciuto professionisti preparati e responsabili dei cui giudizi bisognava tenere conto. Un ragionamento simile \u00e8 di questo tipo: \u201cgli ospedali e le scuole non funzionano: \u00e8 un\u2019impresa trovare infermieri e insegnanti che sappiano fare il proprio lavoro\u201d. La venerazione per il successo<\/em>, nell\u2019ottica di Tendler come consiglio dato al valutatore, deve spingere a concentrarsi il pi\u00f9 attentamente possibile su quello che succede nelle strutture pubbliche in cui invece le cose funzionano: se ci sono gli infermieri o gli insegnanti, chiedersi come possa essere accaduto. Quali cambiamenti gestionali-amministrativi o di allocazione delle risorse permettono al personale sanitario di sentirsi valorizzato e al personale docente di essere a scuola in orario e di proporre programmi formativi di qualit\u00e0? Studiare quello che ha funzionato<\/em>, significa per la Tendler anzitutto sfatare il mito che i buoni esiti non esistano; e poi secondo lei le buone pratiche si possono ripetere anche in situazioni analoghe, pur se non identiche, a patto che il ricercatore riesca a comprendere in che modo una messa a sistema di un certo tipo<\/em> abbia potuto determinare esiti positivi. Hirschman e Tendler osservano quindi con grande interesse i momenti particolari in cui una costellazione di circostanze <\/em>imprevedibili pu\u00f2 dare origine al successo di un progetto, facendo davvero la differenza. Si tratta, peraltro, di alcuni temi che Tendler affrontava nell\u2019ambito dei corsi universitari da lei tenuti, con un\u2019ultima raccomandazione: l\u2019ascolto<\/em> delle parole, e anche del modo di esprimersi, dei beneficiari. Se ci pensiamo \u00e8 lo stesso arricchimento teorico proposto dall\u2019approccio di Hirschman in Development Projects Observed <\/em>alla Banca Mondiale, perch\u00e9 nel momento in cui il ricercatore compie una ricerca sul campo, egli lavora fianco a fianco con gli operatori locali ascoltando pi\u00f9 voci possibile e provando a capire cosa stia succedendo davvero e quali scelte vengano via via operate. Se lavora in questo modo, chi valuta pu\u00f2 rendersi conto che a volte anche quello che a prima vista potrebbe sembrare un fallimento<\/em>, pu\u00f2 invece innescare una crisi a cui corrisponder\u00e0 una risposta imprevista da parte dei beneficiari, configurandosi come una diversa soluzione<\/em>\u00bb.
Quando pensiamo alle politiche educative e alla loro valutazione, quale lezione possiamo trarre dall\u2019insegnamento di questi autori?<\/strong><\/em>
\u00ab\u00c8 bene proporsi di superare il pregiudizio che caratterizza la valutazione della scuola, considerata una attivit\u00e0 astrusa e equidistante sia dalla pratica che dalla teoria. E invece, rimanere aderenti al contesto educativo, ma soprattutto puntare alla formazione di valutatori che sappiano lavorare con l\u2019approccio democratico e possibilista favorito da questi autori, saper andare oltre una mera logica di assessment<\/em>, coniugare indicatori e metriche con la ricerca su quei processi che innescano in via pratica il cambiamento. E poi, quando analizziamo un risultato positivo, sar\u00e0 bene non considerarlo solo un esito previsto, ma da quel risultato imparare a risalire a ritroso \u2013 \u00e8 l\u2019ambito del cosiddetto process-tracing<\/em> \u2013 per comprendere cosa abbia prodotto quella determinata evoluzione. Questo modo di ragionare presuppone la complessit\u00e0 di tanti fattori che si muovono insieme e di tante possibili traiettorie da percorrere, da contemplare in una prospettiva aperta. Penso, per esempio, alle Prove INVALSI come a uno strumento fondante per studiare l\u2019apprendimento degli studenti anche in relazione al cambiamento scolastico, insieme ad altri importanti strumenti comparativi e di analisi dei processi, per osservare da vicino i comportamenti e le motivazioni di docenti, studenti, personale scolastico, e ambiente di riferimento: si tratta di un insieme di conoscenze utili per capire lo stato della scuola e la sua predisposizione al miglioramento. Del resto pensare al miglioramento significa tenere a cuore anche una prospettiva morale: una prospettiva che si prefigga sempre di aumentare e mai di limitare la partecipazione e che favorisca lo sviluppo di tutti gli strumenti democratici. Ricordarsi di quanto Tendler fosse una convinta sostenitrice del contributo che poteva venire dal settore pubblico e della necessit\u00e0 di un dialogo incessante con chi \u00e8 sul campo. Quando penso all\u2019INVALSI, in particolare, penso ad un ente pubblico di ricerca che non ha pregiudizi nei confronti dei professionisti del mondo della scuola, come gli insegnanti. Oggi si parla molto di intelligenza artificiale e di big data<\/em>, ma da questi autori giunge un monito instancabile a continuare a parlare in modo diretto e non mediato con tutte quelle persone che ogni giorno sono le vere protagoniste dei processi di cambiamento\u00bb.<\/p>\r\n\r\n\r\n\r\n
All\u2019insegna di un binomio tra innovazione della ricerca e accesso libero alla stessa considerato sempre pi\u00f9 inscindibile da parte delle istituzioni di ricerca, l\u2019A Colorni-Hirschman International Institute (AC-HII)<\/a> ha deciso di rendere fruibile ai ricercatori una Library in Open Access che offre una bibliografia ragionata sulle principali opere del gruppo intellettuale che fa riferimento all\u2019insegnamento di Colorni e Hirschman.<\/em>
Oltre ad una raccolta di Dossier dal titolo \u00abLong is the Journey<\/a>\u00bb, che si ispirano alla metodologia di ricerca politico-sociale promossa da Albert O. Hirschman e portata avanti dai suoi allievi, una sezione molto ricca dal punto di vista documentale \u00e8 legata alla figura di Judith Tendler.<\/em>
L\u2019Istituto ha raccolto in Open Access anche ampia parte della documentazione di ricerca raccolta da Tendler<\/a> nel corso della carriera, organizzando il materiale in sezioni storiche che attraversano un arco temporale di pi\u00f9 di cinquant\u2019anni, dal 1965 al 2018, quando, a due anni dalla sua morte, l\u2019Istituto ha promosso la pubblicazione di un volume in Open Access sui contributi pi\u00f9 significativi della Tendler, dal titolo <\/em>Beautiful Pages by Judith Tendler<\/a> (Nicoletta Stame, Ed., Italic Digital Editions, Roma, 250 pg.). Il volume raccoglie una scelta di introduzioni e conclusioni dei rapporti di valutazione pubblicati da Tendler nell\u2019ambito del proprio lavoro di consulenza per le agenzie internazionali di sviluppo governative e non governative.<\/em><\/p>\r\n","protected":false},"featured_media":2338,"comment_status":"closed","ping_status":"closed","template":"","categories":[241,237,239],"tags":[],"coauthors":[],"yoast_head":"\n