Ieri sono stati presentati i risultati dell’indagine OCSE PISA 2012. Ho saputo della cosa casualmente da una amica che stava venendo da Torino per partecipare alla presentazione pubblica che si è tenuta nel pomeriggio in una scuola romana dopo quella ufficiale avvenuta nella mattinata al Ministero.

Sono stato membro del MFEG, il gruppo internazionale di esperti che a partire dal 1998 ha elaborato per l’OCSE il framework del test di matematica e mi sono variamente interessato alla ricerca fino al 2007, data in cui vinsi il concorso a preside e tornai nella scuola. In realtà avevo vinto anche un concorso a dirigente di ricerca presso l’INVALSI, pubblicato sulla Gazzetta, ma nelle more del commissariamento dell’ente disposto da Fioroni il posto sparì e il concorso non ebbe esito. Dico ciò per prevenire il lettore su eventuali acidità del mio racconto e delle riflessioni che vorrei sviluppare. A partire da quella data fui ovviamente radiato dagli indirizzari dell’ente e non sono considerato nemmeno come riempitivo della sala in una occasione pubblica solenne come quella di ieri. Capite anche perché non amo la rottamazione renziana, è una pratica incivile e autolesionista degli stupidi avidi di potere.

Ma torniamo all’OCSE PISA. Siamo stati letteralmente travolti dai numeri, tabelle infinite di dati minuti, grafici più o meno evocativi, analisi identiche a quelle che sono state sviluppate nelle quattro somministrazioni precedenti, risultati molto simili con leggeri spostamenti che i ricercatori sottolineavano strenuamente per mostrare che qualcosa di nuovo si sta scoprendo. Purtroppo nella sostanza nulla di nuovo sotto il sole: siamo un paese stratificato sin dalla scuola, abissali differenze di competenze linguistiche, matematiche e scientifiche tra i liceali e i ragazzi che vanno al professionale con concentrazioni inaccettabili di ‘analfabeti’, secondo la scala empirica proposta dall’OCSE, in scuole che ovviamente sono dei ghetti ante litteram. Differenze costanti ed abissali tra regioni geografiche. Un Nord Est  comparabile con i migliori paesi del mondo ed un Sud con regioni paragonabili ai paesi più arretrati. Come se, prendendo un treno da Trento a Palermo percorressimo l’intera variabilità della competenze dei quindicenni del mondo. Ma in realtà percorrendo il paese da nord a sud ma anche da un quartiere all’altro delle nostre città percorriamo anche la variabilità delle condizioni socioeconomiche del mondo, dalla ricchezza più splendente alla povertà più misera.

Nella presentazione, l’INVALSI sottolinea la terzietà rispetto all’interpretazione dei risultati, evita di problematizzare sottolineando i fatti nudi e crudi dando ai numeri il potere dell’oggettività. Ma quando i problemi della società e della scuola sono così gravi e lancinanti non si può essere anodini, ci vuole una chiara ipotesi di ricerca e occorre mostrare come leggere i dati dando loro un significato. Se fossi intervenuto lamentando ciò mi avrebbero risposto che ciò è lasciato agli approfondimenti di secondo livello, ai commenti che verranno dalla comunità scientifica e dalla società. Vero, ma il rischio concreto è che i dati per la loro rilevanza saranno solo oggetto della rielaborazione giornalistica, delle manipolazioni opportunistiche per dimostrare gli assunti più vari, degli aggiustamenti dei gabinetti dei ministri di turno.

Ormai siamo bombardati sistematicamente da dati statistici chiaramente manipolati diffusi nelle ore di punta degli ascolti televisivi. Ad esempio verso le 1 e tre quarti sul TG1 c’è una notizia statistica sulla disoccupazione giovanile, sulla crisi economica, sulle aziende che chiudono. Il dato è fornito senza interpretazioni, nudo e crudo e sarà ripreso per due o tre giorni in contesti vari finché non è introiettato nel pubblico secondo l’intento persuasivo di chi ha pubblicato il dato.

La parte della presentazione più innovativa è stata sviluppata da un giovane ricercatore della Banca d’Italia che ha illustrato il lavoro svolto per vedere in che modo la misurazione dei test OCSE PISA poteva essere affiancata alla misurazione condotta dallo stesso INVALSI con i test del Servizio Nazionale di Valutazione. Con un lavoro certosino hanno cercato di allineare i risultati delle due misurazioni ed effettivamente hanno travato che le due famiglie di strumenti sono sostanzialmente equivalenti, cioè danno risultati sugli stessi soggetti fortemente correlati. Il ricercatore forse non sapeva da dove nasceva il problema che aveva studiato, o quantomeno non l’ha esplicitato nella sua esposizione. Nel 2000 i risultati OCSE PISA, ritenuti più affidabili e più controllati nella somministrazione, vennero addotti come prova della debolezza metodologica e strutturale dell’allora nascente testing SNV nelle scuole ad opera dell’INVALSI: nei risultati SNV non compariva il divario tra nord e sud che invece emergeva in tutte le comparazioni internazionali a partire dalle prima IEA degli anni ’70. Ora il ricercatore BI dimostrava che anche il testing nazionale aveva la stessa solidità del test internazionale.

In realtà subito dopo, nel primo intervento a commento dei risultati, il rappresentante del dipartimento che finanziava la ricerca, dichiarava che quel risultato dimostrava che non era più necessario sovraccampionare OCSE PISA perché bastavano i dati nazionali (per i non addetti ai lavori: per motivare l’investimento della indagine e accedere a fondi speciali il campione PISA è sovraddimensionato per avere dati statisticamente significativi anche nei confronti tra regioni estraendo a sorte circa 1000 scuole e non solo le 250 richieste dal coordinamento internazionale). Quindi, un taglio dei costi per il prossimo triennio.

Ma al ricercatore BI sfuggiva anche un’altra questione interessante: è giusto che OCSE PISA e SNV correlino così fortemente? Ovviamente sì, ma … qual è la diversità tra le due indagini? Le competenze PISA sono indicatori di efficienza del sistema educativo visto come componente del sistema economico e sono considerate variabili esplicative della dinamicità della società rispetto al progresso economico. Il PISA non nasce per controllare i curricoli mentre SNV serve al MIUR per controllare come lavorano le scuole per raggiungere gli obiettivi specifici secondo le finalità che sono state definite dal legislatore. Allora il ricercatore BI potrebbe aver dimostrato che SNV non solo misura meglio di un tempo ma misura le stesse cose, si è ocsesizzata forse eccessivamente perdendo quella specificità che lo farebbe accettare meglio dalla scuola ‘militante’. Ma tutto ciò non può interessare allo statistico prestato alle ricerche dell’INVALSI dal lavoro sui modelli econometrici .

La debolezza dell’impianto generale della presentazione, unidimensionale appiattimento sui soli dati quantitativi, è il risultato dell’operazione che fu fatta prima dalla Moratti e poi da Fioroni, e mai smentita dai ministri successivi (complice il sindacato della ricerca), quella di svuotare l’Invalsi dagli insegnanti comandati facendo sopravvivere solo gli statistici o al massimo giovani psicologi con un’infarinatura di statistica. Gradualmente, da presidenti che erano docenti universitari di chiara fama dell’ambito pedagogico, si è passati a giovani brillanti presi dal vivaio del centro studi della Banca d’Italia. Ieri il presidente dell’Invalsi, anch’egli BI, confermava che era il suo ultimo giorno di servizio e che un altro presidente sarebbe stato nominato dal Ministro.

Ultima riflessione sull’esperienza di ieri. Quando nel 1998 mi recai a Parigi per una delle prime riunioni dedicate all’avvio della ricerca in rappresentanza di Vertecchi (presidente del CEDE) che non poteva e sentii parlare per la prima volta di questa nuova indagine OCSE, che non aveva ancora un nome, rimasi colpito dall’idea che iniziasse una processo triennale che poteva durare per decenni. Ero scettico, mi sembrava impossibile realizzare un simile progetto, pensavo al mondo come un sistema stabile in evoluzione lenta ma positiva. Poi le torri gemelle, Enron, i sub prime, la crisi, la Cina, Ipad, la recessione, l’euro. Ora che ne sono fuori, che leggo i dati come un privato cittadino inattivo, mi sembra che questa misura longitudinale sia un po’ troppo stabile, poco esplicativa delle tremende variazioni intervenute nel nostro mondo, troppo fredda e ripetitiva rispetto alla complessità della realtà.

Opuscolo con dati distribuito durante la conferenza.

Categorie:Cultura e scuola, Valutazione