Nel post precedente promettevo di approfondire meglio la mia posizione circa la questione dei dati richiesti per poter decidere legata alla presa di posizione di Crisanti. Rileggendo il post, e in particolare rileggendo i commenti che ne sono seguiti, mi rendo conto che forse questo è un mio nervo scoperto e vale forse la pena che racconti degli antefatti di 35 anni fa.

Durante il mio servizio al Centro Europeo dell’Educazione di Villa Falconieri ebbi modo di portare a termine un dottorato di ricerca in pedagogia che ebbe come esito la produzione di un test di matematica per la fine della terza media noto con sigla VAMIO. Come ricaduta dell’indagine, su impulso del presidente prof. Aldo Visalberghi, lo strumento di rilevazione, progettato come test sommativo, fu elaborato in modo da essere utilizzabile anche a livello didattico come test diagnostico per individuare problemi e carenze in matematica all’inizio della scuola secondaria superiore. La taratura del test fu realizzata in due tempi e l’analisi dei dati fu finalizzata alla ricerca di fattori in grado di delineare un profilo articolato di ciascuno studente che non fosse limitato a un punteggio singolo e ad una semplice graduatoria unidimensionale.

Il test era composto da 110 domande, diviso in due parti e toccava tutti i contenuti previsti dai nuovi programmi dalla riforma della scuola media. Ma mentre era semplice spiegare alle famiglie degli studenti i punteggi nelle singole parti contenutistiche del test non era altrettanto facile spiegare come erano calcolati i punteggi dei 10 fattori estratti e far capire la natura di quei fattori. Infatti si trattava di capire che i fattori, descritti ex post come capacità di far qualcosa di ben definito dal punto di vista matematico, erano calcolati sommando con pesi opportunamente gli esiti di ciascun quesito. Non era facile capire i concetti e soprattutto l’algoritmo molto sofisticato di calcolo.

Preparai un programma di calcolo che consentiva localmente alle singole scuole di immettere le risposte al test ed ottenere il profilo di ogni studente espresso come livello alto, basso o medio nei singolo fattori (oggi diremmo competenze). Nel Provveditorato di Bergamo, su impulso del provveditore Draghicchio del quale ho già parlato , fu realizzata una somministrazione su larga scala nelle prime classi della scuola secondaria superiore e la prima presentazione pubblica dei risultati toccò a me e fu riservata a referenti degli istituti scolastici partecipanti, quasi tutti presidi (allora si chiamavano così). Arrivato alla illustrazione della struttura fattoriale del test e ai relativi risultati vidi che il mio uditorio si stava perdendo e che affioravano sguardi scettici del tipo: ma questo che ci racconta? si limitasse a parlare di percentuali, di graduatorie, di indici di facilità. Tutti zitti ma i loro sguardi erano assordanti. Naturalmente feci macchina indietro dicendo che si trattava di una elaborazione sperimentale che c’erano ancora pochi dati, che proprio quella somministrazione avrebbe reso più solida e chiara l’interpretazione dei fattori. Dal fondo della sala una giovane preside alzò la mano e disse: a proposito professore io ho due figli gemelli maschio e femmina che hanno fatto il test e come mamma ho ricevuto due schede incomprensibili, salvo che i punteggi sono molto buoni ma questo già lo sapevo perché sono bravi. Ma cosa vuol dire FAT1, FAT2, FAT3 ? E poi c’è una cosa che non capisco proprio. Tutti i punteggi sono buoni tranne il fattore 5 in cui il ragazzo risulta di livello basso. Scoprii così che non tutte le scuole avevano allegato alla scheda dei risultati la legenda dei fattori e quindi molte famiglie avevano ricevuto una comunicazione incomprensibile. Lessi e illustrai la legenda dei fattori e arrivato al fattore 5 che riguardava una particolare competenza di tipo geometrico la preside mi interrompe e esclama contenta: ho capito, è bellissimo, il test si è accorto che mio figlio ha avuto un problema di lateralizzazione da piccolo e che nonostante sia molto bravo questo continua ad essere forse un problema. Smisi di sudare e la mia esposizione riprese vigore e sicurezza a allora potei rassicurare quella mamma che per suo figlio il livello basso nel fattore 5 non era un grave problema visto che quel fattore spiegava una parte molto piccola della varianza del punteggio totale.

L’episodio precedente mostra che i dati senza una comprensibile legenda sono inutili, i dati vanno capiti ed interpretati. In questa pandemia siamo stati sommersi dai dati forniti sistematicamente da tutti gli organi di informazione come sventagliate rapide che impedivano di coglierne il significato se non quello che stava a cuore al commentatore di turno.

Ma la mia storia non finisce qui. Per almeno tre o quattro anni il test fu adottato da molte scuole in giro per il paese e mi ritrovai a replicare in molti contesti diversi presentazioni analoghe. Ovunque emergeva una diffidenza di fondo, da parte dei docenti che vedevano indagato il loro lavoro, da parte degli stessi presidi che avevano difficoltà a tradurre in azioni concrete e in interventi compensatori quei risultati. Vi era comunque una pressione sociale per la verifica oggettiva nelle scuole, prime avvisaglie di una fase più esplicita che portò alla fine degli anni ’90 all’autonomia scolastica e alla costituzione dell’INVALSI.

Ebbene la resistenza interna nelle singole scuole a questo processo era quasi ovunque relativa alla possibilità di capire bene l’algoritmo di calcolo dell’analisi fattoriale e alcuni docenti dicevano che questo era un requisito per potersi fidare dei risultati. Nelle posizioni di Crisanti vedo lo stesso tipo di resistenza. La mia risposta a queste obiezioni, dopo aver cercato di spiegare al limite della mie capacità la struttura dell’algoritmo a dei profani, era che normalmente nessuno pretende di sapere esattamente come funziona la conta dei globuli rossi nell’analisi del sangue né di capire perché una determinata soglia dei valori può rivelare una certa patologia. Spesso ci fidiamo, ci dobbiamo fidare se non pretendiamo di conoscere tutto lo scibile. Ma allora Wikipedia non esisteva né FaceBook. Per i più ostinati nelle obiezioni alla mia presentazione tagliavo corto e dicevo che la conferenza poteva prolungarsi solo fino all’ora in cui non avrei perso il treno per il ritorno a Roma e che tutto era pubblicato su un volume che potevano richiedere gratuitamente a Villa Falconieri. Ciò che ho potuto verificare è che spesso richieste di dettaglio di tipo metodologico nascondevano un rifiuto di risultati non graditi o scomodi.

L’esempio che ho raccontato è acqua fresca rispetto alla vicenda collettiva, planetaria che l’umanità sta vivendo ma per un singolo studente il successo scolastico può determinare svolte e cambiamenti radicali, influire sulla vita futura, turbare o valorizzare equilibri di famiglie e comunità. Io scorgo una analogia tra le resistenze che all’epoca e successivamente in molte altre circostanze simili riscontrai avverse all’introduzione nel mondo della scuola di procedure scientifiche che si basavano su evidenze empiriche e le resistenze attuali contrarie a molte procedure che la scienza e la razionalità cercano di introdurre nella lotta contro la propagazione del virus e della malattia.

Chiuso il racconto autobiografico, torno ai giorni nostri e alla reazione diffusa contro il potere che ora si servirebbe dell’evidenza scientifica come strumento di limitazione delle libertà individuali. La gamma delle reazioni è molto estesa, si va da coloro che negano l’evidenza dei numeri e delle immagini ritenendo che anche le fosse comuni in molte parti del mondo siano dei set cinematografici o che i cortei di carri militari con le salme da portare ai forni crematori siano un’invenzione della spectre di big pharma fino alle paure di chi preferirebbe evitare di farsi inoculare sostanze di cui non conosce la reale composizione. In questo marasma di paure ci sono poi quelli che assumendo che il virus sia una manifestazione del demonio si affidano al misticismo e alle preghiere senza riflettere sul fatto che il virus potrebbe essere anche una giusta punizione di Dio che periodicamente si pente di avere inventato questo esserino prepotente che ha popolato e distrutto un pianeta che doveva essere forse un nuovo Eden.

Come scrivevo nel post dedicato alla presa di posizione del presidente dell’Accademia dei Lincei ci sono molti rischi che quella ragionevole richiesta di dati possa essere strumentalizzata per letture tendenziose che servono solo a confondere e a far riemergere paure e diffidenze che già in passato avevano generato molte scelte irrazionali. Dire che i dati non sono sufficienti è banalmente sempre vero perché la nostra conoscenza è sempre parziale (De Finetti diceva che solo Dio faceva a meno del calcolo delle probabilità perché conosceva tutto) ma in ogni momento in cui dobbiamo effettuare una scelta individuale o collettiva l’incertezza dell’ignoranza può essere mitigata dalla valutazione del rischio dell’errore.

Mieli in una discussione della trasmissione di Gruber ha detto che il fatto che un vaccino possa essere pericoloso al 10% potrebbe essere un problema dando prova di non sapere bene di cosa si stava parlando.

Un vaccino efficace al 90% non significa che il 10% subisce un danno, vuol dire che su 100 vaccinati 10 non sviluppano gli anticorpi e quindi non sono protetti. Certamente questo è un problema ma se non ci sono vaccini migliori occorre accontentarsi, paradossalmente se nessuno dei virus avesse raggiunto una efficacia del 70% i governi avrebbero potuto ugualmente lanciare campagne vaccinali sperando di mitigare la crescita e di semplificare la gestione della vita civile ed economica. Ma se al virus fosse associato il sospetto di qualche effetto secondario negativo immediato o successivo nel tempo una soglia di efficacia troppo bassa avrebbe forse fatto desistere i governi dalla vaccinazione su larga scala. Insomma la scelta non è banalmente se non vedo i dati non mi vaccino, forse Crisanti sa leggere i dati ma molti di noi no e allora ci dobbiamo fidare esercitando comunque tutto il diritto di critica e di discernimento che la nostra cultura personale e collettiva può mettere in campo. Crisanti e gli accademici che chiedono più dati sono finiti nella macchina infernale dei media che ripete questa o quella informazione per alimentare paure e pregiudizi e raramente offre strumenti di comprensione di livello intermedio per la gente comune.

Concludo questa chiacchierata disordinata e forse logorroica rispondendo ad una domanda telefonica di una amica: come fanno a calcolare la percentuale di efficacia di un vaccino? Ho risposto: non lo so esattamente ti posso solo dire come funzionano i piani sperimentali in agricoltura o in biologia o in pedagogia. L’ho studiato all’inizio del corso di dottorato, pensa che pur avendo fatto il liceo ed essendomi laureato in matematica ho imparato queste cose a 36 anni nel dottorato. Se vuoi pianificare una sperimentazione didattica dovresti mettere insieme un certo numero di classi in alcune attui il nuovo metodo da verificare e in altre no ma devi far in modo che oltre all’ipotesi da verificare (supponiamo l’uso di internet per le ricerche di storia) non ci siano altre variabili che fanno la differenza nel rendimento finale, devi essere certa che le classi siano equivalenti perché se sperimenti su classi selezionate è ovvio che tutto funzionerà alla meraviglia, poi devi azzerare l’effetto dell’insegnante facendo in modo che gli insegnanti siano equivalenti … stai dicendo che una vera sperimentazione didattica non si può fare?! sì effettivamente è piuttosto difficile e certamente troppo costoso per il vantaggio conoscitivo che si può avere … per questo in didattica si ha a che fare quasi sempre con disegni quasi sperimentali. Non è esattamente come studiare l’effetto di due concimi sulla crescita dei broccoli … in quel caso basta suddividere la superficie dell’orto in piccoli riquadri in cui variare le quantità da studiare e verificare alla fine in quali combinazioni la crescita è stata migliore. Sì ma veniamo ai vaccini! in genere quando si sperimenta un vaccino o un medicinale si individuano due campioni equivalenti che siano rappresentativi della popolazione complessiva. Il vaccino è confezionato in contenitori identificati solo da un codice numerico il cui significato è conosciuto solo da un computer che sa dove si trova il vaccino e dove invece c’è acqua colorata simile al vaccino ma del tutto inefficace, è il placebo. Nemmeno l’infermiere o il medico sanno cosa stanno inoculando. Fatto ciò i volontari riprendono la loro vita normale, sono periodicamente controllati per vedere se ci sono effetti imprevisti e si attende il tempo necessario perché ci siano dei contagi in numero sufficiente. Per questo l’esperimento si fa dove l’epidemia è più virulenta sia perché è più facile trovare volontari che sperano di evitare il contagio sia perché più rapidamente si trova una massa critica da analizzare. Dopo un certo periodo un test sierologico sistematico ed un tampone potranno monitorare tutto il campione e solo allora il computer svelerà chi era protetto e chi no.

Facciamo un esempio molto semplice. Un campione di 1000 volontari è suddiviso in due parti uguali uno è vaccinato e l’altro ha avuto la somministrazione di un placebo ma nessuno conosce la propria situazione effettiva. Si attende che nella popolazione da cui il campione è estratto i nuovi infettati siano almeno il 10% del totale, questo è un dato che giornalmente si può rilevare nei contesti in cui il campione è stato estratto. Più la zona è infettata più rapidamente si raggiunge questa soglia convenzionale (attenzione sto inventando i parametri a soli fine didattici!)

A questo punto tutto il campione è richiamato al controllo e possiamo attenderci che dei 500 non vaccinati circa 50 siano stati infettati. Se il vaccino fosse del tutto inefficace ne troveremmo circa 50 infettati anche nella parte dei vaccinati, se il vaccino funzionasse al 100% nessun vaccinato sarebbe infettato. Se troviamo circa 5 infettati tra i vaccinati possiamo dire che il vaccino è stato efficace in 45 / 50 ovvero 90 / 100 casi. Ovviamente occorrerà controllare anche un’altra caratteristica di ciascun volontario che ha assunto il vaccino: lo sviluppo degli anticorpi. Se le cose fossero così semplici e lineari come questo esempio farebbe credere dovremmo trovare che su 500, 450 abbiamo sviluppato anticorpi e 50 no. Le cose non sono mai così precise in natura per cui la relazione tra sviluppo degli anticorpi e resistenza al contagio sarà oggetto di ulteriori analisi che lasciamo agli esperti.

Potreste dire subito che i casi esaminati sono troppo pochi anche se siamo partiti da 1000 volontari: la statistica si fa solo su un centinaio di persone e su una cinquantina di vaccinati … un po’ pochi … per rendere più solida la statistica dovremmo aspettare ancora un po’, attendere che il contagio prosegua arrivando a percentuali più alte oppure dovremmo partire da campioni più numerosi, infatti si parla di decine di migliaia di volontari. Ovviamente il sospetto di Crisanti & C è che l’urgenza dei risultati per avviare vaccinazioni di massa e riattivare le società ferme in lockdown possa aver ridotto eccessivamente le numerosità dei casi su cui poggiare le valutazioni per le certificazioni.

Spero di non aver detto cose troppo inesatte. Alla prossima.

Categorie:Coronavirus, Cultura e scuola, Vaccini, Valutazione

Tag:Draghi, Villa Falconieri