Recensione dei primi due volumi dell’OCSE che presentano i risultati dell’indagine PIAAC sulle competenze e conoscenze degli adulti ( la popolazione tra i 16 e i 65 anni).

Version imprimable de cet article Version imprimable

Le competenze degli adulti

L’Italia ha partecipato alle tre valutazioni delle competenze e delle conoscenze della popolazione adulta organizzate in questi ultimi vent’anni. Prima non si erano mai fatte. Le valutazioni degli adulti sono tecnicamente assai difficili e sono molto costose. Forniscono pero’ informazioni molto utili, in questo caso sulle conoscenze di base degli adulti che hanno frequentato la scuola in un periodo di grande espansione del servizio scolastico statale, quindi in un’epoca recente e che sono stati trascinati dallo’"tsunami" tecnologico contemporaneo. I risultati degli adulti italiani sono pessimi e inducono a riflettere sul futuro economico sociale e culturale del paese.

L’OCSE ha pubblicato recentemente due volumi sull’indagine PIAAC : il primo volume fornice un’analisi dettagliata dei risultati dell’indagine mentre il secondo volume è destinato ai lettori per spiegare loro come si è svolta l’indagine PIAAC effettuata nel 2012. Questa indagine verteva sulle competenze della popolazione adulta ossia sulla popolazione tra i 16 e i 65 anni. L’indagine mirava a valutare le competenze della popolazione che ha frequentato la scuola dopo la fine della seconda guerra mondiale e che ha quindi beneficiato della valanga di riforme scolastiche che nel corso di questi ultimi sessant’anni circa hanno sconvolto i programmi di insegnamento.

Originalita’ dell’indagine

L’indagine e’ quindi importante per valutare che cosa è rimasto di quel che si è appreso nella scuola di base anche se occorre subito riconoscere che è alquanto difficile distinguere tra gli apprendimenti scolastici acquisiti fino a 15 anni e tutto quel che si è appreso dopo nel corso della vita. L’OCSE ha dato molto rilievo a questa indagine che completa in un certo senso l’indagine PISA la quale valuta, occorre ripeterlo, le conoscenze e le competenze acquisite dai quindicenni ovverossia dalla popolazione scolastica nell’ultimo anno (tranne alcuni casi tra i quali l’Italia) della scuola dell’obbligo. Anche in Italia si e’ prestata attenzione all’indagine alla quale il paese ha partecipato (si veda in seguito). L’ISFOL ha ricevuto l’incarico di svolgerla in Italia ed ha dedicato un sito a PIAAC [1]. L’ADI ne ha pure parlato nel proprio sito [2]. Adesso l’OCSE pubblica i primi due volumi su PIAAC con le analisi dei risultati. Il primo volume e’ allegato a questo articolo. I volumi sono ben fatti, le analisi sono dettagliate, ricche di indicazioni, originali. Meritano di essere consultate. Offrono infatti un modello di interpretazione di grande qualita’ anche se si puo’ e si deve non concordare con le conclusioni tratte. Solo in questo modo le nostre conoscenze sulle modalita’ di apprendimento, sull’uso del sapere, sulla configurazione della cultura, sulle connessioni tra istruzione scolastica e attivita’ professionale, capacita’ di comprensione della vita politica, partecipazione alle procedure democratiche, oppure cura della salute e sviluppo del capitale umano e sociale, possono migliorare. Non si tratta dunque di indagini banali. Si puo’ qui citare per esempio la tavola 0.3 sulla varianza delle competenze nella comprensione dei testi tra popolazione anziana (fascia di eta’ tra i 55 e i 65 anni e la popolazione adulta piu’ giovane, fascia di eta’ tra i 16 e i 24 anni, ossia quella composta dagli adulti che hanno appena concluso la scuola dell’obbligo. Orbene, in Inghilterra e nell’Irlanda del Nord , il livello di competenze di questi due gruppi e’ molto simile mentre invece in Corea il divario e’ enorme. Questa e’ un’analisi assai bella e istruttiva. Non abbiamo scovato i dati per l’Italia. Questi lavori mettono in ballo le politiche culturali e sociali, perche’ i risultati rispecchiano quanto una societa’ realizza in questo settore.

Svolgimento dell’indagine : la costituzione di un campione statistico rappresentativo dell’intera popolazione

L’ indagine sulla popolazione adulta (quella dai 16 ai 65 anni) non può essere svolta come la valutazione sui quindicenni. Infatti, la maggioranza dei quindicenni si trova ancora a scuola ed è quindi relativamente facile sceglierla, isolarla, comporre un campione rappresentativo di questa popolazione, svolgere i test di valutazione con loro poiché questa popolazione si trova nelle scuole. Il problema più rilevante nelle indagini comparate di questo tipo consiste nell’avere presenti nelle scuole il giorno del test i quindicenni che compongono il campione. Poiché non tutti gli studenti del campione si presentano a scuola quel giorno, succede che mancano molti studenti che erano stati estratti a sorte per partecipare al test . Una delle questioni internazionali da risolvere per convalidare i risultati dei test consiste per l’appunto nella percentuale della popolazione di quindicenni assenti il giorno del test. In determinati casi, l’OCSE ha escluso dalla valutazione alcuni sistemi scolastici nei quali la percentuale dei quindicenni assenti il giorno del test era troppo elevata. Le autorità scolastiche sono avvertite in anticipo di questo rischio e sono al corrente della soglia percentuale del totale degli studenti stabilita dall’OCSE per ritenere valida la prova. Ciò però non impedisce un certo numero di professori militanti del boicottaggio dei test di valutazione di incitare gli studenti a starsene a casa il giorno della prova.

Tutto ciò non capita con la popolazione adulta la quale lavora durante il giorno e può essere quindi raggiunta soltanto quando si trova a casa. In generale le valutazioni delle competenze delle conoscenze della popolazione adulta si svolgono per telefono ma può anche verificarsi il caso in cui ci si accorda con un adulto consenziente di partecipare all’indagine per effettuare la valutazione in un luogo appropriato che può essere sia il domicilio sia un’ altra sede sia il luogo di lavoro. Queste condizioni esigono modalità di preparazione molto più complesse che non quelle concepite per effettuare le valutazioni delle competenze e delle conoscenze dei quindicenni. Nondimeno, la questione della percentuale della popolazione adulta valutata è del tutto pertinente. Questa percentuale non deve essere inferiore ad una determinata soglia se si auspica che i risultati conseguiti siano rappresentativi delle competenze delle conoscenze di tutta la popolazione adulta. In questo caso, tecniche apposite vengono elaborate per impedire di abbassare la proporzione degli adulti che hanno partecipato all’indagine al di sotto della soglia minima ossia per evitare che la proporzione di adulti che non hanno accettato di svolgere la valutazione sia elevata al punto da ridurre la validità dell’interesse dei risultati conseguiti i quali non rappresenterebbero più l’intera popolazione. Una delle modalità applicate per gli adulti ed anche per i quindicenni è quella di costituire un insieme di riserva nel quale si possono “pescare”altre per completare il campione dovuto alle defezioni delle persone mancanti. Questa procedura permette di evitare di invalidare la valutazione.

Sintesi dei risultati

Nella sintesi del primo volume di presentazione dei risultati [3] si afferma che la rivoluzione tecnologica iniziata nell’ultimo decennio del XX secolo concerne ormai tutti gli aspetti della vita del 21º secolo : dal modo con il quale noi “parliamo” con i nostri amici e con i nostri vicini, al modo con il quale effettuiamo i nostri acquisti, ai cambiamenti delle abitudini professionali e delle modalita’ di lavoro nonche’ dell’organizzazione della produzione. I servizi dei trasporti, delle comunicazioni hanno guadagnato in rapidità e efficacita’. Ormai gli spostamenti ovunque nel mondo delle persone, delle merci, dei servizi e dei capitali sono rapidissimi e concorrono alla mondializzazione delle economie. Queste mutazioni sociali, economiche e culturali (si pensi alla musica) hanno, a loro volta, fatto evolvere la domanda di competenze.

La valutazione delle competenze degli adulti svolta dall’OCSE, ovverosia il progetto PIAAC  [4] mira a mettere in evidenza la presenza di talune di queste competenze chiavi nella società nonché la loro utilizzazione nel quadro professionale e privato. L’indagine esamina direttamente la padronanza delle differenti competenze nel trattamento dell’informazione : la comprensione dei testi scritti, la cultura matematica e la risoluzione dei problemi in ambienti contraddistinti da elevate componenti tecnologiche.

La storia della valutazione delle competenze della popolazione adulta

L’indagine PIAAC non è la prima indagine di questo tipo svolta nel mondo per valutare le competenze della popolazione adulta. Nondimeno, queste indagini sono recentissime. Infatti, la prima fu effettuata nel 1994-1995 ed e’ nota con l’acronimo IALS [5] e fu condotta dall’Ufficio federale di statistica canadese "Statistics Canada" con il patrocinio dell’OCSE. Già allora si era constatato che la percentuale della popolazione adulta con competenze accettabili nel settore della comprensione della lettura di testi di natura differente, della cultura matematica, della cultura scientifica, era assai basso ; una seconda indagine di questo tipo fu effettuata agli inizi degli anni 2000, per la precisione nel 2002 [6], ed anche in questo caso la constatazione fu analoga : determinate competenze della popolazione adulta erano del tutto insufficienti rispetto a quanto in teoria ci si attenderebbe in una societa’ contraddistinta dall’evoluzione tecnologica e scientifica.

L’indagine PIAAC ha quindi beneficiato delle esperienze effettuate nel corso di due indagini anteriori e come succede in questi casi gli strumenti utilizzati sono stati corretti e migliorati. Si può pertanto dire che i risultati presentati dall’OCSE sono certamente più validi di quelli raccolti anteriormente ma è preoccupante constatare che la proporzione della popolazione adulta nella maggioranza dei paesi che hanno partecipato all’indagine ha competenze inadeguate per fronteggiare le sfide dell’evoluzione tecnologica contemporanea. A questo punto si impone una prima osservazione metodologica : i risultati del 2012 non sono rigorosamente comparabili con i risultati anteriori proprio perché gli strumenti non sono gli stessi e le modifiche attuate nel corso di questo periodo da un’ indagine all’altra rendono pressoché impossibile i confronti sull’evoluzione delle competenze della popolazione adulta. Del resto, più volte, nel volume di presentazione dei risultati pubblicato dall’OCSE, si attira l’attenzione proprio sulla cautela necessaria per comparare qualsiasi risultato da un’ indagine all’altra. Tra l’altro i 65enni del 2012 non sono gli stessi del 1994, hanno avuto un’esperienza scolastica di base e un’esperienza professionale del tutto diversa. Il mondo nel quale sono cresciuti non e’ quello dei loro coetanei di 18 anni prima.

Principali risultati

Nella maggioranza dei paesi esiste una proporzione considerevole di adulti che non posseggono affatto le competenze e le conoscenze necessarie per la comprensione di testi di varia natura e neppure nel settore della cultura matematica. Nei paesi partecipanti alla valutazione, dal 4,9% al 27,7% degli adulti si collocano ai livelli più bassi di competenze nella comprensione dei testi e la proporzione degli adulti con una insufficiente cultura matematica varia dall’8,1% al 31,7%.

In molti paesi, larghi strati della popolazione non dispongono delle conoscenze di base necessarie per utilizzare le nuove tecnologie dell’informazione e della comunicazione. Peggio, in molti casi una proporzione elevata di adulti non si è mai preoccupata di servirsi di queste tecnologie. Queste proporzioni variano dal 7% tra i 16-65enni in Norvegia, nei Paesi Bassi e in Svezia, al 23% in Corea, Spagna, Italia, Polonia e Repubblica Slovacca. Anche tra gli adulti competenti in informatica una maggioranza ottiene risultati molto bassi nella scala approntata per valutare le competenze nella risoluzione dei problemi in ambienti con una forte componente tecnologica.

Analisi dei risultati

La valutazione delle competenze degli adulti (programma PIAAC) si è svolta una decina di anni dopo la prima edizione del progetto PISA riguardante le competenze scolastiche degli studenti quindicenni. Circa 166.000 adulti in età dai 16 ai 65 anni sono stati interrogati in 24 paesi tra i quali l’Italia. La raccolta dei dati si è svolta tra il primo agosto 2011 ed il 31 marzo 2012 nella maggior parte dei paesi partecipanti . In Canada e in Francia invece la raccolta dei dati si è svolta rispettivamente tra il novembre 2011 ed il giugno 2012 e tra il settembre e il novembre 2012.

La lingua usata per la valutazione e’ stata la lingua ufficiale di ogni paese partecipante all’indagine. Se un paese aveva più di una lingua ufficiale, l’indagine si è svolta anche in queste altre lingue. In certi paesi, la valutazione fu pure stata realizzata nelle lingue minoritarie o regionali parlate da un gran numero di abitanti.

Due componenti della valutazione erano facoltative : la valutazione della risoluzione dei problemi in ambienti a elevata componente tecnologica e la valutazione di svariate componenti della lettura.

La popolazione che costituiva l’obiettivo della valutazione non era composta da nessun gruppo istituzionalizzato. Bastava appartenere alla fascia di età tra i 16 e i 65 anni e risiedere nel paese al momento della raccolta dei dati, indipendentemente dalla nazionalità, dalla cittadinanza o dalla lingua madre, per partecipare all’indagine.

La dimensione del campione dipendeva principalmente dal numero di temi conoscitivi valutati scelti dal paese ( e quindi dai costi) e dal numero delle lingue parlate nelle quelli la valutazione era effettuata. Taluni paesi hanno aumentato la dimensione del campione per ottenere stime più attendibili delle competenze della popolazione residente in una regione geografica particolare oppure di certi gruppi di popolazione come per esempio le competenze degli autoctoni e della popolazione immigrata. Per questo motivo la dimensione del campione varia da un minimo di 4500 persone fino a 27 300 persone. Va da sé che i costi della valutazione lievitavano con l’aumento del campione preso in considerazione e che non si puo’ comparare rozzamente un campione di 20 000 persone co uno di 4 500. Occorrono modifiche statistiche pertinenti per farlo.

La valutazione si è svolta sotto la sorveglianza di valutatori specialmente formati ( occorre precisare che e’ molto difficile garantire un’identica preparazione in tutti i paesi e all’interno di uno stesso paese di tutti i valutatori e di tutti i controllori) . Il questionario di base è stato sottoposto dal valutatore al valutato consenziente dopo un colloquio individuale preliminare. In funzione della situazione della persona prescelta, il tempo necessario per completare il questionario di base iniziale variava dai 30 ai 45 minuti. Dopo aver risposto al questionario di base, la persona prescelta e consenziente di partecipare all’indagine ha completato la valutazione su un computer portabile o su un formulario cartaceo (come si fa di solito nelle scuole con i quaderni dei test), s seconda delle competenze in informatica della persona prescelta. I partecipanti avevano in media 50 minuti di tempo per completare il test conoscitivo. Le persone con un livello di competenze nella comprensione dei testi molto bassa non dovevano effettuare la valutazione completa del test di comprensione della lettura, di cultura matematica e di soluzione dei problemi e furono dirottate direttamente verso un test specifico riguardante le loro competenze di base. Questo testo valutava il vocabolario e la capacità di trattare il senso di una frase inclusa in un testo, come per esempio una lettera od un articolo di giornale. Questo strumento non poneva nessun limite di tempo particolare al partecipante ma il tempo utilizzato per effettuare questo compito è stato registrato.

Un secondo gruppo di paesi ha iniziato ad effettuare la valutazione nel 2012. I dati saranno raccolti nel 2014 e i risultati saranno pubblicati nel 2016. Anche in questo caso, il progetto non differisce dalle due indagini precedenti sulle competenze della popolazione adulta. In entrambi i casi ci sono state code all’indagine per cui non tutte le indagini sono state effettuate nello stesso anno. Ci si può pertanto chiedere se questa procedura che permette di aumentare il numero dei paesi partecipanti all’ indagine non incide sulla comparabilità dei dati. Un conto infatti e’ effettuare 1’ indagine nel 2012 per esempio ed un altro è partecipare all’indagine nel 2014 o nel 2015. La rapidità delle mutazioni culturali e tecnologiche e’ tale che si può porre almeno questa domanda sulla pertinenza della comparabilità dei dati raccolti.

I risultati italiani

I risultati dell’Italia furono diffusi subito dall’ISFOL al momento della loro presentazione internazionale nel 2013 e ricevettero un ampio risalto. Tra l’altro l’ISFOL ha presentato i risultati italiani ripartiti territorialmente. La partecipazione dell’Italia è stata coordinata da un gruppo di cui parleremo in seguito che ha reso noti i risultati italiani con un comunicato stampa ampiamente ripresa dei media italiani. Ne ha per esempio parlato anche il sito dell’ADI come citato in precedenza. In questa sede, si riprendono soltanto alcuni dati.

Il bicchiere mezzo pieno e mezzo vuoto

 

I risultati degli adulti italiani in generale non sono affatto buoni e destano preoccupazioni. L’Italia che e’ un paese con un settore economico rilevante si trova infatti in coda al treno. Da questo punto di vista non esiste una differenza significativa tra i punteggi che si conseguono nelle indagini PISA e i punteggi degli adulti : grande disparita’ tra Nord e Sud, ritardo culturale rilevante sia per quanto riguarda la lettura che la cultura matematica di base e la cultura scientifica, carenze fortissime nell’uso delle nuove tecnologie della comunicazione e dell’informazione. Dunque, rispetto ad altri paesi della stessa rilevanza, la popolazione adulta italiana non brilla affatto. Eppure il Paese sta a galla, attraversa le numerose crisi di questi ultimi anni senza affondare nonostante l’assenza nota e comprovata di una strategia politica di formazione della popolazione adulta. Occorre riuscire a spiegare questo arcano. I due volumi pubblicati dall’OCSE non lo fanno e nessuna indicazione proviene dalle analisi dell’ISFOL che ricalcano in gran parte quelle dell’OCSE. 

La prima conclusione da trarre potrebbe essere la seguente : non e’ colpa del sistema scolastico. La crisi socio-economica e le trasformazioni tecnologiche che hanno profondamente modificato le societa’ contemporanee dopo il 1970 sono state digerite dall’apparato scolastico italiano. Occorre qui ricordare che nel corso di questi ultimi decenni il divorzio e’ stato legalizzato, l’aborto pure, che c’e’ stato un crollo della natalita’ impressionante, che la proporzione delle nascite al di fuori del matrimonio e’ cresciuta , che l’eta’ del matrimonio e’ stata posticipata, che la pratica religiosa e’ crollata, che i credenti praticanti regolarmente i sacramenti e che vanno settimanalmente alla Messa sono diminuiti, che la classe operaia e’ quasi scomparsa, che la societa’ dei servizi sembra essere all’agonia. Eppure, nonostante questi fenomeni impressionanti, l’economia e la vita sociale resistono. Ci sono quasi di sicuro varianti profonde tra il Nord e il Sud del paese. Non si incontrano ovunque le stesse manifestazioni ma mancano i dati per misurare queste trasformazioni e per connetterle da un lato ai risultati del sistema scolastico e a quelli delle competenze e delle conoscenze della popolazione adulta. L’ISFOL finora ha fornito solo i dati riguardanti la ripartizione dei risultati sul territorio. Nella tavola A3.1 si forniscono i dati riguardanti la varianza di punteggi nella comprensione della lettura secondo varie categorie e si scopre che in Italia la varianza tra i sessi e’ molto bassa, quasi nulla. Nella stessa tavola si trova una colonna sulla varianza in funzione dell’eta’ ma questa e’ una media che quindi non serve moltissimo per capire il contesto italiano. In generale, si puo’ dire che in Italia la popolazione femminile ha incassato assai bene le trasformazioni socio-culturali , morali, tecnologiche, economiche di questi ultimi decenni e che a prima vista il divario tra popolazione anziana e popolazione giovane e’ alto ma non drammatico come in Corea. L’interpretazione di questo dato puo’ essere positiva come negativa. Occorrono altri fattori per trarre conclusioni in merito.

Le competenze nella comprensione dei testi

Per quel che riguarda le competenze nella comprensione dei testi da parte della popolazione adulta nella fascia di età tra i 16 e i 65 anni i risultati italiani sono drammatici. Confermando quanto era già stato osservato nelle indagini anteriori sulle competenze degli adulti, anche in questo caso (tavola 0. 2) la popolazione degli adulti italiani è quella con i peggiori risultati. Ci si può quindi chiedere quale sia il lavoro di preparazione da parte del sistema scolastico di base per invogliare la popolazione ad approfondire e migliorare ulteriormente le proprie conoscenze e le proprie competenze nella comprensione di diversi tipi di testi. Esiste in Italia purtroppo una forte proporzione di adulti che non posseggono le competenze minime necessarie per capire un testo scritto e che scordano molto rapidamente quel poco che hanno imparato a scuola nel campo della lettura. Si tratta di adulti che non sanno più leggere e che non capiscono nemmeno un semplice testo scritto, che sono disorientati di fronte ad una tabella, che non capiscono le segnalazioni nelle stazioni, negli aeroporti, sulle autostrade. 

Il problema italiano

È sempre molto interessante esaminare l’elenco delle persone che hanno contribuito ad un’ indagine internazionale. Per quel che riguarda l’indagine PIAAC gli elenchi dei delegati nazionali e degli esperti che hanno costruito o sviluppato gli strumenti utilizzati nel corso dell’indagine si trovano negli allegati del secondo volume. Tra gli analisti e i valutatori internazionali non non è menzionato nessun Italiano. La situazione è ancora peggiore per quel che riguarda gli istituti di ricerca internazionali che hanno partecipato alla messa a punto dell’indagine o che hanno realizzato le analisi. Nel consorzio internazionale si trova "l’ Educational Testing Service (ETS)", il GESIS, Westat, il "Public Research Center Henri Tudor", il "Deutsches Institut für Internationale Pädagogische Forschung (DIPF)", il "cApStAn" per il "Linguistic Quality Control", il "Research Centre for Education and the Labour Market (ROA)" della Maastricht University, "l’ International Association for the Evaluation of Educational Achievement (IEA)". Va da sé, che questi istituti non lavorano gratuitamente e che ricevono contributi sostanziosi da parte dell’OCSE per le loro prestazioni che fanno vivere decine di ricercatori. Anche nel gruppo di esperti che ha messo a punto il questionario di base non è presente nessun italiano. La stessa cosa riguarda il gruppo di esperti che ha preparato lo strumento sulla comprensione dei testi, quello che ha preparato lo strumento sulla comprensione della cultura matematica è quello che ha preparato lo strumento sulla soluzione dei problemi in ambienti tecnologici molto avanzati. E’ all’interno di questi gruppi che vengono discussi e affrontati i problemi metodologici che si pongono nella valutazione delle competenze delle conoscenze della popolazione adulta oppure i problemi che si pongono per esempio nella valutazione dei quindicenni. La presenza in questi gruppi di esperti e’ quindi fondamentale per arricchire le conoscenze e le competenze esistenti nell’ambito di un paese e per formare i giovani ricercatori, gli specialisti del campo. L’assenza di Italiani in questi gruppi è un indice preoccupante della debolezza della ricerca scientifica italiana sulle questioni della valutazione.

La partecipazione italiana

La partecipazione dell’Italia all’indagine PIAAC è stata coordinata dall’ISFOL ed in particolare da un gruppo di lavoro composto di Manuela Amendola, Michela Bastianelli, Gabriella di Francesco responsabile per l’indagine in Italia, Vittoria Gallina, Simona Mineo e Fabio Roma. Nessun rappresentante dell’INVALSI dunque. Infatti nel sito dell’ISFOL, l’INVALSI non appare nemmeno tra gli enti italiani promotori dell’indagine PIAAC in Italia. La partecipazione dell’Italia all’indagine IALS nel 1998 fu decisa in un incontro tra il Ministro della Pubblica Istruzione di allora Luigi Berlinguer e il Ministro del lavoro Tiziano Treu. Le spese , assai elevate, per partecipare all’indagine furono ripartite tra i due ministeri. I tempi cambiano.

[1] cliccare qui

[2] cliccare qui

[3] Volume in francese allegato a questo articolo

[4] Acronimo inglese per "Programme for International Assessement of Adults Competencies"

[5] In inglese : "Internationl Adult Literacy Survey

[6] Nota con l’acronimo ALL che sta per "Adult Literacy and Lifeskills"

Les documents de l'article

PIAAC2013.pdf