Presentazione dell’articolo di David Labaree, professore all’Università di Stanford, sulla costruzione dei test dell’indagine PISA.

Version imprimable de cet article Version imprimable

L’indagine PISA

Una delle novità dell’indagine PISA fu quella di ricorrere a uno strumento, il test, che non fosse associato a quanto si insegna nelle scuole. I test di PISA sono "curriculum -free", ossia non sono collegati ai programmi scolastici. In questo modo i responsabili dell’indagine PISA hanno brillantemente risolto un decennale problema che è stata una zavorra in tutte le indagini dell’IEA, l’associazione mondiale di ricercatori che ha avuto il monopolio dal 1960 fino al 2000 delle valutazioni comparate su vasta scale a livello internazionale, cioè quello della fabbricazione di test slegati da quanto era previsto nei programmi scolastici nazionali svolti in classe in un determinato anno. L’opzione scelta dai promotori di PISA per evitare di cadere nel tranello di test costruiti con riferimento al curriculum praticato in un sistema scolastico mentre l’indagine vuol essere neutra fu quella di valutare un insieme di competenze utili per riuscire nella vita ossia di competenze non insegnate da nessuno. L’identificazione di queste competenze pone problema, non è molto trasparente.

 Questo è un bel articolo , in inglese, rilasciato recentemente dalla rivista Teachers College Record, che lo aveva pubblicato un paio di anni fa nel numero 9 del volume 116 dell’annata 2014 con il titolo "Let’s Measure What No One Teaches : PISA, NCLB, and the Shrinking Aims of Education". L’autore è David Labaree professore a Stanford dove insegna nella scuola dottorale di scienze dell’educazione.Qui di seguito si riporta solo una parte dell’articolo, ossia quella che riguarda l’indagine PISA. L’originale in inglese dell’articolo si può consultare cliccando qui.

In questo articolo, l’indagine internazionale PISA è considerata un elemento costitutivo dell’ accountability e si analizzano come gli studenti riescono a padroneggiare le competenze particolari previste dai sistemi scolastici che dovrebbero essere tenuti responsabili di quanto fanno. Inoltre, nell’articolo si comparano gli effetti dell’indagine PISA e della riforma scolastica USA NCLB  [1]. Secondo l’autore l’indagine PISA è un esempio di come si è degradata la scolarizzazione in vent’anni e della perdita di qualità delle scuole. 

 

Lo strumento d’indagine PISA, ossia il test, prevede la padronanza di competenze indubbiamente rilevanti che però non sono insegnate mentre nella riforma USA si propongono competenze che sono insegnate ma che non sono rilevanti. Le due iniziative sono molto diverse l’una dall’altra ma hanno anche per l’autore svariati punti in comune. Entrambe riducono l’importanza dell’apprendimento all’acquisizione di competenze economicamente utili (Il capitale umano). Entrambe rivendicano per le loro misure il fatto di fornire dati utili ai responsabili politici che mirano ad accrescere l’efficacia delle scuole nella produzione di capitale umano. Ma nessuna delle due indagini è convincente da questo punto di vista. L’indagine PISA misura competenze rilevanti dal punto di vista economico ma non riesce a dimostrare che le scuole oggigiorno insegnano queste competenze. La riforma NCLB prevede che si misurino le conoscenze acquisite che sono previste nei curricoli scolastici ma non riesce a dimostrare che quanto si apprende nelle scuole sia utile economicamente. Un’indagine misura ciò che è rilevante ma che non è insegnato ; l’altra misura ciò che è insegnato ma che non è rilevante. Pertanto, se si ritiene che il perno della scolarizzazione è l’apprendimento e che il cuore dell’apprendimento è la produzione del capitale umano-questo non è il punto di vista dell’autore- ha davvero poco senso applicare sistemi di valutazione previsti per apprezzare l’efficacia delle scuole del tipo di quelli in voga colme l’indagine PISA . In conclusione, l’autore sostiene che gli sforzi di accountability previsti nell’indagine PISA e nella riforma USA hanno sensibilmente ristretto le finalità della scolarizzazione. [2].

 

 

Il caso PISA

 

 

L’indagine Pisa è l’ultimo tentativo in una serie di indagini internazionali svolte dopo la fine della seconda guerra mondiale per identificare i migliori sistemi scolastici i quali sarebbero stati quelli i cui studenti avrebbero conseguito i migliori punteggi nei test proposti dalle indagine. L’indagine PISA ha sfruttato le conoscenze metodologiche acquisite in precedenza e ha permesso di fare alcuni passi avanti. L’Associazione internazionale per la valutazione scolastica( IEA) ha esercitato par quattro decenni un monopolio sulle valutazioni internazionali su larga scala e ha condotto una dozzina di indagini tra il 1960 e il 2000. A partire dal 2000 l’IEA ha in parte modificato l’impostazione delle proprie indagini, forse pungolata dall’apparizione sulla scena internazionale di un concorrente. Fu proprio nel 2000 che l’OCSE propose con grandissimo successo un nuovo tipo di valutazione internazionale su vasta scala che faceva concorrenza all’IEA . [3]. 

 

L’idea centrale dell’OCSE fu quella di proporre un ciclo di test internazionali ogni tre anni e di ancorare le domande dei test in modo tale da comparare I punteggi a distanza di nove anni. Inoltre, i test dell’indagine PISA riservati ai quindicenni ossia agli studenti che arrivavano alla fine della scolarità obbligatoria non dovevano tenere conto dei programmi scolastici nazionali ma dovevano portare soprattutto sulle competenze necessarie per riuscire della vita come si presenta oggigiorno nei paesi più sviluppati. In questo modo, l’OCSE è riuscita a proporre un’indagine di tipo nuovo che correggeva i difetti principali delle valutazioni su larga scala svolte tra il 1960 e il 2000 dall’IEA. Il successo più strepitoso. Nel 2000, Il test principale era imperniato sulla comprensione dei testi scritti, ossia sulla lettura ; nel 2003 il test principale era orientato sulle conoscenze matematiche ; nel 2006 sulla cultura scientifica. Nel 2009 è iniziato un secondo ciclo di indagini con una prima valutazione che riprendeva parte del test del 2000 imperniata sulla lettura nel 2009, una sulla matematica nel 2012 ed una sulla cultura scientifica del 2015. A tuttora sono terminati due cicli completi di indagini che forniscono un materiale strepitoso di analisi del funzionamento delle scuole. All’indagine del 2000 parteciparono 43 sistemi scolastici e a quella del 2012 65 sistemi scolastici. Secondo l’OCSE, il 90% dei sistemi economici più ricchi del mondo partecipano a questa indagine.

 

Come i valutatori costruiscono I test di Pisa ? 

 

Come è il caso in tutti confronti internazionali, l’ostacolo principale era rappresentato dell’incompatibilità dei programmi scolastici dei sistemi scolastici che hanno aderito all’indagine, per cui una cosa fu subito chiara : l’indagine non avrebbe né dovuto né potuto misurare ciò che gli studenti imparano a scuola. Si doveva pertanto adottare un nuovo approccio. I valutatori inoltre avevano a che fare con l’incompatibilità delle strutture scolastiche dei vari paesi nei quali la lunghezza della scuola obbligatoria variava per cui non si potevano comparare tra loro le prestazioni degli studenti alla fine di una determinata classe. Per risolvere questi due problemi di comparabilità, i valutatori escogitarono due soluzioni ingegnose con strumenti in grado di " misurare come i quindicenni erano preparati ad affrontare le sfide della società odierna della conoscenza ». La risposta era molto soddisfacente per i responsabili politici mentre era meno convincente per tutti coloro che operano nella scuola.

 

 

L’identificazione della popolazione coinvolta nell’indagine era la parte più facile da risolvere ; l’aspetto più complesso invece fu quello di immaginare le competenze che si supponeva gli studenti avessero dovuto acquisire all’età di 15 anni [4]. Siccome non si poteva valutare la padronanza di queste competenze con i punteggi conseguiti nei test tradizionali di conoscenze che misurano invece il livello di padronanza acquisito riguardo ai programmi scolastici insegnanti o valutati , si optò per misurare la padronanza delle competenze dei quindicenni ossia del gruppo di età prossimo alla fine della scuola dell’obbligo, ritenute necessarie per affrontare le sfide della società della conoscenza ( ossia quelle richieste nelle società che costituiscono il nucleo dei paesi membri dell’OCSE).

 

L’ostacolo della comparabilità

 

Ci sono due problemi ovvii nella prova di PISA che ambisce di misurare le competenze degli studenti di diversi sistemi scolastici. La prima, per mantenere la comparabilità tra sistemi scolastici con curricoli incompatibili tra loro, obbliga i valutatori a scegliere di misurare le competenze che non si trovano necessariamente nei curricoli dei sistemi scolastici  [5]. Le misure comparate richiedono un comune denominatore ; quando un simile elemento comune non esiste spulciando I programmi scolastici insegnanti nei vari sistemi scolastici - quando cioè non esistono materie che tutti insegnano -allora si devono misurare competenze che nessuno insegna. Questo significa livellare il terreno da gioco con un bulldozer. Per PISA, la comparabilità premia su tutto.

 

Beninteso, I promotori dell’indagine sostengono che PISA misura qualche cosa di più importante di quanto le scuole insegnano, ossia di ciò che le scuole dovrebbero insegnare se facessero bene il loro lavoro. Ogni sistema scolastico, si dice, conta se fornisce agli studenti le competenze richieste per lavorare nell’ economia della conoscenza ossia nel nuovo ordine mondiale. Con la valutazione di come gli studenti padroneggiano queste competenze, PISA dimostra quanto le scuole siano efficaci come produttori di capitale umano [6]. Però, anche se siamo d’accordo di accettare le posizioni di PISA, ossia se si accetta che le scuole dovrebbero essere tenute responsabili di quanto gli studenti effettivamente apprendono ma che le scuole necessariamente non insegnano loro -un "se" davvero grande -rimane sempre un secondo problema : le competenze che Pisa valuta sono di incerta provenienza. Come lo si dichiara nella relazione finale dell’indagine 2000, queste valutazioni « sono formate tenendo presente i programmi scolastici ma non sono dedotte dal comune denominatore di questi programmi nazionali." L’indagine PISA valuta le capacità dei giovani a utilizzare la loro conoscenze e le loro competenze per rilevare le sfide della vita quotidiana ma non valutano la conoscenza di uno specifico programma scolastico [7] da parte degli stessi giovani".

 

Competenze scelte in modo arbitrario ?

 

I valutatori ritengono che le competenze tenute in considerazione nella costruzione del test sono essenziali per occupare un posto di lavoro nelle società moderne però forniscono argomenti limitati per giustificare le loro scelte ossia per concludere che con il test si propone di misurare qualcosa che l’economia richiede, qualcosa che è ripetutamente ribadito nelle dichiarazioni dei politici e dei responsabili dell’indagine ossia che si valutano le competenze richieste per riuscire nel mondo reale, per inserirsi nella vita quotidiana contemporanea ossia che si misura qualcosa di importante per il futuro. Purtroppo non esiste nessuna ricerca scientifica che convalidi questa asserzione ossia che la conoscenza di qualcosa è sempre benefica e che più si conosce migliori si è  [8] . Secondo un autore citato da David Labaree, non esiste nessuna prova nella quale si dimostri che gli items del test di Pisa coprono tutte le conoscenze prevista dai programmi scolastici tradizionali. Gli items di Pisa si basano su ragionamenti pratici dei valutatori e sui risultati dei pre-test che mirano a verificare ciò che funziona nella maggior parte dei contesti e non su ricerche sistematiche sulle conoscenze future o contemporanee. ( Articolo di Stafen Hopmann(2008) : No child, no school, no state left behind : Schooling in the age of accountability. Journal of Curriculum Studies, 40, 4, 417–456.). Non si sa dunque se per caso i programmi scolastici tradizionali permettano o meno di sviluppare le stesse competenze [9] valutate degli strumenti dell’indagine PISA. 

 

 

 

In altre parole, l’OCSE dice : "noi affermiamo che queste sono le competenze di cui la gente ha bisogno », il che significa che le scuole devono essere ritenute responsabili di come gli studenti apprendono queste competenze. Siccome non si possono comparare sistemi scolastici per quello che insegnano, si inventa un insieme di competenze che non si insegnano esplicitamente in nessun sistema scolastico e si usa la padronanza di queste competenze come una misura dell’efficacia delle scuole.

[1] ndr. : NCLB è un acronimo che sta per "No Child Left Behind"

[2] In questa presentazione si effettua un taglio radicale dell’articolo originale e si riprende solo la parte che riguarda l’indagine internazionale PISA mentre si tralascia la parte NCLB che è prettamente USA. L’articolo termina con un confronto tra PISA e l’indagine NCLB che qui non si riprende

[3] ndr. : Dopo aver tentato inutilmente di cooperare con l’IEA, l’OCSE ha deciso nel 1997 di lanciarsi da sola nell’impresa di proporre ai paesi membri un’indagine internazionale sulla qualità dei loro sistemi scolastici imperniata sui risultati scolastici conseguiti dai quindicenni, ossia dagli studenti che grosso modo erano giunti alla fine della scolarità obbligatoria in quasi tutti sistemi scolastici

[4] ndr.:Al momento di terminare la scuola dell’obbligo e di indirizzarsi verso una professione.

[5] ndr. : Questo passo non fu mai compiuto dall’IEA

[6] ndr. : Come istituzione incaricata di preparare la manodopera richiesta dal mercato

[7] ndr. : Ossia del sapere scolastico

[8] ndr. : Più si sa, migliori sono le prospettive professionali e sociali

[9] ndr. : La literacy, come si dice nel gergo di PISA