Presentazione del documento pubblicato dal Centro Nazionale USA sulle politiche dell’istruzione (NCEP) redatto dA MARTIN CARNOY noto anche in Italia, professore a Stanford, sulle ambiguità delle classifiche internazionali dei sistemi scolastici prodotte sia dall’OCSE che dall’IEA. Nel documento si contesta soprattutto la validità delle classifiche prodotte dall’indagine PISA svolta sotto l’egida dell’OCSE.

Version imprimable de cet article Version imprimable

Le classifiche internazionali

Non è la prima volta che capita tra le mani un documento critico sulle valutazioni internazionali ma vale la pena citare questo documento che fornisce un’analisi esauriente dei limiti delle indagini internazionali, dell’uso che se ne fa e che offre un confronto tra l’indagine PISA dell’OCSE e l’indagine TIMSS dell’IEA. Le due indagini sono diverse soprattutto nell’impostazione ma nel 2016 sia l’OCSE che l’IEA pubblicheranno quasi contemporaneamente i risultati di un’indagine che si svolgerà nel 2015 e si potranno allora comparare i risultati delle due indagini anche se le campionature delle popolazioni scolastiche non sono simili e se l’indagine TIMSS verte esclusivamente sulle conoscenze matematiche mentre nell’indagine PISA 2015 la matematica sarà un tema minore di indagine e il tema maggiore sarà la cultura scientifica. Questa sfumatura non è affatto anodina come del resto si spiega nel documento qui presentato. Ci sono pochi lavori che confrontano queste indagini impostate secondo obiettivi diversi. Inoltre pochi ne conoscono i risultati. Il documento attira soprattutto l’attenzione sull’uso che se ne fa negli USA e contiene raccomandazioni interessanti per quel che riguarda la gestione da parte dell’OCSE dell’indagine PISA. Sarà interessante vedere se nel corso dei prossimi anni gli USA obbligheranno l’OCSE a modificare sia le modalità di gestione dell’indagine PISA divenuta celebre nel corso del primo decennio del XXI secolo sia la composizione degli strumenti messi a punto per questa valutazione ciclica ( il ritmo dell’indagine PISA è triennale) degli apprendimenti dei quindicenni. La letture di questo documento permette di rendersi conto che le valutazioni su larga scala sono ancora embrionali e che molti passi sono necessari per perfezionarne la comparabilità e le credibilità.

 Documento prodotto dal Centro Nazionale USA per le politiche scolastiche domiciliato presso l’Università del Colorado a Boulder. Il testo integrale in inglese è allegato.

Il documento è stato redatto da Martin Carnoy professore all’università di Stanford . Carnoy è stato pure un membro del gruppo di periti internazionali che ha esaminato per conto dell’OCSE la proposta di riforma della scuola italiana elaborata dal ministro Luigi Berlinguer nel lontano 1997. 

Il documento originale è molto interessante ed è di gran lunga più esplicito del comunicato stampa che qui si riproduce parzialmente in libera traduzione italiana. 

Il documento è imperniato soprattutto sul caso USA dove da sempre si insiste sui mediocri risultati degli studenti USA nei test internazionali, ma i risultati del campione di studenti USA sono sempre stati mediocri da quando si sono iniziate le valutazioni su larga scala nel corso degli anni Sessanta del XX secolo. La pertinenza delle classifiche pubblicate dall’OCSE oppure dall’IEA è sempre stata contestata . In particolare la validità delle classifiche è messa in dubbio nel caso di sistemi scolastici federalisti come per esempio quello degli USA o quello elvetico o quello tedesco. In questi casi l’OCSE o l’IEA calcolano una media dei punteggi degli studenti ( si tratta sempre di una campionatura) che partecipano all’indagine e che provengono in numero assai esiguo dai diversi sistemi scolastici federali, negli USA per esempio dai diversi Stati. Orbene, proprio negli USA, gli studenti del Massachusetts o del Connecticut battono di gran lunga gli studenti finlandesi nell’indagine PISA di matematica ma le classifiche internazionali collocano il risultato medio degli USA in basso, perché si fa una media dei punteggi degli studenti che provengono da diversi stati. In ballo sono dunque la composizione di queste classifiche l’uso politico che se ne fa. L’OCSE e diversi politici USA si servono delle classifiche per imporre una politica scolastica determinata, con la speranza di conseguire alla lunga risultati scolastici migliori.

Martin Carnoy e collaboratori raccolgono e riassumono in questo documento le critiche rivolte all’OCSE e all’IEA riguardo alla pertinenza e all’utilità delle classifiche, che non vanno proprio prese per oro colato. Si veda per esempio in questo sito la recensione del volume di Meyer e Benavot : Pisa, Power and Policy cliccando qui.

La lettura del documento è molto istruttiva e utile. Le classifiche servono ma dipende dall’uso che se ne fa. Per anni i delegati di alcuni paesi e di alcuni sistemi scolastici hanno criticato nel contesto di PISA la pertinenza delle classifiche senza nessun successo. Uno dei paesi più critici fu la Francia che ha tra l’altro un sistema scolastico centralizzato. I delegati italiani nelle istanze di PISA , almeno da quanto se ne sa, non hanno mai protestato contro la costruzione delle classifiche da parte dell’OCSE.

Il documento ( ripresa parziale del comunicato stampa) 

Citazione bibliografica:Carnoy, M. (2015). International Test Score Comparisons and Educational Policy : A Review of the Critiques . Boulder, CO : National Education Policy Center. Retrieved [date] from http://nepc.colorado.edu/publicatio....

Sintesi delle osservazioni critiche

  • Critica numero uno:se la classifica per paesi ha come scopo di trarre indicazioni sulla qualità dei sistemi scolastici nazionali , la classifica è ingannevole perché la campionatura degli studenti in diversi paesi non tiene conto delle risorse scolastiche domestiche degli studenti . Questo concetto — risorse scolastiche domestiche ( in inglese " Family academic resources", acronimo FAR, che include per esempio il numero dei libri che si trovano a casa) conta molto nelle critiche. Non si tratta solo di risorse materiali ma anche di risorse immateriali come per esempio il tempo dedicato ai figli, le discussioni che si fanno con loro, la vita culturale familiare . 
  • Critica numero due : Se si correggono i punteggi degli studenti nei test in base alle FAR come è stato fatto per esempio nell’indagine TIMSS 1999-2011  [1] si constata che nel test dell’IEA gli studenti guadagnano molti punti se si correggono tenendo conto delle FAR mentre invece i guadagni sono più piccoli o nulli se si adatta conto stesso criterio per i punteggi nel test PISA 2012. Questa constatazione solleva dubbi sulla pertinenza dei due test o di uno dei due per quel che riguarda la misura delle conoscenze degli studenti.
  • Critica numero tre : Il margine di errore nel computo dei punteggi conseguiti nei test è molto più alto di quanto riconosciuto dagli enti che somministrano i test. Pertanto le classifiche internazionali sono molto più elastiche di quanto appaiono.
  • Critica numero quattro : la critica riguarda Shanghai che l’OCSE ha presentato come il modello del successo scolastico . Orbene il campione degli studenti di Shanghai nel test PISA non è affatto rappresentativo degli studenti quindicenni di Shanghai e ancor meno dell’insieme dei quindicenni cinesi. I punteggi di Shanghai utilizzati dall’indagine PISA non avrebbero mai e poi mai essere inclusi in un qualsiasi studio comparato.L’esclusione di Shanghai dalla costruzione della classifica avrebbe modificato la classifica stessa.

Nel documento si sintetizzano anche varie critiche riguardanti il significato sociale e i’importanza per le politiche scolastiche delle comparazioni internazionali mediante i test. Queste indagini indicano come gli studenti rispondono a test particolari , costruiti in un certo modo ma ci si può’ chiedere se questi punteggi potrebbero avere un significato diverso. A questo riguardo si formulano quattro tipi di commenti critici :

 

  • Primo gruppo di commenti : la media dei punteggi conseguiti nel test di matematica non ha un valore predittivo elevato della crescita economica come sostengono invece taluni esperti. Il caso USA oppure quello del Giappone sono due esempi contrari. Nel documento la discussione di questo punto è molto interessante.
  • Secondo gruppo di commenti : le informazioni raccolte nelle indagini internazionali ( sia con i test che con i questionari di accompagnamento) non servono molto per trarre lezioni per le politiche scolastiche. Questo perché il tipo di indagini come TIMSS oppure PISA non sono adeguati per stimare l’incidenza delle cause degli input scolastici sui progressi negli apprendimenti. Inoltre l`indagine PISA a differenza di TIMSS non permette di associare le caratteristiche degli insegnanti o le peculiarità della didattica applicata in classe nelle lezioni con gli apprendimenti e nemmeno di collegare ogni singolo studente con il profilo di uno specifico insegnante. Nonostante questi limiti l’OCSE continua a impartire lezioni politiche anche se nessuna si basa su analisi appropriate delle inferenze causali e molte invece si basano su dati discutibili, su correlazioni talora aneddotiche proposte dagli enti che sviluppano e somministrano i test. 
  • Terzo gruppo di commenti : esiste un conflitto di interesse palese nell’indagine PISA dell’OCSE perché gli enti che sviluppano i test , che svolgono le analisi e interpretano i risultati in chiave politica sono spesso gli stessi.
  •  Quarto gruppo di commenti : il confronto a livello nazionale di punteggi conseguiti da studenti che frequentano le scuole di sistemi scolastici diversi tra loro e che sono spesso molto complessi , come per esempio è il caso degli apparati scolastici federalisti, suscita molte perplessità. Per esempio negli USA i punteggi nei test delle indagini internazionali varia moltissimo da uno stato all’altro. Nel documento si sostiene che sarebbe molto più interessante e utile servirsi dei risultati conseguiti dagli studenti nella somministrazione dei test locali per capire gli effetti delle politiche scolastiche che non esaminare le politiche scolastiche di altri paesi, ma occorrerebbe a questo punto dimostrare che le fluttuazioni dei risultati nei test sono imputabili alle politiche scolastiche e non a altri tipi di politiche o a altri fattori.

Raccomandazioni finali

  • Le indagini internazionali PISA e TIMSS dovrebbero rendere pubblici i risultati nei test classificandoli in funzione delle FAR. Questa modalità esige la costituzione di sottogruppi di studenti con differenti livelli di risorse come per esempio il numero di libri in casa oppure il livello d’istruzione della madre. Anche l’evoluzione nel tempo dei punteggi dovrebbe essere riferita in funzione dei sottogruppi FAR. I confronti tra paesi dovrebbero essere fatti per sottogruppi FAR perché è ampiamente comprovato che le FAR hanno un’incidenza determinante sui comportamenti scolastici, sulla riuscita negli studi, sulla motivazione a studiare e sui punteggi conseguiti nei test.
  • L’OCSE e l’EA dovrebbero pubblicare i micro-dati a livello singolo di ogni studente contemporaneamente alla presentazione ufficiale dei risultati e dei punteggi conseguiti nelle indagini PISA e TIMSS. Una opzione di questo genere permetterebbe la produzione da parte dei ricercatori di analisi indipendenti poche settimane dopo la pubblicazione dei risultati da parte dell’OCSE e dell’IEA.
  •  L’OCSE dovrebbe inoltre disgiungere la costruzione degli strumenti ( i test e i questionari) dall’analisi dei dati e dalla produzione delle raccomandazioni politiche derivanti dai test e dai questionari. L’OCSE dovrebbe includere esperti indipendenti nei comitati e nei gruppi con competenze decisionali che gestiscono l’indagine PISA .
  • Negli USA i responsabili politici non dovrebbero essere obnubilati dai risultati dei paesi nei quali gli studenti conseguono risultati migliori degli studenti USA ma dovrebbero invece chiedersi come mai in certi stati i progressi degli studenti sono più elevati che non in altri stati dell’Unione. 

 

 

 

 

 

[1] Indagine svolta dall’IEA . L’acronimo sta per "Trends in International Mathematica and Science Study". L’indagine è diversa da quella di PISA non foss’altro che per il gruppo di età degli studenti campionati. Per semplificare, in PISA i quindicenni,indipendentemente dalla classe che frequentano ; in TIMSS gli studenti della terza media, indipendentemente dall’età

Les documents de l'article

pb_carnoy_international_test_scores_0.pdf