Indagine nella quale si comparano gli standard minimi d’apprendimento in lettura e matematica dei vari Stati americani

Version imprimable de cet article Version imprimable

Falsificare i risultati: tutti bravi pur di salvare la faccia

L’indagine rivela che esiste una varianza elevata tra gli standard dei vari Stati e denuncia la pratica dell’abbassamento della soglia minima del punteggio necessario per considerare riuscito il test.

L’uso della valutazione

La valutazione è una componente inevitabile e forse indispensabile dell’"accountability" , ossia della responsabilità che hanno le scuole autonome di rendere conto dei risultati conseguiti con gli studenti o i bambini che accolgono e ospitano per ore e ore ogni settimana.

La valutazione inoltre è un’operazione che si usa per pilotare l’evoluzione dei sistemi scolastici e "dulcis in fundo" è considerata un’iniziativa per migliorare la qualità delle scuole.

 

E’ però anche un metodo di controllo degli insegnanti, una tecnica di potere, un’operazione che si presta a mistificazioni e abusi. Alcuni sistemi scolastici se ne servono a piene mani, come per esempio i sistemi scolastici degli Stati americani oppure il sistema scolastico inglese.

 Una valutazione ben fatta è efficace

La comunità scientifica di ricerca ha attirato più volte l’attenzione sui rischi di deviazione connessi alla valutazione e sulla necessità di rispettare determinati criteri di qualità per evitare risultati "taroccati", interpretazioni sballate, inganni.

Si può valutare bene e lo si deve fare. Quando una valutazione è fatta con cognizione di causa gli effetti si vedono, le scuole migliorano, gli studenti imparano meglio e di più. Non è però ovvio valutare bene: occorre molta competenza scientifica, grande capacità organizzativa, onestà etica, rigore, capacità ad opporsi ai centri di potere ed a resistere alle pressioni politiche.

 Gli standard secondo il segretario di stato per l’educazione Arn Duncan

 

Negli Stati Uniti tutti concordano sul fatto che gli standard del livello di competenza ritenuto accettabile o tollerabile in molti Stati americani sono a un livello troppo basso e sono inferiori agli standard del NAEP il "National Assessment of Educational Progress", la celebre indagine federale sulle prestazioni scolastiche. Questo è quanto risulta in un documento pubblicato dal NCES [1]. Il segretario di stato per l’educazione Arn Duncan ha così commentato la notizia:

 

"Lo studio odierno conferma quanto sapevamo da tempo: gli Stati stabiliscono la soglia minima di riuscita a scuola a un livello troppo basso. Pochi Stati hanno adottato gli standard del NAEP come criteri nei loro test. Fissando a un livello basso gli standard per riuscire a superare una prova strutturata, gli Stati mentono perché dicono ai loro studenti che sono bravi o sufficienti anche quando invece conseguono punteggi inferiori alla soglia minima di base del NAEP. In un’epoca nella quale noi dovremmo elevare gli standard per diventare un’economia competitiva sul piano mondiale, molti Stati fanno il contrario e abbassano gli standard ritenuti necessari per per considerare riuscito un test. In questo modo inganniamo i nostri figli quando diciamo loro che sono bravi mentre invece non conseguono neppure il livello necessario per riuscire nella vita o all’università dopo avere conseguito il diploma.

"Sono grato ai responsabili scolastici dei 48 Stati che stanno lavorando collegialmente per fissare standard comuni che determineranno se gli studenti sono pronti a proseguire gli studi all’università o a intraprendere una carriera professionale. Il loro lavoro permetterà di formulare standard che tutti gli Stati saranno in misura di utilizzare per misurare il successo dei loro studenti."

"L’elaborazione di standard minimi per accedere all’università o per riuscire la transizione alla vita attiva non è sufficiente per riuscire una riforma scolastica. Abbiamo bisogno d’ altro: per esempio , di prove strutturate che misurino in modo corretto e accurato le prestazioni degli studenti in questi standard. Oppure di insieme di dati che aiutino gli insegnanti a capire se i loro studenti sono sulla via del successo o meno. Ci occorrono insegnanti competenti in ogni classe, specialmente in quelle che accolgono gli studenti più bisognosi. Inoltre, dobbiamo mettere a punto strategie che permettono di chiudere le scuole più fallimentari."

 Un meccanismo perverso

A questo punto è utile ricordare che il comportamento degli Stati non è affatto anomalo. Questa reazione è il risultato di un meccanismo politico perverso innestato dalla politica federale americana nel campo dell’istruzione. Il congegno è il frutto della combinazione di due ingranaggi:

 

  1. il primo riguarda i sussidi che lo Stato federale versa agli Stati per migliorare l’istruzione;
  2. il secondo le condizioni poste per ricevere questi sussidi.

 

Allettati dalla prospettiva di attingere alla manna federale, molti Stati fanno di tutto per rispettare le condizioni federali dopo averle aspramente negoziate. Infatti gli Stati hanno rifiutato, in nome della loro autonomia, l’ingerenza dello Stato federale nella valutazione delle loro scuole. Sono i singoli Stati (in Italia, sarebbero le regioni) che organizzano la valutazione dei risultati scolastici e che somministrano prove strutturate. Lo Stato federale non è mai stato autorizzato a imporre un criterio unico nazionale di valutazione (uno standard comune o un livello essenziale di prestazioni, si direbbe in Italia) e solo da una decina di anni allo Stato federale è stata concessa la facoltà di pubblicare i risultati per ogni Stato nella valutazione nazionale NAEP che non può essere che una valutazione campionaria [2].

La legge "No Child Left Behind" del 2001; un tentativo per allineare i criteri degli Stati

L’amministrazione federale non è neppure riuscita a fissare un punteggio minimo da conseguire per versare i sussidi agli Stati, perché ogni Stato somministra i suoi propri test e stabilisci quali sono i livelli di successo. Per esempio, quelli della Luisiana non sono quelli della California. Impossibile accordarli. La sola concessione fatta allo Stato federale è stata quella di definire per ogni Stato l’obiettivo da conseguire nel test dello Stato entro il 2014 per essere in linea con la media nazionale. Se uno Stato rispetta la progressione annua necessaria per conseguire l’obiettivo entro il 2014, lo Stato riceve la manna federale, altrimenti no. Questo meccanismo induce però gli Stati ad abbassare la soglia minima della media dei punteggi per considerare riuscito un test e in questo modo la frittata è fatta: da un lato, lo Stato fa bella figura e ottiene i sussidi federali perché la media dei punteggi degli studenti dello Stato nel test statale è superiore alla soglia minima da raggiungere per rispettare la progressione annua , dall’altro però la qualità delle scuole si abbassa, perché si inegna e si apprende solo lo stretto minimo necessario, ossia quanto è necessario conoscere per passare il test dello Stato.

Il messaggio che gli Stati inviano al loro corpo insegnante è quello di fare tutto il possibile affinché la metà degli studenti conseguino un punteggio superiore alla soglia di promozione. Gli insegnanti cosa fanno allora? Svolgono un programma scolastico in funzione dei test e insegnano ai loro studenti come si può ottenere un punteggio medio passabile senza sapere rispondere alle domande a scelta multipla inserite nelle prove strutturate (per esempio, rispondere a tutte le domande anche se non si conosce la risposta).

 Il primo passo: comparare tra loro gli standard dei vari Stati per la lettura e la matematica

 

I divari tra gli standard dei 50 Stati della Confederazione americana sono fortissimi. In questo studio del National Center for Education Statistics  di Washington che è il servizio federale americano di statistica dell’educazione, si comparano gli standard degli Stati con un metro unico, quello del NAEP e si denuncia la pratica dell’abbassamento da parte di molti Stati della soglia minima di punteggi nei test ritenuta necessaria per considerare riuscito un test.

Comparabilità degli standard in un sistema scolastico federalistico

 

In questi ultimi anni, a decorrere dal 2003, il Centro nazionale americano per le statistiche dell'educazione a Washington (NCES) ha subappaltato lo sviluppo di un metodo che permetta di comparare su una scala comune e di visualizzare gli standard minimi di risultati scolastici da conseguire in lettura e matematica fissati nei vari Stati della Confederazione Il confronto è stato fatto con la scala di valutazione utilizzata nella valutazione nazionale dei progressi scolastici (NAEP, acronimo per “National Assessment of Educational Progress”). Quando gli standard degli Stati sono ricalcolati e tradotti con i criteri del NAEP per essere inseriti in una scala comune, per l' appunto quella delle scale dei livelli di comprensione della lettura e di competenza matematica del NAEP, le soglie dei punteggi minimi ritenute accettabili imposti negli Stati possono essere tra loro comparate e si possono allora evidenziare come siano diverse le aspettative di quanto gli Stati si aspettano che i loro studenti apprendano.

 

Mappatura rigorosa degli standard

 

La procedura di mappatura è un metodo per valutare in modo approssimativo il rigore relativo del ruolino di marcia che ogni Stato deve darsi per migliorare anno dopo anno le competenze in lettura e matematica, secondo quanto previsto dalla legge NCLB del 2001 la quale impone agli Stati di annunciare quale deve essere il progresso annuo adeguato (AYP, acronimo per “Adequate Yearly Progress”) per far sì che la media dei punteggi degli studenti dello Stato  sia nel 2014 pari alla media nazionale dei punteggi. Poiché gli standard del NAEP sono notoraimente più elevati di quelli degli Stati, il confronto con gli standard federali permette di mettere in evidenza quali sono gli Stati lassisti e quali invece quelli severi con i loro studenti, gli insegnanti e le scuole. Il termine “rigore” in questo studio non implica un giudizio della severità degli standard statali ma è usato per indicare il livello di precisione auspicabile da conseguire usando una metrica comune  per calcolare la varianza tra gli standard fissati dagli Stati . Più il rigore è elevato, migliore è la comparazione dei risultati e degli standard tra Stati. ancora una volta abbiamo qui la dimostrazione della validità del metodo comparato empirico e non narrativo o descrittivo. In questo caso la comparazione non è internazionale ma è nazionale.

 

Questo rapporto presenta la mappatura dei risultati utilizzando come criterio di comparazione i punteggi delle valutazioni delle competenze in matematica e nella comprensione dei testi da leggere conseguiti nelle prove strutturate della quarta elementare e della terza media nell'ambito del NAEP 2005 e 2007.

 

Domande iniziali di ricerca

 

Le domande di ricerche poste all’inizio di questa analisi furono le seguenti:

 

-in che modo gli standard minimi stabiliti dagli Stati per le valutazione nel 2007 come soglia minima di competenza sono tra loro comparabili quando sono allineati con le scale del NAEP?

 

-quali equivalenze esistono tra la scala degli standard degli Stati riformulati secondo i criteri del NAEP 2007 e quelli riformulati in modo analogo usati nelle valutazioni effettuate negli Stati nel 2005?

 

-utilizzando come criterio di comparazione l'equivalenza delle scale degli standard applicati negli Stati fissata usando i criteri del NAEP 2005, i punteggi del NAEP e quelli dei differenti Stati concordano tra loro per quel che riguarda l’importanza dei cambiamenti tra il 2005 e il 2007 per quanto riguarda la proporzione di studenti che ottengono un punteggio pari alla soglia minima ritenuta accettabile?

 

Comparazioni ardue: i criteri di giudizio degli Stati variano da un ciclo di valutazione all’altro

 

La procedura di mappatura è stata applicata ai punteggi dei test di 48 Stati. I risultati di quest'indagine sono molto istruttivi in quanto dimostrano soprattutto come sia estremamente complicato comparare i punteggi di una valutazione nazionale centralizzata con i punteggi dei vari Stati in un sistema scolastico federalistico.

 

Inoltre, l'indagine dimostra in modo eloquente che non ci si può avvalere della valutazione per obbligare gli Stati in un sistema federalistico a ritoccare e migliorare il proprio sistema scolastico, e per imporre il conseguimento di risultati scolastici in consonanza con una norma stabilita centralmente. L'indagine ha permesso di scoprire che in molti casi le valutazioni svolte negli Stati nel 2005 e nel 2007 non erano tra loro comparabili mentre invece lo erano  i punteggi della valutazione nazionale perché le prove strutturate del NAEP sono stabili e gli items dei test non erano stati modificati tra un ciclo di valutazione e l’altro, ossia tra il 2005 e il 2007. Questa constatazione induce a ritenere che una valutazione centralizzata con items costruiti in funzione di livelli essenziali di prestazione unici sia migliore che non un sistema di valutazione decentralizzato. Nondimeno, questa conclusione va presa con molta cautela perché non si conoscono ancora con sufficiente precisione quali siano le deformazioni possibili che possono insorgere quando si adotta questo approccio.

 

 

[1] Mapping State Proficiency Standards onto NAEP Scales: 2005-2007, allegato

[2] Stato per Stato

Les documents de l'article

pdf_USA_NCESProficiencystan.pdf