Articolo nel quale si discutono le conseguenze dell’uso dei test a fini politici.

Version imprimable de cet article Version imprimable

I test strumenti della valutazione

Nel corso di questi ultimi decenni è successo un cambiamento importante nell’uso delle prove strutturate ossia dei test nelle scuole: da strumenti per la misura del livello di apprendimento si è passati ad un uso politico dei test. Il ricorso ai test per pilotare le politiche scolastiche ha modificato profondamente lo scopo dei test. Si impone pertanto una discussione sulle conseguenze di questa evoluzione e sui criteri di validità delle prove strutturate. Le conseguenze e le inferenze che derivano dai risultati delle prove strutturate vanno prese in considerazione e se del caso sarà necessario impostare test diversi. In ogni modo non si devono utilizzare test non validi anche quando le finalità sono politiche, anzi soprattutto quando queste finalità sono di natura politica e implicano conseguenze gravi o importanti per gli attori che operano nel servizio d’istruzione.

 Articolo in inglese di Kevin G; Welner che è anche il direttore del Centro nazionale USA sulle politiche scolastiche  [1] situato a Boulder nell’Università del Colorado [2]. L’articolo è stato pubblicato nella rivista USA Teachers College Record , nel numero 9 del 2013, pgg.: 1-6. Titolo dell’articolo in inglese:"Consequential Validity and the Transformation of Tests from Measurement Tools to Policy Tools".

Si riprendono qui alcuni passaggi dell’articolo liberamente tradotti in italiano.

Nel mondo della valutazione l’interesse è slittato dalla misura degli apprendimenti a quella della determinazione di obiettivi politici nuovi. Negli Stati Uniti il dibattito verte soprattutto sull’uso degli strumenti della valutazione per la valutazione degli insegnanti. Anche l’uso dei risultati dell’indagine internazionale PISA ha modificato la natura dell’indagine stessa. L’autore dell’articolo afferma che l’uso crea il senso, modifica gli scopi degli strumenti e il significato della valutazione. L’uso dei test nelle politiche scolastiche e soprattutto il ricorso ai test nelle politiche scolastiche che mirano a generalizzare l’ accountability ossia la rendicontazione ha modificato profondamente l’importanza delle valutazioni e la natura dei test utilizzati. Si deve pertanto prestare un’attenzione maggiore alle conseguenze dei test quando I testi sono utilizzati per pilotare le politiche almeno fino a quando i risultati conseguiti non siano stati convalidati dal punto di vista della loro pertinenza per perseguire gli obiettivi che si auspicano.

L’uso dei test

 

I test non sono una bestia nera. Possono servire moltissimo per migliorare l’insegnamento e per aiutare gli insegnanti, i dirigenti scolastici, i responsabili politici che si occupano di scuola, a pilotare il servizio scolastico. Quindi la questione dell’uso è capitale. La costruzione, la convalida dei test per questi scopi che gli specialisti chiamano scopi sommativi è già di per sé alquanto problematica e difficile. Nell’articolo, l’autore sostiene che quando i test sono utilizzati per il loro scopo primario ossia per misurare l’apprendimento dei singoli studenti, da un punto di vista politico sono ineccepibili.

 

 

Purtroppo, l’espansione considerevole dell’uso dei test nel corso degli ultimi decenni non è stata determinata dal desiderio di migliorare le misure né dalla volontà di capire meglio l’apprendimento degli studenti. È successo invece un’altra cosa: i test sono stati sempre più utilizzati per scopi politici e per cambiare i comportamenti degli insegnanti, dei presidi o dei dirigenti come si dice in Italia, degli studenti e magari anche delle famiglie che hanno figli a scuola. Un esempio lampante lo si ha nella legislazione « No Child left Behind  [3] » entrata in vigore negli Stati Uniti nel 2001 con lo scopo di servirsi delle misure sugli apprendimenti degli studenti per guidare le decisioni politiche riguardanti la scuola [4]

 

 

I test non sono neutri come ben si sa. Sono sempre stati utilizzati come strumenti politici ma lo slittamento recente dell’uso di test dell’ambito politico ha creato una nuova situazione. Ciò che un tempo non era altro che uno strumento di misura è diventato ormai una leva politica. L’autore ritiene che uno dei casi più problematici riguarda soprattutto l’uso dei test quando la posta in gioco è molto elevata, per esempio quando ci si serve delle misure dell’apprendimento degli studenti per valutare gli insegnanti.

 

 

La legislazione NCLB

 

Le politiche che rivendicano l’uso dei test per gli studenti e delle misure del loro livello di apprendimento per valutare gli insegnanti hanno incontrato un grande successo in questi ultimi anni perché i tentativi per valutare la qualità degli insegnanti sono stati fin qui poco efficaci per cui molti hanno pensato che un’accurata misura del livello di conoscenza degli studenti avrebbe permesso di valutare meglio l’incidenza della bravura o della debolezza dei loro insegnanti sull’evoluzione di questo livello di conoscenza. Questo fenomeno è relativamente recente. La svolta si é verificata con la legge NCLB negli USA all’inizio del XXI secolo e soprattutto con l’obbligo di calcolare il progresso annuo di ogni scuola e quindi degli studenti di un determinato anno per imporre alla scuola un ruolino di marcia [5]. Il conseguimento o meno di obiettivi fissati aprioristicamente era connesso a tutta una serie di conseguenze pesanti per le scuole,per gli insegnanti e per i distretti scolastici. Da questo punto di vista si può senz’altro dire che la legislazione NCLB è stata una grande novità che ha cambiato profondamente lo scopo dei test e il loro uso.

 

Scopi ambigui 

 

Si sa ormai che quando le misure quantitative come i punteggi nei test sono utilizzate per prendere decisioni gravi, queste misure sono soggette a pressioni per essere modificate, La tentazione di corrompere le misure è elevatissima e spesso le misure vengono distorte [6]. Campbell ha messo a punto una legge, la legge di Campbell, che spiega come questo fenomeno nasce e si sviluppa. La distorsione dei risultati è una conseguenza di questa situazione e la corruzione e la distorsione dell’insegnamento e quindi dei curricoli sono un’altra conseguenza. I curricoli reali vengono adattati in funzione dell’uso che si farà dei test. Lo scopo dei test subisce in questi frangenti un netto indebolimento. Gli effetti osservati nelle classi sono spesso deleteri. Ciò succede in modo evidente quando si usano i punteggi degli studenti per valutare le prestazioni e la qualità degli insegnanti. In questi casi, l’uso delle prove strutturate per valutare gli studenti si trasforma in una valutazione della professione. La preparazione alla somministrazione del test che è ormai di uso corrente nelle scuole USA diventa il perno della professione perché gli insegnanti giustamente temono la ritorsione su di loro dei punteggi conseguiti dai loro studenti nelle prove strutturate e quindi fanno tutto il possibile , quanto è lecito e talora anche quanto è illecito , per innalzare la media dei punteggi dei propri studenti, ossia degli studenti ai quai insegnano e dunque delle classi nelle aule insegnano.

 

 

Inoltre, queste mutazioni della professione sembrano molto arbitrarie poiché risultati e analisi scientifiche dimostrano a iosa che le differenze tra insegnanti contano ben poco, per meno del 20% della varianza nei punteggi degli studenti. Si veda a questo riguardo il celebre lavoro di Hanushek e consoci del 1998 [/span]. Gli insegnanti insegnano e gli studenti apprendono. Le due azioni non sono identiche. Il punto critico principale risiede qui nella validità delle conseguenze che si traggono da queste misure. Il problema è sul tappeto da parecchi anni ma il cambiamento del panorama politico ha totalmente ribaltato la natura delle conseguenze in gioco con la somministrazione dei test. Quando si è cominciato a parlare delle conseguenze dei test e quindi della validità più o meno elevata di un test in funzione delle conseguenze che potevano generare, le conseguenze politiche , intenzionali o non intenzionali, erano ancora secondarie. Questo panorama è pero’ radicalmente cambiato nel XXI secolo ed ora la stessa questione si pone non solo con una acuità maggiore ma anche con una natura diversa.

 

Oggigiorno, che piaccia o meno, dobbiamo prendere in considerazione quello che succede quando i test sono trasformati, quando la loro finalità non è più quella di essere soprattutto e primo di tutto strumenti di misura ma diventano leve politiche. In particolare, cosa succede - tra gli insegnanti, i leader delle politiche scolastiche, i dirigenti- quando i test sono utilizzati come leve politiche per attribuire e ponderare le responsabilità per i punteggi degli studenti in modo rigido e nel contempo ampiamente indifendibile. In ogni modo non siamo preparati a trarre le conseguenze che si impongono dal cambiamento intervenuto riguardo l’uso dei test scolastici che sono stati concepiti per misurare prima di tutto gli apprendimenti degli studenti.

 

Validità dei test

 

Quando le valutazione scolastiche sono usate come politiche più che come misure degli apprendimenti degli studenti, i loro criteri di validità hanno che poco a che vedere con le nozioni classiche di validità dei contenuti e perfino di validità dei costrutti. Si può perfino immaginare: che secondo il punto di vista dei responsabili politici un test con alta posta in gioco possa nondimeno possa porre seri problemi di validità secondo I criteri tradizionali della psicometria ma che nondimeno un simile test sia ben calibrato dal punto di vista di temi complessi come quelli che I responsabili politici della scuola affrontano. I criteri di validità di uno strumento di valutazione devono pertanto essere adattati agli scopi per i quali gli strumenti sono utilizzati. 

 

Se la posta in palio non è più la misura del livello di apprendimento ma quanto si intende realizzare sul piano politico, allora I testi devono essere rivisti e adattati per essere strumenti che forniscono misure di tipo politico. Questo è un obiettivo diverso.

 

 

Conclusione

 

 

La tendenza negli Stati Uniti e sul piano internazionale è ormai chiara: la natura dei test è cambiata. Lo slittamento semiotico è percepibile su diversi fronti . Ma probabilmente le conseguenze si faranno sentire con maggior nei prossimi anni. Ci saranno contestazioni e oscillazioni importanti negli scopi attribuiti alla valutazione mediante le prove strutturate per cui non sarà facile capire cosa succederà in un ampio ventaglio di settori: per esempio, decisioni riguardanti la carriera degli insegnanti, modelli di formazione degli insegnanti, responsabilità legali dei quadri di riferimento teorici per lo sviluppo del servizio scolastico, costituzione delle reti di scuola e collaborazione tra scuole, curriculi realmente trattati nelle classi [7].

 

 

Più o meno un secolo fa, Cronbach e Meehl [/span] hanno collegato la questione della validità a quella delle inferenze. Erano dei pionieri in materia. Le differenze che si notano, sostenevano, dipendono da come i test sono utilizzati. Orbene, gli usi politici contemporanei dei test sono preoccupanti. Quando l’identità di un insegnante predice meno del 20% della varianza dei risultati nelle prove strutturate, ma quando questi risultati sono utilizzati per impostare politiche che danno per scontato un alto valore predittivo delle misure, esiste un problema di inferenza. La validità, come lo scopo, dipende dall’uso. [8].

 

 

Ne consegue che la gravità delle conseguenze connesse alle recenti trasformazioni dell’uso delle prove strutturate non è solo una faccenda semantica o di definizione della validità. La terminologia è molto meno importante che non le implicazioni. Dal punto di vista politico tuttavia le discussioni sull’importanza della validità delle prove strutturate non può essere trascurata perché è una questione di principio: le decisioni importanti vanno prese solo sulla base di indicazioni fornite da strumenti validi. L’accento sulla validità delle conseguenze nelle discussioni è un altro modo per dire che i test non devono essere usati quando le conseguenze del loro uso sono contrarie agli obiettivi riconosciuti e legittimi. Questo significa che i test non devono essere utilizzati per guidare le politiche fin quando le conseguenze di questa procedura non siano state convalidate.

 

 

[1] Il centro è noto con l’acronimo NEPC che significa "National Education Policy Center"

[2] Nota biografica in inglese: 
KEVIN WELNER is a professor of education and director of the National Education Policy Center, housed at the University of Colorado, Boulder School of Education. His work examines the use of research in policymaking, the intersection between education rights litigation and educational opportunity scholarship, and the school change process associated with equity-focused reform efforts. He has authored or edited eight books and 80 articles and book chapters. Welner has received the American Educational Research Association’s Early Career Award in 2006 and has been designated an AERA Fellow. He earned his B.A. in Biological Sciences from UCSB and his J.D. and Ph.D. from UCLA.

[3] Acronimo NCLB

[4] Per esempio chiusura delle scuole, licenziamento dei dirigenti e degli insegnanti, ecc.

[5]  L’indice utilizzato è l’Annual Yearly Progress, noto con l’acronimo AYP

[6] ndr.: In italiano si dice anche "taroccate"

[/span] Hanushek, E. A., Kai, J. F., Rivken, S. J. (1998). Teachers, schools, and academic achievement. NBER working paper 6691. Cambridge, MA.— http://www.cgp.upenn.edu/pdf/Hanushek_NBER.PDF

[7] ndr.: Queste considerazioni sono valide solo se l’organizzazione e il funzionamento delle classi e delle scuole resta analogo a quello che si conosce tuttora

[/span] Cronbach, L. J., Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281-302

[8] ndr. :Da queste pertinenti considerazioni non si deve dedurre che le prove strutturate sono da mandare al macero. Si tratta di strumenti che vanno utilizzati per gli scopi per i quali sono stati concepiti e non per altri scopi. Qui risiede una delle debolezze dell’ indagine internazionale PISA dell’OCSE che è molto usata come leva politica