Recensione del documento prodotto da un gruppo di lavoro del National Research Center USA sulla "accountability" delle scuole in funzione dei test.

Version imprimable de cet article Version imprimable

Test e politica scolastica

Gli inizi del XXI secolo nel settore scolastico sono caratterizzati dalla crescente rilevanza della scolarizzazione e dei diplomi scolastici nella vita sociale e dall’accento posto sulla responsabilità delle scuole rispetto agli obiettivi della scolarizzazione. Le scuole sono messe sotto pressione. Si concede loro una maggiore autonomia ma si esige che rispettino un ruolino di marcia, ossia che conseguano risultati ben precisi in funzione della composizione sociale del corpo studentesco e degli obiettivi nazionali in campo scolastico. Si dice anche che la vita economica , la concorrenza mondiale , esigano livelli di istruzione e di cultura elevati per permettere a una società di imporsi , di fornire ai propri membri condizioni di vita soddisfacenti, di debellare la povertà. Le scuole autonome devono rendere conto di quanto ottengono e devono come minimo essere nella media dei punteggi nazionali. Le valutazioni con prove strutturate servono a fornire recapiti precisi alle scuole. Una parte degli economisti è molto favorevole a questo indirizzo e ritiene che se si migliora il rendimento delle scuole tutta l’economia ne trarrà un beneficio, perché la fetta della torta da distribuire tra i membri della società, ossia la parte di ricchezza nazionale prodotta e distribuita, sarà più grande. Gli specialisti della psicometria invece sono alquanto scettici sul pilotaggio del sistema scolastico mediante un uso generalizzato dei risultati forniti dalle scuole nelle prove strutturate. Il documento analizza questi indirizzi e prende posizione contro la rendicontazione pilotata con i punteggi nelle prove strutturate.

La politica scolastica pilotata da prove strutturate in talune discipline riuscirà a spuntarla e a imporsi come soluzione miracolo per migliorare l’istruzione scolastica , le prove strutturate sono lo strumento ideale per ridurre il numero delle scuole che annaspano e per migliorare la media dei risultati scolastici delle singole scuole e del sistema scolastico in genere? La posta in gioco di questa partita è universale. Come impostare una politica di "accountability" nella scuola? In Italia si è biforcato verso l’auto-valutazione o una specie di auto-valutazione, ossia verso una soluzione ambigua. In parte le prove per la valutazione sono mantenute, in parte sono accantonate. Tutto resta possibile, ma occorre anche dire con fermezza che le prove strutturate non si inventano facilmente, che richiedono una preparazione accurata la quale esige l’intervento di specialisti. 

Il National Research Council USA ha pubblicato nel 2011 un documento molto critico nei confronti della politica scolastica imperniata sull’uso delle prove strutturate per migliorare il rendimento scolastico generalizzata dalla celebre legge USA NCLB [1] citata più volte in questo sito. La legge è stata recentemente rinnovata e prolungata dalle due camere USA dopo un lunghissimo dibattito. Il National Research Council ha proposto di rinunciare a qualsiasi politica scolastica di accountability premiata o forzata in funzione dei punteggi conseguiti dagli studenti nelle prove strutturate. Il parere del National Research Council era frutto di un lavoro decennale ma è stato seguito solo parzialmente dai politici. Il compromesso l’ha spuntata. La legge rinnovata prevede infatti un’attenuazione dei rigori della legge del 2001 che proponeva tutta una serie di incentivi soprattutto finanziari alle scuole ma anche di punizioni per le scuole che non riuscivano a rispettare il ruolino di marcia imposto per giungere entro il 2014 i punteggi della media nazionale USA . Quella politica basata su una "accountability" dichiaratamente pilotata dai punteggi nelle prove strutturate è fallita e da questo punto di vista il National Research Council aveva ragione. Altri analisti affermano pero`il contrario: quella politica con tutte le sue novità ha permesso di migliorare il sistema scolastico USA anche se non ha raggiunto gli obiettivi prefissati.

Insuccesso di una strategia?

La politica scolastica che impone la rendicontazione con il criterio di punteggi imposti conseguiti in test con alta posta in palio non è riuscita nell’intento, Uno dei critici del documento del National Research Council, l’economista Eric Hanushek ben noto in Italia, consigliere dell’OCSE, ritiene anche che i risultati non siano stati affatto catastrofici e che un leggero miglioramentodello stato delle scuole pubbliche USA ci sia stato. Hanushek ha anche stimato in dollari il costo del miglioramento e come suole fare ha anche calcolato una proiezione nel futuro dei benefici arrecati dal miglioramento all’economia USA . Haniushek ha criticato moltissimo il documento del National Research Council (L’articolo è in inglese). La critica di Hanushek è stata pubblicata nell’  Harvard University’s Journal Education Next.   [2] . La presa di posizione di Hanushek denuncia il parere unilaterale del National Research Council ed è stata divulgata in un articolo dell’Huffington Post edizione USA del 23 novembre 2011 , articolo pure in inglese , intitolato "Stanford Economist Rebus Much-Cited Report That Debunks Test-Based Education" e che si può consultare nella versione originale cliccando qui.

Qui di seguito , in in una libera e parziale traduzione in italiano, il documento del Comitato del National Research Council costituito per studiare il problema posto dalle politiche di rendicontazione connesse ai punteggi nelle prove strutturate.

REFERENZA BIBLIOGRAFICA per le citazioni: 

National Research Council. (2011). Incentives and Test-Based Accountability in Education. Committee on Incentives and Test-Based Accountability in Public Education, M. Hout and S.W. Elliott, Editors. Board on Testing and Assessment, Division of Behavioral and Social Sciences and Education. Washington, DC: The National Academies Press.

Cos’è il National Research Council?

Composizione del gruppo sulle politiche di rendicontazione:

 [3]

Michael Hout (Chair), Department of Sociology, University of California, BerkeleyDan Ariely, Fuqua School of Business, Center for Cognitive Neuroscience, and School of Medicine, Duke University

George P. Baker III, Harvard Business School

Henry Braun, Lynch School of Education, Boston College

Anthony S. Bryk, Carnegie Foundation for the Advancement of Teaching (until 2008)

Edward L. Deci, Department of Psychology, University of Rochester

Christopher F. Edley, Jr., School of Law, University of California, Berkeley

Geno Flores, California Department of Education

Carolyn J. Heinrich, LaFollette School of Public Affairs, University of Wisconsin–Madison

Paul Hill, School of Public Affairs, University of Washington

Thomas J. Kane, Graduate School of Education, Harvard University, and Bill & Melinda Gates Foundation, Seattle, Washington (until February 2009)

Daniel M. Koretz, Graduate School of Education, Harvard University

Kevin Lang, Department of Economics, Boston University

Susanna Loeb, School of Education, Stanford University

Michael Lovaglia, Department of Sociology, University of Iowa, Iowa City

Lorrie A. Shepard, School of Education, University of Colorado, Boulder

Brian Stecher, RAND Corporation, Santa Monica, California

Stuart W. Elliott, Study Director

Naomi Chudowsky, Senior Program Officer (until 2009)

Rose Neugroschel, Research Assistant (2009-2010)

Teresia Wilmore, Senior Program Assistant (until 2009)

Kelly Duncan, Senior Program Assistant (2009-2010)

Kelly Iverson,  Senior Program Assistant  (since 2010) 

Questo è un documento importante perché dimostra come si analizza o come si usano i punteggi della valutazione con prove strutturate. Si può essere più o meno d’accordo con le raccomandazioni del gruppo ma è utile rilevare l’ampiezza dell’approccio adottato per discutere uno degli usi che si fanno delle prove strutturate nella politica scolastica. Il documento attira pertanto l’attenzione sugli usi della valutazione e mette indirettamente in rilievo l’assurda miopia della discussione in corso in Italia sulle valutazioni dell’INVALSI e sull’uso che il Ministero ne fa. Siccome le reazioni italiane rispetto alle prove INVALSI sono molto epidermiche vale la pena andare all’estero e consultare altri lavori che attirano l’attenzione sui molteplici aspetti e sui pericoli nonché sulle deformazioni che possono derivare da un determinato uso delle valutazioni ad alta posta in gioco nelle politiche scolastiche. A meno che , come succede in Italia, si propenda piuttosto per prendere sottogamba queste valutazioni, a effettuarle ma a privarle da subito di ogni implicazione pesante dal punto di vista del futuro delle scuole, degli insegnanti e degli studenti. Occorre anche aggiungere che le prove strutturate che l’INVALSI deve costruire a spron battuto dotto il "diktat" del MIUR sono necessariamente provvisorie e che quindi occorre evitare di servirsene per decisioni scottanti ma si deve aggiungere che queste prove non sono affatto male, non si devono gettare al macero perché sono il prodotto di lunghi lavori di preparazione effettuati da specialisti provenienti da varie discipline. Da questo punto di vista il parere del National Research Council ha sorpreso , la reazione di Hanushek è comprensibile ma anche i calcoli e le proiezioni di Hanushek non sono da ritenere inappuntabili. Da questo punto di vista la partita resta aperta.

ll National Research Committee è un ente costituito nel 1916 che dipende a sua volta dalla National Academy of Sciences la quale è una nobile e gloriosa istituzione privata USA che esiste dall’Ottocento con la missione di consigliare il governo federale USA sulla politica della scienza e della ricerca scientifica. Il gruppo sulle politiche di rendicontazione è stato formato a sua volta dal Consiglio per la valutazione creato dal National Research Center che fra sua volta presieduto nel 2011-2012 da Edward Haertel , dell’Istituto per l’educazione dell’Università di Stanford.

     Il progetto di documento è stato ideato proprio dal Consiglio per la valutazione nel 2002 , un anno dopo il lancio della legge federale NCLB votata nel gennaio 2001, in piena polemica sull’uso di prove strutturate per rendere le scuole responsabili dei risultati conseguiti. Nel 2007 il Consiglio per la valutazione ha ritenuto opportuno costituire un gruppo apposito per esaminare la questione che si rivelava assai complessa e molto conflittuale con una marcata opposizione tra un gruppo di economisti da un lato e un gruppo di specialisti di psicometria dall’altro. Il documento è dunque il prodotto di una lavoro decennale che ha coinvolto il fior fiore della ricerca scientifica USA su questi temi, ossia specialisti provenienti da varie discipline che hanno avuto modo di confrontarsi tra loro , di comparare varie posizioni e di criticare varie impostazioni metodologiche .

    L’uso delle prove strutturate nelle scuole è cresciuto considerevolmente durante gli ultimi decenni [4] .

    Punti salienti del documento

    Il documento pone subito la questione centrale: quali sono gli incentivi suscettibili di incitare le scuole a migliorarsi? Come gli incentivi operano nelle scuole ?

    A questo riguardo ci sono raffinate indagini scientifiche che sono state esaminate dal gruppo di lavoro. La struttura degli incentivi può essere cruciale rispetto ai risultati che si vorrebbero ottenere o che sono auspicati.

    Quando si determina un sistema di incentivi occorre tenere conto di cinque criteri decisivi per la scelta:

  1.     A chi si mira con gli incentivi? Nelle organizzazioni complesse [5] , gli incentivi possono essere versati a persone occupanti posizioni diverse le quali possono incidere sui risultati in diversi modi;
  2.     Quali misure dei risultati vanno usate? Le misure dei risultati per i quali gli incentivi sono stati previsti devono essere coerenti con i risultati auspicati dagli incentivi che si versano per ottenere i risultati che si desiderano.
  3.     Quali conseguenze vanno prese in considerazione? La dimensione e la struttura delle conseguenze prodotte dagli incentivi determinano le modalità con le quali gli incentivi operano e vanno selezionate per essere adeguate alla situazione.
  4.    Quale supporto si fornisce? Senza risorse di supporto degli obiettivi organizzativi, gli incentivi possono scoraggiare le persone che si intende invece di aiutarle e in particolare quelle che non hanno le capacità necessarie per conseguire gli obiettivi che forniscono la ricompensa oppure che evitano le punizioni.
  5.    Come gli incentivi sono presentati e comunicati?   Per essere efficaci gli incentivi vanno presentati e comunicati in modo tale da promuovere le motivazioni delle persone coinvolte nella strategia che si vorrebbe attuare con l’elaborazione di incentivi per raggiungere uno scopo e vanno evitate le soluzioni che invece erodono questa motivazione.

ll gruppo ha inoltre identificato tre aspetti da prendere in considerazione quando si valuta il successo o meno di un sistema di incentivi [6]:

  1. adottare un insieme di misure di valutazione dell’efficacia degli incentivi che son siano costruite in funzione degli incentivi. Questo è un punto importante. Infatti spesso le persone che ricevono incentivi, migliorano in settori che non corrispondono a quelli per i quali gli incentivi sono versati. Quindi si devono utilizzare metodi di valutazione che non siano stati concepiti in funzione del sistema di incentivi se si vuole valutare pienamente il modo con il quale gli incentivi funzionano;
  2. cambiamenti degli atteggiamenti: oltre che a valutare gli effetti prodotti dal sistema di incentivi dal punto di vista degli obiettivi per i quali gli incentivi sono stati previsti, occorre pure considerare come il sistema di incentivi influenzi gli atteggiamenti delle persone quando non sono direttamente connessi agli incentivi;
  3. ponderare costi e benefici: i sistemi di incentivi invariabilmente generano costi e benefici che vanno ponderati per valutare il sistema.

 

Queste considerazioni sono dedicate alla recente decisione del MIUR di versare un incentivo agli animatori digitali nelle scuole italiane, una figura che c’è e non c’è. La decisione, molto ben recepita dagli animatori informatici in funzione nelle scuole, è carica di implicazioni e questo documento può aiutare a chiarirle.

 

`

 

 

 

 

 

Il 

Il

Il 

Il 

 

[1] Acronimo per "No Child Left Behind"

[2] Titolo dell’articolo : Grinding the Antitesting Ax, No. 2, vol. 12, primavera 2012 di Education Next

[3] ndr.:In questo comitato ci sono alcuni personaggi di rilievo del mondo della ricerca scientifica sulla valutazione negli USA , come per esempio Tony Bryk, Paul Hill, Daniel Koretz che lavora anche per l’OCSE, segnatamente nell’indagine PISA, LorryShepard.

[4] ndr.: A questo riguardo si può fare notare che il contagio è arrivato in Europa dopo il 2000 dove c’è stata un’accelerazione della diffusione dei test. Negli USA dopo il 2000, con la legge NCLB che da questo punto di vista costituisce una punto di riferimento innegabile, i test sono stati vieppiù utilizzati nelle scuole per pilotare una politica di rendicontazione che obbligava le scuole a rendere conto dei risultati conseguiti e a seguire per ogni singola scuola un ruolino di marcia ben preciso. Questa politica negli USA è stata fortemente promossa dal governo federale che ha condizionato il versamento di sussidi ai sistemi scolastici dei vari stati dell’Unione al raggiungimento di determinati punteggi nelle prove strutturate. Una scuola di economisti capeggiata da Hanushek è stata favorevole a questa politica e ne ha sottolineato gli esiti positivi, mentre gli specialisti di psicometria sono stati più scettici e in parte contraria questa politica. Spettacolare a questo proposito è stato nel primo decennio di questo secolo il voltafaccia di Diane Ravitch, professore di storia dell’educazione a New York, che dapprima fu favorevole alla strategia politica federale e che ora invece è uno dei capofila dell’opposizione 

[5] ndr.: La scuola ne è una

[6] ndr.: Non si propone un sistema di incentivi senza prevederne la valutazione

Les documents de l'article

USA_National_Research_Council-2.jpg