Resoconto di una ricerca apparsa negli USA sugli effetti a lunga e corta scadenza che vanno presi in considerazione quando si imposta la valutazione delle scuole. Anche questo e’ un tipo di indagine di cui non c’e’ traccia in Italia.

Version imprimable de cet article Version imprimable

Effetti a corta e a lunga scadenza

La maggioranza degli insegnanti ritiene che le valutazioni scolastiche sui risultati a corta scadenza sono sballate, non sono attendibili mentre invece la maggioranza dei responsabili politici è obnubilata dai risultati scolastici a corta scadenza. I valutatori sono presi tra l’incudine e il martello. Siccome si è solo agli albori della valutazione delle scuole ci sono consistenti problemi metodologici da risolvere. Gli autori del saggio qui presentato si avvalgono dei punteggi di un test classico somministrato nello stato dell’Indiana negli USA per dirimere gli effetti a corta e lunga scadenza che si possono osservare con i metodi valutativi esistenti e per dimostrare che per il momento questa distinzione è molto ardua da effettuare. Anche questo è un tema che dovrebbe essere affrontato dalla ricerca scientifica sulla valutazione in Italia ma finora ben pochi ne parlano con cognizione di causa. Pero’ qualcuno in Italia ha suggerito all’Unione Europea a Bruxelles di inserire nella lettera inviata recentemente al governo italiano di darsi da fare per impostare la valutazione delle scuole. Ci si puo’ chiedere chi e’ in grado di farlo in Italia ma non solo, in Europa. L’articolo qui presentato per sommi capi, elenca una serie di problemi che si pongono negli USA quando ci si accinge a valutare le scuole.

Articolo in inglese : il testo integrale è allegato.

Citazione : Grissmer, D., Ober, D. & Beekman, J. (2014). Focusing on short-term achievement gains fails to produce long-term gains. Education Policy Analysis Archives, 22 (5) (la versione in inglese si trova cliccando qui)

Estratti dall’articolo (libera traduzione in italiano)
 
Introduzione
 

La riforma scolastica "No Child Left Behind" [1] (NCLB) ha incitato la ricerca scientifica sull’istruzione ad occuparsi in modo intenso dei risultati a corta scadenza conseguiti dalle scuole senza districare le complessità delle incertezze che possono risultare da valutazioni a corta scadenza (ossia annuali).

Sono così stati trascurati i metodi ed i risultati delle valutazioni a lunga scadenza nelle scuole. [2]. In quest’articolo si discutono le stime che si possono prevedere dei progressi a lunga scadenza delle scuole deboli che ricevono aiuti e stimoli dalle valutazioni e dal sostegno messo a disposizione e si affrontano le questioni importanti della valutazione delle scuole e dell’identificazione delle politiche scolastiche e delle pratiche che producono progressi scolastici sostanziali a lunga scadenza. Le stime sono state svolte prendendo in considerazione i tassi di promozione annuali negli esami di Stato usando modelli sugli effetti nella scolarizzazione che tengono conto dei risultati scolastici degli studenti sei anni dopo la promozione in terza primaria, dopo il primo anno della scuola media e dopo il terzo anno della scuola media nonché’ dopo la fine del biennio. [3] . Si somministrano i test dunque in terza elementare, in prima media , in terza media, alla fine del decimo anno di scuola.

I dati

Le percentuali delle scuole che ottengono progressi significativi dal punto di vista statistico nonché che si caratterizzano per perdite significative nonostante gli aiuti che ricevono sono considerevoli. Le stime sono svolte usando modelli che includono e escludono le caratteristiche demografiche. Le percentuali delle scuole con progressi scolastici significativi variano dal 38% al 6% tra fine della prima media e fine del biennio. La percentuale delle scuole con perdite statisticamente significative compongono un gruppo inferiore all’8% del totale delle scuole alla fine della terza classe della scuola primaria, del primo anno della scuola media e dell’ ottavo anno di scuola ma sono circa il 23% alla fine del biennio. Se si prende in considerazione l’evoluzione demografica la percentuale delle scuole con progressi scolastici statisticamente significativi aumenta mentre diminuisce la percentuale delle scuole con perdite statisticamente significative.

La povertà in ballo

I risultati suggeriscono che le scuole con un’ alta proporzione di studenti poveri o provenienti dalle minoranze etniche sono più propense a conseguire progressi o perdite statisticamente significative. Le stime effettuate sulle promozioni sono state effettuate utilizzando simulazioni di Monte Carlo. Partendo da queste simulazioni si determinano le percentuali delle scuole che possono essere identificate in modo errato come scuole con progressi o perdite significative statisticamente.

Tuttavia, nonostante l’uso di dati su un periodo di sei anni, non si deve scordare che il caso può sempre giocare un ruolo significativo nel valutare in modo errato le scuole, specialmente nelle classi che hanno una tendenza generale a produrre tendenze a lunga scadenza deboli. In ogni modo questi indicatori sono molto utili soprattutto quando i responsabili politici dovrebbero prendere decisioni drastiche su una scuola come per esempio sanzionarla, chiuderla, cambiare il dirigente, ecc. Questo e’ un modo per disporre di informazioni sulla scuola prima di prendere decisioni con conseguenze gravi. 

La metodologia

In questo documento si affrontano questioni che sono importanti per la valutazione e l’identificazione delle scuole che realizzano progressi statisticamente significativi a lunga scadenza oppure che continuano a declinare. In primo luogo, occorre verificare se si prendono in considerazione le stesse scuole quando si incorporano controlli che tengono in considerazione lo statuto socioeconomico e la composizione etnica della scuola. In secondo luogo, si deve verificare qual è la percentuale delle scuole che registrano tendenze statisticamente significative (progressi e perdite) dovute alle procedure casuali. In terzo luogo (questo e’ il punto più importante) ci sono scuole che mostrano tendenze statisticamente significative a lunga scadenza le quali possono essere previste da valutazioni annue ossia da misure a corta scadenza.

La ricerca è stata effettuata sfruttando i punteggi nei test di scuole dello Stato USA dell’Indiana (3ª elementare, 1ª media, 3ª media, e 10º anno di scuola pari al 2º anno del biennio in Italia) e si è protratta lungo un periodo di sei anni (dall’autunno 2002 all’autunno 2007 ). Gli autori ritengono che la proporzione delle scuole di ogni grado sia statisticamente significativa (95% di confidenza) sia per i progressi che per le perdite lungo l’arco di tempo di sei anni. Inoltre l’indagine tiene anche conto di come eventuali cambiamenti familiari abbiano inciso sulle prestazioni dei singoli studenti nei test.

Analisi bibliografica

 [4]. La valutazione delle scuole è stata praticata nello Stato dell’indiana a decorrere dal 1999 ed è diventata legge federale nel 2001 quando fu votata la legge NCLB citata più volte in questo sito. Inoltre l’indagine ha esteso il campo di analisi alla 3ª classe primaria e a quella del 2º anno del biennio [5]. Numerose ricerche sono state svolte negli USA sulle modalità di valutazione delle scuole soprattutto a seguito delle indicazioni e degli obblighi fissati dalla legge NCLB la quale imponeva a tutte le scuole un ritmo di progressione nelle prestazioni verificato con prove strutturate predisposte da ogni singolo Stato, ritmo noto con l’acronimo AYP [6]. Numerosissime indagine hanno fornito prove secondo le quali la legge federale NCLB era difettosa per almeno quattro ragioni. La prima, perché gli obiettivi a lunga scadenza sono poco plausibili tenendo conto della normale distribuzione dei punteggi a meno che gli standard da conseguire siano molto bassi. La seconda, perché il conseguimento degli obiettivi fissati in funzione di un ritmo annuo di progressione possono essere una misura povera sulla quale basare ricompense o sanzioni a causa dell’incertezza regnante da un anno all’altro in una scuola. In terzo luogo, la varianza tra Stati negli USA nonché degli standard e delle strategie applicate dai vari Stati per determinare il ritmo di progressione annua rende alquanto difficile l’interpretazione e la comparazione delle prestazioni. Infine, perché l’uso del ritmo annuo di progressione può collocare scuole estremamente povere e tra loro molto diverse dal punto di vista della composizione etnica ad un livello di svantaggio estremamente elevato.

Queste critiche sono in genere ritenute valide dalla comunità scientifica anche se non tutti i pessimi risultati di una scuola possono essere imputati alla valutazione prevista dalla legge federale NCLB . In ogni modo in un contesto contraddistinto da stime difettose, l’applicazione e l’interpretazione dei risultati statistici da parte della comunita’ scientifica hanno in genere prodotto consigli mediocri per i responsabili politici nonché politiche scolastiche relativamente sterili nei vari Stati USA. I responsabili politici inevitabilmente hanno in mente due obiettivi a lunga scadenza [7] il primo, consiste nell’avvicinare la media dei punteggi degli studenti USA nei test internazionali alla media dei punteggi internazionali e il secondo consiste nel ridurre la varianza esistente all’interno degli Stati Uniti tra gruppi etnici e tra studenti dei ceti sociali benestanti e quelli poveri. Queste due categorie di divari possono essere più o meno importanti a seconda del tipo di prova strutturata, di materia esaminata nonché del grado scolastico presi in considerazione ; nei vari test internazionali, i confronti fra gruppi di paesi esercitano un’ influenza sulla varianza delle medie statistiche. Prove evidenti provenienti da diverse valutazioni su vasta scala suggeriscono che i guadagni annui più importanti di un sistema scolastico in qualsiasi materia nel corso di questi ultimi 20-25 anni tendono ad essere circa 0,07 di deviazione standard. Prove sperimentali di interventi scolastici suggeriscono che progressioni annue dello 0,07 sono rare.

Probabilmente, il maggior difetto della legge federale NCLB risiede nel fatto che mettendo l’accento sul ritmo annuo di progressione si e’ sviata l’attenzione del pubblico dalle procedure di misura dei progressi e delle regressioni a lunga scadenza nonché dalle spiegazioni delle tendenze che favoriscono i progressi a lunga scadenza di una scuola. Se i progressi a corta scadenza permetterebbero di prevedere in maniera affidabile i progressi a lunga scadenza e se le politiche e le prassi che producono progressi a corta scadenza sono gli stessi di quelli che producono progressi a lunga scadenza, questo approccio non e’ problematico.Ma purtroppo non e’ così’.

Progressi a corta scadenza, da un anno all’altro

Infatti, i progressi a corta scadenza possono risultare da quattro cause fallaci. In primo luogo, le varianze casuali danno segnali falsi agli insegnanti, alle scuole e ai responsabili politici. In secondo luogo, la preoccupazione riservata soprattutto alle politiche e agli interventi a corta scadenza incoraggiano soprattutto la memorizzazione piuttosto che il pensiero critico. In terzo luogo, l’insegnamento delle tecniche per rispondere ai test deformano i punteggi , sia positivamente che negativamente. In quarto luogo, la restrizione dei curricoli che vengono impostati sulle materie che sono oggetto dei test generano guadagni e progressi a spese di conoscenze in altre discipline.

Le politiche che sono impegnate soprattutto sui progressi a corta scadenza possono essere molto differenti da quelle imperniate sui progressi a lunga scadenza. Inoltre le politiche per la cultura matematica possono differire moltissimo dalle politiche che promuovono la lettura e la comprensione dei testi. Queste politiche non possono essere le stesse. Per esempio, i progressi considerevoli a lunga scadenza osservati in quarta elementare e in terza media nei punteggi di matematica del test USA NAEP tra il 1990 e il 2009 e’ rispettivamente di 1,5 e 1,2% punti percentuali all’anno, percentuali in netto contrasto con i progressi molto minori in quarta elementare in lettura che erano soltanto dello 0,2% all’anno mentre in terza media i progressi dal punto di vista della lettura erano nulli. Così, le politiche che vorrebbero essere un incitamento a migliorare sia la cultura matematica che le competenze nella lettura e nella comprensione di testi non potrebbero per nulla spiegare queste ampie differenze. Le politiche che si suppone possano essere efficaci per entrambi le discipline non hanno nulla a che fare con i punteggi nei test : questo possono essere la riduzione della dimensione delle classi, la rendicontazione basata sugli standard, il miglioramento della qualità degli insegnanti e forse un aumento della frequenza delle scuole per l’infanzia [8]. Tuttavia, queste politiche sarebbero incapaci di spiegare la varianza molto ampia esistente tra i progressi in matematica e quelli in lettura. Questi progressi nella cultura matematica potrebbero essere spiegati da fattori specifici connessi alla materia come per esempio i cambiamenti nei curricoli [9] ; il miglioramento e 1’ accettazione generalizzata da parte degli insegnanti e dei professori degli standard di matematica oppure un migliore allineamento tra gli standard di matematica e le domande contenute nel test. Un’ attenzione maggiore alle analisi delle tendenze scolastiche a lunga scadenza piuttosto che ai progressi a corta scadenza condurrebbe probabilmente ad identificare la presenza di politiche scolastiche differenti e queste politiche potrebbero avere il vantaggio di essere collegate a progressi sostanziali a lunga scadenza. Le politiche identificate mediante analisi a corta scadenza, per essere attendibili devono sempre essere testate empiricamente con confronti con i risultati conseguiti a lunga scadenza dalle scuole e diverse di queste politiche potrebbero anche fallire nello scopo di migliorare i risultati. Si veda per esempio l’articolo di Raudenbush (2004) [Raudenbush, S.W. (2004). Schooling, statistics, and poverty : Can we measure school

http://www.ets.org/Media/Education_...

[ improvement ? Princeton, NJ, Educational Testing Service. Questo articolo si puo’ ottenere in inglese cliccando qui ]] . Raudenbusch ritiene che occorrono almeno tre anni i per determinare se nuove strategie (comprovate da dati valutativi appropriati) sono riuscite ed hanno conseguito il successo atteso.

 

Commento finale (dell’amministratore del sito)

 

 

La questione della valutazione delle scuole va affrontata quindi senza tenere in considerazione soltanto i punteggi conseguiti in alcuni test ormai classici come per esempio quelli di cultura matematica, di cultura scientifica, di comprensione della lettura somministrati per esempio alla fine di un anno scolastico, quanto piuttosto sui progressi che una scuola riesce a realizzare a lunga scadenza dopo almeno 3 o 4 anni di lavoro e di sostegno. Non è solo risultati a corta scadenza che si deve contare, ma l’impostazione di valutazioni a lunga scadenza delle scuole esige un lavoro in profondità molto accurato e difficile da realizzare. In ogni modo, è questa la linea da seguire, ma per farlo occorre disporre di valutatori competenti e altamente specializzati nonché di una massa di dati che purtroppo finora il sistema scolastico italiano non è in grado di fornire. Le raccomandazioni dell’Unione Europea sono quindi parole al vento e non potranno essere presi in considerazione seriamente fin quando non si raccoglieranno i dati necessari e si metteranno a disposizione dei ricercatori banche dati operative, pubbliche, solide, efficienti e valide.

 

[1] ndr. : Di questa riforma se ne è parlato sovente in questo sito. Si possono trovare descrizioni della riforma sia nel sito siano su Internet

[2] ndr.:Una buona scuola lo e’ su un lungo periodo, per anni , e non solo per un anno o due

[3] Che equivale negli USA al decimo anno di scuola

[4] ndr . : Come e’ di regola in qualsiasi buona indagine, gli autori hanno effettuato per iniziare un’analisi bibliografica nella quale indicano i principali articoli scritti negli USA sulla valutazione delle scuole

[5] ndr. : usando la terminologia italiana

[6] In inglese "Adequate Yearly Progress" , ossia “progresso annuale adeguato"

[7] ndr.:Non solo negli USA ma ovunque nel mondo

[8] ndr. : Notoriamente le scuole per l’infanzia sono poco sviluppate negli USA

[9] ndr. : Si sa che i curricoli di matematica hanno subito numerose modifiche in pochi anni

Les documents de l'article

1218-5090-1-PB.pdf