Resoconto dell’analisi critica di un’indagine condotta da collaboratori dell’Ufficio Nazionale USA sulla ricerca del National Bureau of Economic Research (USA) sulla validità del modulo del valore aggiunto per valutare la bravura di un insegnante.

Version imprimable de cet article Version imprimable

Stroncatura USA di due indagini sul valore aggiunto degli insegnanti

Gli economisti che hanno svolto l’indagine, colossale, concludono che il modulo del valore aggiunto di per sé non falsifica la valutazione di un insegnante. Si può quindi ricorrere a questo modulo per valutare la bontà degli insegnanti. L’indagine pubblicata come un documento di lavoro del National Bureau USA of Economic Research è favorevole all’uso del modulo del VA che è invece contestato dalla maggioranza degli insegnanti , dei sindacati che li rappresentano e degli insegnanti nonché da molti ricercatori nel settore delle scienze dell’educazione. Per gli economisti USA ( ma non solo per loro) del NBER il modulo del VA che valuta la bravura di un insegnante con i punteggi conseguiti dai loro studenti nelle prove strutturate è veritiero, dà risultati fedeli e corretti. Si può infatti comprovare a lunga scadenza che esiste una correlazione positiva tra insegnanti con un alto VA e il successo nella vita da parte degli studenti. Questa conclusione è contestata dal prof. Adler, economista alla SUNY, la prestigiosa università statale di New York, che esamina la pubblicazione dei collaboratori dell’Ufficio sulla ricerca economica.

 Il documento che qui si discute sul calcolo del valore aggiunto (VA) degli insegnanti è suddiviso in due parti:

Part 1: Raj  ChettyJohn N. FriedmanJonah  E. Rockoff , 2014: Measuring the Impacts of Teachers I: Evaluating Bias in Teacher Value-Added Estimate, National Bureau of Economic Research, Washington .D.C.,2013 [1].

 

Part 2: Raj Chetty, John N. Friedman, Jonah E. Rockoff, 2014. "Measuring the Impacts of Teachers II: Teacher Value-Added and Student Outcomes in Adulthood," American Economic Review, American Economic Association, American Economic Association, vol. 104(9), pages 2633-79, Washington D.C. , 2013

 

Il documento di analisi critica dell’indagine, in inglese, si può consultare cliccando qui. In allegato ci sono le risposte degli autori dell’indagine e la risposta di Moshe Adler che ha effettuato l’analisi critica dell’indagine.

 

Questa indagine ha suscitato molto interesse negli USA ma anche una forte polemica perché gli autori non sono stati precisi. Hanno pubblicato una prima versione poi una seconda con dati molto cambiati per contestare le critiche ma senza fornire spiegazioni adeguate delle ragioni di queste modifiche. Il Centro Nazionale USA sulle politiche dell’educazione (NEPC) con sede nella scuola di dottorato sull’educazione dell’Università del Colorado a Boulder , spesso citato in questo sito, pubblica tutti i materiali.

 

Gli autori del documento sostengono che il modello del VA per valutare la bontà [2] degli insegnanti con i punteggi conseguiti dai loro studenti nelle prove strutturate è buono e non falsifica i risultati. I ricercatori dicono di giungere a questa conclusione perché hanno consultato parametri che di solito non vengono presi in considerazione dalle indagini sul VA e poi perché hanno adottato una metodologia quasi-sperimentale diversa da quella abitualmente utilizzata per contestare la validità del modulo del VA imperniato sull’uso dei punteggi degli studenti nei test come criterio per giudicare gli insegnanti . 

Secondo il professore Moshe Adler che ha effettuato per conto del Centro nazionale USA sulle politiche scolastiche l’analisi critica della pubblicazione di Chetty e consoci che non è un documento ufficiale dell’ufficio nazionale USA sulle indagini in economia perché non è stato discusso dal comitato dei direttori del centro ma è soltanto un documento prodotto da alcuni collaboratori del centro stesso, questa indagine molto favorevole al modello del valore aggiunto per valutare gli insegnanti soffre di tutta una serie di difetti. Il professore Adler è un economista del "Columbia’s Urban Planning Department" e all’ "Harry Van Arsdale Jr. Center for Labor Studies at Empire State College" dell’università statale di New York [3]. 

 

 

I due documenti esaminati sostengono che gli studenti i cui insegnanti hanno un alto valore aggiunto conseguono più tardi nella vita risultati eccellenti, guadagnano di più, ottengono successi maggiori. Questa credibilità attribuito al modello del valore aggiunto per valutare gli insegnanti non può essere garantita, come è dimostrato da tutta una serie di problemi che Adler scopre nell’indagine.

Adler afferma che il modulo del valore aggiunto non è attendibile. Anche l’indagine esaminata parte da una conclusione analoga ma alla fine sfocia in una affermazione opposta che contraddice questa asserzione. L’indagine opera secondo Adler questa conversione con calcoli errati utilizzati per sostenere un risultato favorevole ad una posizione pregiudiziale. Inoltre l’indagine considera che quando si afferma la persistenza dell’incidenza di un buon insegnante lungo tutto l’arco della vita, si giunge a questa affermazione perché si effettuano calcoli errati, ma nel corso del loro lavoro i ricercatori concludono pure che un buon insegnante identificato basandosi sui punteggi nelle prove standardizzate dei propri studenti ha effettivamente un’incidenza positiva a lunghissimo termine. Questa affermazione si può fare, secondo gli autori dell’indagine, se si operano calcoli diversi che tengono in considerazione altri parametri.

Infine, Adler spiega che le indagini citate dallo studio effettuato da Chetty e consoci per convalidare la loro metodologia di lavoro non forniscono per nulla una giustificazione di questo tipo.

 

 

La prima parte dell’indagine verte sull’impatto degli insegnanti sui punteggi che gli studenti conseguono nelle prove strutturate. Gli autori si chiedono se il modello del valore aggiunto è di per sé una buona misura della qualità degli insegnanti. Una ragione del dibattito veemente che circonda questa questione è il disaccordo esistente tuttora sulla validità delle misure del valore aggiunto. Gli autori affermano di avere studiato appunto la questione delle deformazioni inerenti al modulo del valore aggiunto e di aver preso in considerazione caratteristiche delle famiglie degli studenti che erano state ignorate in precedenza nonché di aver adottato un approccio quasi-sperimentale per quanto riguarda il profilo degli insegnanti operanti in una scuola con l’ esame dei risultati a lungo termine degli studenti con categorie di controllo degli insegnanti, ovverossia con gruppi contrattuali di insegnanti , ossia con l’esame dei risultati degli studenti che hanno avuto insegnanti diversi. Gli autori concludono che i modelli del valore aggiunto che prendono in considerazione i punteggi anteriori conseguiti dagli studenti nelle prove strutturate da loro passate non presentano deformazioni maggiori nelle previsioni sull’impatto che gli insegnanti hanno sui risultati conseguiti dai loro studenti. Il che vuol dire che il modulo del VA di per sé è attendibile, non falsifica il giudizio o la valutazione di un insegnante.

 

 

Nella seconda parte dell’indagine gli autori dopo avere ammesso che il modulo del valore aggiunto non deforma il giudizio emesso sulla qualità e la bravura degli insegnanti si attaccano alla questione assai controversa degli effetti a lunga scadenza degli insegnanti e sostengono che se si sostituiscono gli insegnanti il cui valore aggiunto si situa nel 5% degli insegnanti in fondo alla classifica con un insegnante di livello o di qualità media, neppure con un insegnante eccellente, il valore del reddito lungo tutto l’arco della vita attiva di uno studente cresce pressappoco di 250.000 dollari. In altri termini, gli studenti che hanno avuto un buon insegnante finiscono per guadagnare di più sull’arco della loro vita attiva.

 

 

Gli autori dell’indagine scoprono anche che un insegnante con un valore aggiunto elevato accresce la probabilità che uno studente ha di frequentare l’università, riduce la probabilità di una gravidanza durante l’adolescenza e aumenta il reddito all’età di 28 anni. Considerate queste conclusioni è indubbio che gli insegnanti contano perché hanno un ruolo per quel che riguarda gli effetti a lungo termine della scolarizzazione. Avere un buon professore o uno pessimo non è la stessa cosa e le conseguenze si possono misurare lungo tutto l’arco della vita.

Da anni ci si sforza di misurare l’effetto degli insegnanti sui comportamenti degli studenti quando crescono e a questo scopo si è formulato il concetto di valore aggiunto, una misura di come un particolare insegnante può incidere sui punteggi di uno studente nelle prove strutturate. Le discussioni riguardanti l’utilità del modulo del valore si sono concentrate su un punto: i punteggi che si conseguono nelle prove strutturate sono misure adeguate del tipo di apprendimento che sarà utile più tardi nella vita e in che misura i punteggi nelle prove strutturate sono influenzati dalla scuola e dai genitori per fare incontrare un certo profilo di studenti con un certo profilo di insegnanti?

Nella seconda parte dell’indagine gli autori concludono che buoni insegnanti migliorano I risultati degli studenti per svariati decenni dopo la fine della scuola. Con i dati presi in considerazione, gli autori dell’indagine ritengono di poter affermare che se uno studente passa soltanto un anno di scuola tra la quarta elementare la fine della scuola media(l’ottavo anno di scuola) in una classe nella quale insegna un insegnante con un alto valore aggiunto, le sue probabilità di frequentare più tardi l’università, oppure le probabilità di evitare una gravidanza precoce e quella di aumentare il reddito che si riceverà a 28 anni aumentano considerevolmente. Gli autori concludono che la misura del valore aggiunto può essere di aiuto per trovare la buona combinazione che permette di identificare gli insegnanti che sul lungo termine hanno più successo nel miglioramento dei risultati degli studenti, cioè di identificare i buoni insegnanti che sono coloro che hanno una influenza positiva quando si termina la scolarità e si entra nella vita attiva.

 
Adler, l’autore della critica ritiene invece che non si possa giungere a questa conclusione e che gli autori dell’indagine commettono svariati errori pur di convalidare una tesi favorevole all’adozione del calcolo del VA di un insegnante con l’uso dei punteggi conseguiti dai loro studenti nelle prove strutturate.

 

 

 

 

 

[1] Il testo in inglese di questa prima parte è allegato

[2] In Italia si parla di merito

[3] Nota con l’acronimo SUNY

Les documents de l'article

Chetty_Friedman_and_Rockoff_2013.pdf