Version imprimable de cet article Version imprimable

An Experimental Study of the Effects of Monetary Incentives on Performance on the 12th-Grade NAEP Reading Assessment [1]

La rivista pedagogica statunitense Teachers College Record ha messo in linea un articolo scientifico che si può consultare con un modesto versamento di sette dollari (clicca qui) e che sarà pubblicato in un numero della primavera prossima.

Questo articolo merita di essere segnalato per due ragioni :


- La prima, per la metodologia utilizzata, che illustreremo tra poco;


- la seconda, per il tema affrontato che è del tutto inabituale e che è tale da sorprendere e suscitare reazioni d’ incomprensione in quanto può sembrare per certi versi perfino provocante.

Ci sarebbe anche una terza ragione che milita per la segnalazione di questo articolo ossia il nome degli autori che hanno condotto l’indagine: si tratta infatti di grossi calibri della ricerca sulla valutazione negli Stati Uniti ed anche sul piano internazionale. [2]

L’impegno degli studenti quando partecipano a una prova strutturata

Questa questione è scottante ed è raramente affrontata. Nel caso dell’indagine internazionale PISA condotta dall’OCSE si è notato che in determinati sistemi scolastici gli studenti trascurano le domande di un certo tipo (per esempio quelle troppo facili o quelle che richiedono un certo ragionamento) oppure che non concludono il test e si fermano ad un certo punto pur avendo a disposizione ancora tempo a sufficienza per concluderlo. Pochi analisti hanno studiato il problema della motivazione degli studenti come fattore di spiegazione delle risposte mancate o delle risposte errate. L’articolo che qui segnaliamo tratta per l’appunto questa questione scabrosa.

Impostazione dell’indagine

Gli autori sono partiti dall’ indagine NAEP [3] negli Stati Uniti i cui risultati sono utilizzati da quarant’anni per valutare lo stato dell’istruzione negli Stati Uniti. L’indagine NAEP è la sola valutazione comparata somministrata a campioni rappresentativi nazionali statunitensi di studenti della quarta elementare, della terza media e dell’ultimo anno dell’insegnamento secondario superiore. Non fosse che per questa campionatura, l’articolo ripreso dalla rivista Teachers College Record merita di essere esaminato da chi in Italia si occupa di impiantare un sistema di valutazione nazionale.

 

Gli autori dell’indagine presentata in questo articolo partono dall’ipotesi che l’interesse degli studenti dell’ultimo anno dell’insegnamento secondario di secondo livello [4] è una questione rilevante perché è connessa a un tema centrale delle politiche scolastiche contemporanee ossia quello della produzione e dell’incremento del capitale umano. Orbene, l’indagine NAEP è una valutazione poco esigente, ovverosia è una valutazione i cui items sono calibrati per valutare le conoscenze e le competenze minime che si richiedono nelle società democratiche contemporanee. Per questa ragione, da anni, negli Stati Uniti ci si interroga sul livello di impegno e di motivazioni degli studenti dell’ultimo anno dell’insegnamento secondario di secondo livello che partecipano all’indagine e per conseguenza sulla pertinenza dei risultati ottenuti.

Finora ci sono effettuate poche indagini su questa questione e per di più queste indagini erano imperniate tutte sui punteggi conseguiti nei test di matematica e riguardavano campioni ridotti di studenti. Questa ricerca invece sugli effetti degli incentivi finanziari sui risultati degli studenti del 12º anno di scuola riguarda i risultati conseguiti nella comprensione della lettura e ricalca il test utilizzato nell’indagine NAEP sulla lettura allo scopo di valutare la probabilità che punteggi conseguiti nella somministrazione regolare del test sottovalutino le competenze degli studenti. Inoltre, altra originalità dell’indagine, l’ampiezza della campionatura è considerevole ed i risultati al test sono rielaborati secondo la scala dei punteggi del NAEP.



Impostazione dell’indagine



L’indagine è una ricerca "randomizzata" [5] e rispetta tre condizioni:

un gruppo di controllo e due gruppi con forme di incentivi finanziari diversi.

  • Al gruppo di controllo la somministrazione del test è stata svolta secondo i criteri regolari applicati nella somministrazione dell’indagine NAEP.
  • Nei due gruppi sperimentali invece le condizioni erano le seguenti: ad ogni studente del primo gruppo si è versato un incentivo fisso di 20 $ all’inizio della sessione. Nel secondo gruppo invece l’ incentivo era modulato: ogni studente ha ricevuto cinque dollari all’inizio del test e 15$ per ogni risposta corretta a due questioni scelte casualmente, ma il totale massimo dell’incentivo finanziario non poteva superare i 35$.

 

La partecipazione all’indagine era facoltativa: gli studenti potevano scegliere se partecipare o meno al test ma al momento della decisione non erano al corrente che ci sarebbero stati ricompense finanziarie e non sapevano che alcuni avrebbero ricevuto un incentivo finanziario. Il meccanismo dell’incentivo finanziario è stato spiegato ai gruppi solo all’inizio della somministrazione. I partecipanti ignoravano chi facesse parte dei tre gruppi sperimentali.

L’indagine è stata svolta in 59 scuole di sette diversi stati. Grosso modo il 56% degli studenti invitati ha accettato di partecipare al test. In totale gli studenti partecipanti furono 2600. Il campione non è rappresentativo nella popolazione studentesca della nazione come non lo sono neppure le scuole coinvolte . Quindi i risultati non possono essere considerati come validi sul piano nazionale.

Lo strumento utilizzato per la somministrazione del test era identico a quello del NAEP per la lettura al 12o anno di scuola e comprendeva diversi quaderni distribuiti a casaccio tra gli studenti nonché i soliti questionari d’accompagnamento. Le domande riguardanti la comprensione della lettura comprendevano :

  • domande a scelta multipla,
  • risposte brevi e
  • risposte elaborate.

Ad ogni blocco di domande si poteva rispondere in circa 25 minuti.

Risultati

Gli incentivi finanziari hanno un impatto statistico significativo e sostanziale sia per quel che riguarda l’impegno e le motivazioni degli studenti sia per quel che riguarda i risultati. Questa constatazione si applica a tutti i sottogruppi di studenti (per genere, origini etniche e per categorie socio-professionali) Sia per i ragazzi che per le ragazze l’effetto degli incentivi contingentali, modulabili, è superiore di cinque punti rispetto al punteggio del NAEP. Questa è una differenza statisticamente significativa. In generale, gli effetti di questo tipo di incentivi sono superiori agli effetti dell’incentivi fissi.

Conclusioni e raccomandazioni

Questa indagine dimostra in maniera assai credibile che la valutazione nazionale del NAEP sottovaluta le competenze degli studenti in lettura alla fine dell’insegnamento secondario del secondo livello. Si può con una buona certezza affermare che gli studenti sono molto più bravi nella comprensione della lettura di quanto non lo facciano supporre i punteggi conseguiti nell’indagine standard del NAEP. Questo vuol dire che il test del NAEP non è del tutto attendibile a livello nazionale e fornisce una rappresentazione inadeguata delle competenze in lettura degli studenti. I responsabili della costruzione del test NAEP dovrebbero quindi tenere in considerazione questa conclusione quando si accingeranno a modificare il quadro teorico di riferimento della lettura e ad approntare un nuovo test di lettura. Benché non è affatto praticabile offrire a tutti gli studenti incentivi finanziari per passare un test, si ha la prova che gli incentivi hanno un’incidenza sui risultati del test. Quando incentivi finanziari sono versati a studenti del 12º anno di scuola, i punteggi nel testo migliorano. Gli studenti interrogati a questo riguardo hanno espresso idee su come migliorare la loro motivazione quando sono invitati alla somministrazione di un test. Queste proposte vanno prese in considerazione nelle discussioni che riguardano il miglioramento delle strategie per accrescere i tassi di partecipazione alle valutazioni delle scuole e degli studenti nonché per consolidare la validità e l’utilità dei risultati conseguiti con gli studenti dell’insegnamento secondario di secondo livello.

[1] Indagine sperimentale sugli effetti di incentivi finanziari sui risultati nel test di comprensione della lettura del NAEP di studenti dell’ultimo anno dell’insegnamento secondario di secondo livello, Henry Braun, Irwin Kirsch, and Kentaro Yamamoto, Teachers College Record, Volume 113 Number 11, 2011, forthcoming

[2] Gli autori dell’indagine sono:

  • HENRY BRAUN has held the Boisi Chair in Education and Public Policy at Boston College since 2007. From 1979 to 2006, he worked at Educational Testing Service (ETS) in Princeton, New Jersey, where he served as vice president for research management (1989–1999). He has a bachelor’s degree in mathematics from McGill University and M.A. and Ph.D. degrees, both in mathematical statistics, from Stanford University. He has a long-standing involvement in technical analyses of policy issues, especially those involving testing and accountability. He has done considerable work in the area of value-added modeling and authored Using Student Progress to Evaluate Teachers: A Primer on Value-Added Models (2006). He was a major contributor the OECD monograph, Measuring Improvements in Learning Outcomes: Best Practices to Assess the Value-added of Schools (2008) and chair of the NRC panel that recently issued the publication, Getting Value out of Value-Added: Report of a Workshop;
  • Irwin Kirsch
    Educational Testing Service
    IRWIN KIRSCH has held the title of Distinguished Presidential Appointee at Educational Testing Service since 1999, where he began working in 1984. He holds a bachelor’s degree in psychology from the University of Maryland, an M.S. in communication disorders from Johns Hopkins University, and a Ph.D. in educational psychology from the University of Delaware. His interests include issues involving the comparability and interpretability of large-scale assessments, and using technology to link learning and assessment. He has had a long-standing involvement in the development and implementation of large-scale comparative surveys including NAEP, and he was one of the original developers of the International Adult Literacy Survey (IALS). He currently directs the Program for the International Assessment of Adult Competencies (PIAAC) for the OECD and chairs the reading expert group for PISA. He has authored a number of policy reports using data from these surveys, including America’s Perfect Storm.
  • Kentaro Yamamoto
    Educational Testing Service
    KENTARO YAMAMOTO is deputy director/principal research scientist for the Center for Global Assessment at Educational Testing Service (ETS). He has been a technical advisor for OECD and the U.S. Department of Education. He has designed or contributed to the design of numerous national and international large-scale surveys of adults, as well as for special populations, such as NAEP, TIMMS, PISA, IALS, ALL, and PIAAC. He has also designed several individual tests in reading and literacy, a mixture model of continuous and discrete measurement models for diagnostic testing and IRT scaling that has been used for all literacy surveys at ETS. He also designed the online testlet adaptive testing for adult literacy skills. He has written numerous reports, research papers, and contributed chapters and has given numerous presentations at national and international conferences.

    [3] Indagine nazionale sul progresso scolastico

    [4] Negli Stati Uniti l’insegnamento secondario di secondo livello dura un anno di meno che non in Italia

    [5] Termine lessicale per indicare una composizione casuale degli studenti nei vari gruppi