Il gruppo PISA che lavora sull’indagine internazionale comparata delle conoscenze e delle competenze dei quindicenni pubblica un’analisi delle possibilità d’istruzione, un tema connesso ai punteggi conseguiti nei test PISA, questa volta il test di cultura matematica effettuato nel 2012. Presentazione dell’articolo.

Version imprimable de cet article Version imprimable

Valutazione su larga scala

In questo articolo si affronta un argomento esemplare fornito dalle valutazioni su larga scala di cui raramente o quasi mai si parla in Italia nel dibattito vivacissimo sull’utilità della valutazione delle conoscenze e delle competenze, ossia quello delle possibilità d’apprendimento(OTL). L’articolo pubblicato dall’OCSE dimostra come si possono approfondire le analisi dei dati raccolti nelle valutazioni internazionali. Lo presentiamo in questa sede non tanto per i risultati in sé e per sé quanto come esempio di sviluppo analitico connesso alle valutazioni, come informazione su quel che si puo’ fare in questo tipo di valutazioni.

Documento :

 

OECD Working Papers No. 95 

Schmidt, W., P. Zoido and L. Cogan (2014), “Schooling

Matters : Opportunity to Learn in PISA 2012”. OPPORTUNITY TO LEARN IN PISA 2012, OECD Education

Working Papers, No. 95, OECD Publishing.

http://dx.doi.org/10.1787/5k3v0hldm...

 

 

Autori :

 

 William H. Schmidt (Michigan State University

 Thomas J. (Alexander Fellowship)

 Pablo Zoido (Organisation for Economic Co-operation and Development)

 Leland Cogan (Michigan State University)

 

Il documento in inglese é allegato

 

Riassunto dal documento da parte dell’OCSE ( libera traduzione)

 In questi ultimi cinquant’anni numerose indagini internazionali sull’istruzione hanno incluso, sotto una forma o sotto un’altra, una misura delle possibilità d’apprendimento [strong] degli studenti nel corso della scolarizzazione. I risultati hanno generalmente confermato la nozione di buon senso secondo la quale essere esposti nel contesto scolastico a concetti valutati, materializzati sotto forma di misure temporali, presenta una correlazione con le conoscenze apprese dagli studenti del tipo di quelle prese in considerazione nelle valutazioni. Ciò che non è stato invece dimostrato invece é il legame esistente tra gli elementi specifici ai quali gli studenti sono stati esposti nel corso della scolarizzazione ed i loro risultati conseguiti in una valutazione di "sui generis" come per esempio quella svolta nell’indagine PISA. Il presente documento di lavoro studia questa questione esaminando i dati forniti dall’indagine PISA 2012 che, per la prima volta, includeva diversi items relativi alle possibilità d’apprendimento nel questionario destinato agli studenti.

L’analisi dimostra che esiste una correlazione significativa tra le possibilità d’apprendimento e i risultati degli studenti sia dal punto di vista della valutazione effettuata con carta e matita che é la forma principale di valutazione [1] che dal punto di vista della valutazione con il computer che é stata proposta a titolo sperimentale in taluni servizi scolastici. In tutti i paesi, almeno uno dei tre indici compositi delle possibilità d’apprendimento messi a punto in questa indagine ed in molti casi i tre indici (esposizione a problemi lessicali, esposizione alle matematiche formali e esposizione a problemi di matematica applicata), presentano una correlazione significativa con il livello di competenza sulla scala PISA globale di cultura matematica come pure con le quattro sotto-scale prese in esame in questo studio delle OTL : "varianti e relazioni", "spazio e forme", "quantità" e "calcolo delle probabilita’". Inoltre, i risultati indicano che la variante degli indici delle possibilità d’apprendimento ha un influsso sui risultati degli studenti e lascia dunque intravvedere implicazioni dal punto di vista dell’uguaglianza delle opportunità.

Le opportunità d’apprendimento

Questo documento è interessante perché l’OCSE riprende un tema che era stato in parte trascurato se non abbandonato per diversi anni nelle analisi delle indagini internazionali comparate. Soltanto agli inizi della storia delle indagini internazionali comparate sui risultati degli studenti realizzate dall’IEA si sono esaminate le possibilità d’apprendimento e soltanto in una recente indagine dell’IEA realizzata nell’America Latina i risultati sono stati e analizzati nella prospettiva delle possibilita’ d’apprendimento in un lavoro molto interessante realizzato da Aletta Grisay. Nondimeno, si può senz’altro affermare che per decenni questa questione è stata congelata ed è bene che l’OCSE lo abbia risuscitato in un documento che è stato realizzato da Bill Schmidt dell’Università del Michigan il quale aveva già realizzato un’indagine pressappoco analoga parallelamente alla pubblicazione classica dei risultati conseguiti nel corso della terza indagine TIMSS nel 1994-1995.

Le analisi sulle possibilità d’apprendimento sono molto dure da realizzare perché devono prendere in considerazione una grande quantità di variabili che vanno correlate con i punteggi conseguiti nei test. Non è semplice scegliere le variabili relative alle possibilità d’apprendimento come pure non è affatto semplice correlare queste variabili con i punteggi nei test. Si tratta quindi di una questione metodologica molto ardua e questa difficoltà probabilmente è una delle cause che spiega le ragioni per le quali finora sono state effettuate pochissime indagine sulle possibilità d’apprendimento.

I responsabili dell’indagine PISA,come spesso succede, non hanno dimenticato il passato ed hanno invitato tre specialisti ad effettuare un’indagine sui punteggi conseguiti dagli studenti nel 2012 quando l’indagine PISA era imperniata sulla cultura matematica. Come spesso capita nell’ambito dell’universo PISA anche questa volta l’interpretazione fornita alle possibilità d’apprendimento non è proprio quella delle origini e le possibilità d’apprendimento sono state interpretate in modo peculiare perche’ si sono esaminati solo i risultati conseguiti dall’esposizione degli studenti a determinati insegnamenti di matematica. In questo modo l’indagine PIA ripristina una correlazione con i curricoli che aveva proclamato di ignorare nel 2000.

L’analisi é stata condotta con la costruzione di alcuni indici basati sulle risposte degli studenti alle domande inserite nel questionario loro destinato. Quindi, i risultati conseguiti da questa analisi dipendono molto dalla qualità delle opinioni degli studenti e non prendono in considerazione tutta una serie di variabili che invece avrebbero potuto essere determinanti per capire i punteggi conseguiti nel test di cultura matematica per altro eccellente o per analizzare questi risultati se si fossero considerate altre possibilità d’apprendimento come per esempio quelle non scolastiche che gli studenti però praticano e assimilano. Da questo punto di vista si può quindi affermare che il documento dl’OCSE per quanto interessante è piuttosto deludente in quanto si limita a considerare le possibilità di apprendimento per alcuni aspetti della cultura matematica selezionati in funzione dell’insegnamento scolastico.

A questo punto si può citare come esempio l’Italia. Indubbiamente le possibilità d’istruzione nel Sud Italia e nelle isole non sono quelle che esistono in Lombardia oppure nella provincia autonoma di Bolzano. Questi fattori vanno presi in considerazione per dire che i punteggi conseguiti in Italia nell’indagine PISA dai quindicenni non vanno comparate alla cieca. 

La storia delle possibilità d’apprendimento (OTL)

L’analisi delle possibilità d’ apprendimento ha una lunga storia alle spalle e risale, come gia’ detto, agli inizi degli anni Sessanta del XX secolo. Gli autori del saggio affermano che l’OTL come misura della scolarizzazione si basa su una nozione di buon senso, ossia sul tempo dedicato da uno studente per apprendere qualche cosa. Il tempo è correlato a ciò che lo studente apprende. Bloom aveva gia’ succintamente espresso questo idea nel testo scritto in omaggio di Thorndike [2]. Questa idea del tempo é funzionale al concetto di scuola e di scolarizzazione inteso come impresa di istruzione/apprendimento per organizzare e strutturare il tempo degli studenti allo scopo di apprendere specifici contenuti in diverse materie elencati nei curricoli.

Agli inizi degli anni 60 John B.Carroll [3] fu tra i primi ad includere il tempo esplicitamente in un modello di apprendimento scolastico [4]. Più recentemente si è definita la possibilità di apprendimento (OTL) nei termini di specifici contenuti trattati in classe nonché’ come tempo speso per trattare questi argomenti [5].

Intrighi politici nella valutazione su larga scala 

L’OCSE ha adottato questa concezione ridotta delle OTL ristretta ossia alla variabile tempo, per misurare la scolarizzazione. Nell’indagine PISA 2012 sono stati inclusi nel questionario destinato agli studenti un certo numero di items per costruire con le risposte connesse ai punteggi un insieme di indici di OTL concettualmente correlati alla cultura matematica.

Tre indici sono stati sviluppati sulla base degli items inseriti nel questionario per gli studenti : la matematica formale, ossia un indicatore dell’esposizione degli studenti all’algebra e alla geometria dell’insegnamento in classe ; i problemi lessicali, ossia un indicatore della frequenza con la quale gli studenti incontrano difficoltà lessicali tipiche del linguaggio matematico a scuola ; e la matematica applicata, ossia un indicatore della frequenza con la quale gli studenti incontrano in classe in tutte le discipline problemi che richiedono il ricorso a concetti matematici oppure incontrano situazioni matematiche nel contesto quotidiano e nel mondo reale. Ognuno di questi indici è stato sviluppato per avere un rango tra 0 e 3 : zero significa che la frequenza con la quale gli studenti si sono imbattuti in queste situazioni é pari a nessuna ;1 pari a raramente ; due pari a qualche volta e tre pari a frequentemente.

L’OCSE ha fatto svolgere questo studio da Bill Schmidt è ha quindi legittimato l’interpretazione delle OTL da lui data ma ciò facendo l’OCSE ha anche occupato il terreno delle analisi sulle OTL grazie al prestigio di cui fruisce l’indagine internazionale PISA. Vale la pena ricordare che non esiste solo questa interpretazione delle OTL ma che ne esistono altre. Come è successo per esempio nel settore dell’equità, l’indagine PISA riprende concetti caduti in disuso oppure concetti originali ma trascurati nelle indagini valutative su larga scala del passato e fa piazza pulita di molti approcci imponendo o facendo credere che l’interpretazione dall’organizzazione internazionale fosse la sola valida è quindi fosse tale da fare scuola. La bravura degli esperti consultati ed il ricorso sistematico a formule matematiche complesse utilizzate nella costruzione di indici specifici induce facilmente a ritenere che questa interpretazione é una lezione magistrale che fornisce finalmente la via da seguire in futuro.

In conclusione si può e si deve apprezzare l’articolo pubblicato dall’OCSE sul tema delle OTL .Vale la pena sottolineare l’interesse della formalizzazione dell’analisi empirica con gli algoritmi utilizzati per costruire i tre indici delle OTL nel testo di cultura matematica del 2012, ma va anche ricordato che purtroppo è andata persa un’occasione per fornire una spiegazione non scolastica delle OTL dei punteggi conseguiti dai quindicenni nella valutazione su larga scala comparata della cultura matematica.

 

 

[strong] "Opportunity to Learn", acronimo OTL

[1] ndr.:Ossia con strumenti del tipo dei questionari cartacei

[2] Bloom, 1974  : Time and learning. American Psychologist, 29(9), quando ha affermato che "qualsiasi apprendimento, che si svolga a scuola o altrove, richiede tempo"

[3] ndr.:Anche questa é una citazione tratta dal saggio

[4] Carroll, J. B. (1963). A model of school learning. Teachers College Record, 64(8), 723-733. In questo modello l’apprendimento dello studente é in funzione sia dei fattori propri dello studente (le sue caratteristiche personali ovverosia le attitudini, l’ abilita’, e la perseveranza) sia dei fattori essenziali controllati dagli insegnanti (il tempo assegnato per apprendere e la qualità dell’istruzione)

[5] Schmidt, W. H., McKnight, C. C., Cogan, L. S., Jakwerth, P. M., & Houang, R. T. (1999) : Facing the Consequences : Using TIMSS for a closer look at US mathematics and science education.Dordrecht : Kluwer ; Schmidt, W. H., McKnight, C. C., Houang, R. T., Wang, H. A., Wiley, D. E., Cogan, L. S., et al. (2001) :Why Schools Matter : A Cross-National Comparison of Curriculum and Learning. San Francisco.Jossey-Bass 

Les documents de l'article

Schooling_Matters-pdf_OECD_READ_edition.pdf