Da dove vengono le competenze degli studenti?
PISA non è un'indagine sulla scuola!
PISA è un'indagine fatta nelle scuole dove si trovano più facilmente i quindicenni che arrivano alla fine dell'obbligo scolastico
PISA è una ricerca ibrida, nella quale si mescolano dati scolastici con dati non scolastici. E' un prodotto difficile da analizzare e gli autori del libro se ne sono resi conto
PISA misura la capacità a rispondere con successo a domande complesse che si pongono nella vita quotidiana in ambiti diversi
PISA ha l'ambizione di misurare la capacità dei quindicenni a mobilizzare le proprie risorse e capacità in situazioni inedite dove ci si imbatte in problemi complessi
PISA presuppone un tipo di scuola imperniato sullo sviluppo delle competenze che non è presente nella maggioranza dei sistemi scolastici
PISA può diventare uno strumento di pressione per imporre un tipo di scuola che oggigiorno non esiste ancora in molti sistemi scolastici
Gli studi tematici partendo dai dati PISA: orgia di lavori ormai che mobilitano istituti di ricerca in tutto il mondo. Il volume non sfugge alla tentazione dell'eccletismo citando moltissimi studi svolti in questi ultimi anni basati sui dati PISA.
Libro edito dalla fondazione Brookings sugli insegnamenti che si possono trarre dalle indagini internazionali sulla matematica. Nessun contgributo italiano.
Gli atti di un convegno tenutosi nell'autunno dello scorso anno a Washington D.C.: Loveless, T. (Ed.). (2007). Lessons Learned. What International Assessments Tell US about Math Achievement. Wahington D.C.: The Brookings Institutuion.
Libro sui risultati dell'indagine ICONA dell'IEA (indagine PIRLS secondo l'acronimo internazionale). L'indagine esamina i progressi in lettura sull'arco di dieci anni comparando i risultati del test del 1991 con quello del 2001 il che consente di capire se le riforme attuate per migliorare la capacità di lettura degli allievi di quarta elementare sono state positive oppure sono a somma zero. Nel volume non c'è nessun accenno all'Italia che ha partecipato ad entrambe le indagini.
Knut, S. (Ed.). Progress in reading Literacy. The Impact of PIRLS 2001 en 13 Countries. Münster: Waxmann.
Cosa è PISA? Articolo di Schleicher,2007
Published online: 24 July 2007 Abstract The OECD Programme for International Student Assessment (PISA), launched by governments of the Organisation for Economic Co-operation and Development (OECD) in 1997, aims at assessing some of the key competencies that contribute to the success of 15-year-old individuals, on a regular basis and within an internationally accepted framework. PISA seeks to provide a basis for policy dialogue and for collaboration in defining and implementing educational goals, in innovative ways that reflect judgements about the skills that are relevant to adult life. PISA defines competence as the ability to successfully meet complex demands in varied contexts through the mobilisation of psychosocial resources, including knowledge and skills, motivation, attitudes, emotions, and other social and behavioural components. Measuring and comparing competencies across languages and cultures is a difficult challenge and is being pursued by PISA progressively.
PISA focused its first three assessments on literacy skills, defined as the capacity of young adults to access, manage, integrate and evaluate information, to think imaginatively, to hypothesise and discover, and to communicate their thoughts and ideas effectively. The reasoning behind shifting the emphasis from assessing whether students can reproduce what they have learned towards whether they can extrapolate from what they have learned and apply their competencies in novel situations, derives from the nature of knowledge and skills required in modern life. For example, the tasks that can be solved through simple memorisation or with pre-set algorithms are those that are also easiest to digitise, automatise and offshore, and will thus be less relevant in a modern knowledge society.
Since there is no overarching cross-national and cross-cultural agreement on what fundamental competencies 15-year-olds should possess, an international assessment such as PISA can only capture a selection of competencies. Moreover, since various methodological constraints limit the nature of competencies that are currently amenable to large scale assessment, PISA cannot capture the entirety of competencies that will make young people successful. However, the findings presented in this article suggest that the competencies that PISA does assess are highly predictive for the future success of students.
In addition, PISA provides policy makers and practitioners with useful tools to improve quality, equity and efficiency in education, by revealing some common characteristics of students, schools and education systems that do well. In a modern world, comparative assessments are an essential tool for educational improvement and research shows that the existence of standardised assessments and examinations is one of the most powerful predictors for the success of an education system. That is not hard to understand, because without such assessments, all students, schools and education systems look the same, it is impossible for teachers and school administrators to detect institutional and systemic strengths and weaknesses, and to support and intervene where expectations are not met. Without reliable and comparable information on learning outcomes, teachers and governments alike rely on input-based incentives and policies that are all too often mirrored in large quality variation between schools as well as a strong dependency between learning success and the socio-economic context of students and schools. Last but not least, it is important to keep in mind that the absence of the reading, mathematical and scientific competencies measured by PISA does not automatically imply the presence of all those important competencies that have not been measured.
Studio di Checchi:un'eccezione
La ricerca non è stata condotta da pedagogisti ma da economisti
Occorre molta umiltà per lavorare sui dati:l è un lavoro certosino, monacale. Occorre porsi delle domande, ossia formulare ipotesi prima di raccogliere dati. Come fa Checchi , chiedersi per esempio come si spiega l'enorme varianza di punteggi tra scuole che si osserva in Italia
Spunti per un' analisi
Partiamo dal titolo: da dove vengono le competenze? La risposta la si trova a pag.399. Farà discutere. Dice e non dice. In primo luogo, i dati PISA non consentono di rispondere a questa domanda; in secondo luogo, bisogna arrendersi all'evidenza ed avere il coraggio di dirlo a tutte lettere: le competenze solo in minima parte si sviluppano nelle scuole.
La novità dell'analisi svolta da Checchi e collaboratori per fornire nondimeno una risposta
La disarticolazione dei dati per province e regioni
Primo tentativo di comparazione interna tra regioni e tra province: ne risulta un'Italia spaccata
Originalità: aver preso la distanza dal modello standard di lettura ed interpretazione dei dati proposto dall'OCSE e ripetuto in modo stucchevole da tutti
Un tuffo inebriante nei dati. Finalmente informazioni empiriche sulla scuola
Parare una prima obiezione: i dati non dicono tutto; la posizione dello scettico. Invece i dati dicono qualcosa, talora molto
Non è una lettura facile perché il libro è un condensato dei metodi di ricerca sulla valutazione
Perché l'Italia va male?
I dati conducono a dire che la scuola non conta molto
Quindi conta molto quanto succede fuori dalla scuola, prima e durante
Le disuguagllianze scolastiche sugli apprendimenti sono disuguaglianze sociali
Il sistema scolastico italiano rispecchia queste disuguglianze: è un sistema ingiusto
Il centralismo scolastico è fallito e non ha non solo corretto ma nemmeno attenuato la disuguaglianza socio-culturale
Alcuni limiti
Su 400 pagine, 200 sono dedicate alle comparazione internazionali, per esserepiù precisi ad un certo tipo di comparazioni internazionali basate sui dati PISA
La refenze sono meritevoli perché trattano temi pochissimo affrontati o per nulla affrontati dalla ricerca pedagogica in Italia. In un certo senso usando i dati PISA gli autori convalidano conclusioni note da tempo che i dati PISA convalidano oppure che convalidano l'interpretazione uffiaicle dei dati PISA(sono piuttosto propenso a questa seconda lettura). Per esempio mote delle affermazioni sostenute dagli autori e segnalate come contro-intuitive ( per esempio il beneficio sul piano degli apprendimenti delle classi piccole o delle scuole piccole), sono contro-intuitive solo in un mondo para-scientifico o ascientifico.
Le ricerche citate sono unilaterali, nel senso che riferiscono pressoché esclusivamente ricerche svolte negli Stati Uniti ( ed in particolari cerchie degli Stati Uniti) oppure in Germania. Questo significa che il libro, sotto le vesti della scientificità, è un libro a tesi, il che va benessimo di per sé, perché noi sappiamno che la scienza non è oggettiva, ma lo zelo degli autori non giunge al punto da mettere in dubbio i criteri di scelta delle referenze dalle quali traggono la chiave di lettura dei dati italiani
Manca tutta la ricerca psico-pedagogica e psicometrica, in particolare quella sorta attorno all'indagne PISA
Un esercizio da trapezisti senza rete: per esempio la disaggregazione per province o per regioni. Il numero delle osservazioni (26 studenti per la VDA) non consentirebbe di svolgere accostamenti ed associazioni con altri dati provenienti da altre fonti. Si è tirata al massimo la corda
Non è un'analisi pedagogica: per esempio l'analisi delle non risposte, oppure quelle degli errori non sono svolte dagli autori che hanno dato al libro un'altra impostazione, certamente per via della loro formazione di economisti. Aspettiamo dunque al varco i pedagogisti e gli psicologi.
Gli autori non prendono distanza da PISA. Ne assumono i risultati in modo acritico. Ci sono solo sette pagine (da 85 a 92) nelle quali si accenna ai limiti dei test e dei questionari PISA. Forse ciò era inevitabile in Italia dove manca qualsiasi tradizione di analisi empirica sulla scuola.
Conclusione
Plauso per questo tipo di lavoro che concorre a diffondere una cultura della valutazione empirica attualmente pressoché inesistente in Italia