Presentazione del volume di Massimiliano Bratti, Daniele Checchi e Antonio Filippin fatta a Torino il 28 novembre 2007 nella sede della Fondazione per la Scuola della Compagnia di San Paolo

Version imprimable de cet article Version imprimable

Una ricerca sulla spaccatura Nord-Sud della scuola in Italia

Il volume pubblicato dalla casa editrice "il Mulino", nella collana "Fondazione per la Scuola della Compagnia di San Paolo" analizza i risultati italiani nell’indagine internazionale PISA 2003.

Si tratta di un lavoro svolto da un gruppo di ricercatori riuniti attorno a Daniele Checchi preside della Facoltà di Scienze politiche dell’Università Statale di Milano. Checchi è uno dei rari economisti italiani dell’educazione. Il volume, assai corposo (450 pagine densissime) risente dell’influenza della letteratura economica sulle determinanti dei risultati scolastici. La pubblicazione è nondimeno degna di nota e merita di essere conosciuta e discussa. Si tratta infatti di un’analisi rigorosa ed in parte azzardata della situazione della scuola italiana come la si può inferire dall’incrocio tra i dati al test di PISA 2003, le informazioni prodotte dai questionari connessi al test rivolti agli studenti ed ai presidi, e moltissimi altri dati sullo stato dell’economia e della scuola in Italia. L’indagine mette in evidenza uno stato preoccupante : la spaccatura esistente tra Nord e Sud nella scuola italiana :

l’autoselezione degli studenti che si indirizzano verso i vari tipi di scuole secondarie superiori in funzione delle loro caratteristiche socio-culturali ;

la disuguaglianza persistente nel sistema scuola in Italia ;

l’importanza delle risorse scolastiche nella spiegazione delle disparità dei risultati nei test di competenza dell’indagine PISA ;

l’importanza della stabilità dei docenti in una scuola quando si connette questa variabile con i risultati degli studenti nei test ;

l’incidenza del capitale sociale e del contesto territoriale.

Da dove vengono le competenze degli studenti ?

Massimiliano Bratti, Daniele Checchi, Antonio Filippin

Commento in occasione della presentazione del volume svoltasi a Torino nella sede della Fondazione per la Scuola della Compagnia di San Paolo

PISA non è un’indagine sulla scuola !

- PISA è un’indagine fatta nelle scuole dove si trovano più facilmente i quindicenni che arrivano alla fine dell’obbligo scolastico

- PISA è una ricerca ibrida, nella quale si mescolano dati scolastici con dati non scolastici. E’ un prodotto difficile da analizzare e gli autori del libro se ne sono resi conto

- PISA misura la capacità a rispondere con successo a domande complesse che si pongono nella vita quotidiana in ambiti diversi

- PISA ha l’ambizione di misurare la capacità dei quindicenni a mobilizzare le proprie risorse e capacità in situazioni inedite dove ci si imbatte in problemi complessi

- PISA presuppone un tipo di scuola imperniato sullo sviluppo delle competenze che non è presente nella maggioranza dei sistemi scolastici

- PISA può diventare uno strumento di pressione per imporre un tipo di scuola che oggigiorno non esiste ancora in molti sistemi scolastici

Gli studi tematici partendo dai dati PISA : orgia di lavori ormai che mobilitano istituti di ricerca in tutto il mondo. Il volume non sfugge alla tentazione dell’eccletismo citando moltissimi studi svolti in questi ultimi anni basati sui dati PISA. - Un libro difficile da commentare : Gli autori sono molto bravi : - Conoscono molto bene il soggetto - Mettono le mani avanti e sono cauti quando avanzano su un terreno poco familiare - Anticipano le critiche

Recentissime pubblicazioni su PISA

- Il volume edito dalla fondazione Brookings sugli insegnamenti che si possono trarre dalle indagini internazionali sulla matematica. Nessun contributo italiano (Atti di un convegno tenutosi nell’autunno dello scorso anno a Washington D.C. : Loveless, T. (Ed.). (2007). Lessons Learned. What International Assessments Tell US about Math Achievement. Wahington D.C. : The Brookings Institutuion.

- Libro sui risultati dell’indagine ICONA dell’IEA (indagine PIRLS secondo l’acronimo internazionale). L’indagine esamina i progressi in lettura sull’arco di dieci anni comparando i risultati del test del 1991 con quello del 2001 il che consente di capire se le riforme attuate per migliorare la capacità di lettura degli allievi di quarta elementare sono state positive oppure sono a somma zero. Nel volume non c’è nessun accenno all’Italia che ha partecipato ad entrambe le indagini (Knut, S. (Ed.). Progress in reading Literacy. The Impact of PIRLS 2001 in 13 Countries. Münster : Waxmann).

Cosa è PISA ? Lo spiega molto bene il seguente articolo di Andreas Schleicher pubblicato on line il 24 luglio 2007 sul sito dell’OCSE e che all’OCSE dirige PISA,2007

The OECD Programme for International Student Assessment (PISA), launched by governments of the Organisation for Economic Co-operation and Development (OECD) in 1997, aims at assessing some of the key competencies that contribute to the success of 15-year-old individuals, on a regular basis and within an internationally accepted framework. PISA seeks to provide a basis for policy dialogue and for collaboration in defining and implementing educational goals, in innovative ways that reflect judgements about the skills that are relevant to adult life. PISA defines competence as the ability to successfully meet complex demands in varied contexts through the mobilisation of psychosocial resources, including knowledge and skills, motivation, attitudes, emotions, and other social and behavioural components. Measuring and comparing competencies across languages and cultures is a difficult challenge and is being pursued by PISA progressively.

PISA focused its first three assessments on literacy skills, defined as the capacity of young adults to access, manage, integrate and evaluate information, to think imaginatively, to hypothesise and discover, and to communicate their thoughts and ideas effectively. The reasoning behind shifting the emphasis from assessing whether students can reproduce what they have learned towards whether they can extrapolate from what they have learned and apply their competencies in novel situations, derives from the nature of knowledge and skills required in modern life. For example, the tasks that can be solved through simple memorisation or with pre-set algorithms are those that are also easiest to digitise, automatise and offshore, and will thus be less relevant in a modern knowledge society.

Since there is no overarching cross-national and cross-cultural agreement on what fundamental competencies 15-year-olds should possess, an international assessment such as PISA can only capture a selection of competencies. Moreover, since various methodological constraints limit the nature of competencies that are currently amenable to large scale assessment, PISA cannot capture the entirety of competencies that will make young people successful. However, the findings presented in this article suggest that the competencies that PISA does assess are highly predictive for the future success of students.

In addition, PISA provides policy makers and practitioners with useful tools to improve quality, equity and efficiency in education, by revealing some common characteristics of students, schools and education systems that do well. In a modern world, comparative assessments are an essential tool for educational improvement and research shows that the existence of standardised assessments and examinations is one of the most powerful predictors for the success of an education system. That is not hard to understand, because without such assessments, all students, schools and education systems look the same, it is impossible for teachers and school administrators to detect institutional and systemic strengths and weaknesses, and to support and intervene where expectations are not met. Without reliable and comparable information on learning outcomes, teachers and governments alike rely on input-based incentives and policies that are all too often mirrored in large quality variation between schools as well as a strong dependency between learning success and the socio-economic context of students and schools. Last but not least, it is important to keep in mind that the absence of the reading, mathematical and scientific competencies measured by PISA does not automatically imply the presence of all those important competencies that have not been measured.

Miseria della produzione italiana - La ricerca pedagogica italiana è latitante su questi temi - Lo studio di Checchi e collaboratori è un’eccezione - La ricerca non è stata condotta da pedagogisti ma da economisti

Occorre molta umiltà per lavorare sui dati : è un lavoro certosino, monacale. Occorre porsi delle domande, ossia formulare ipotesi prima di raccogliere dati. Come fa Checchi , chiedersi per esempio come si spiega l’enorme varianza di punteggi tra scuole che si osserva in Italia :

- Le valutazioni internazionali sono ricerche complesse - Uno dei loro grandi pregi : la banca dati documentata e pubblica

Spunti per un’ analisi

- Partiamo dal titolo : da dove vengono le competenze ? La risposta la si trova a pag.399. Farà discutere. Dice e non dice. In primo luogo, i dati PISA non consentono di rispondere a questa domanda ; in secondo luogo, bisogna arrendersi all’evidenza ed avere il coraggio di dirlo a tutte lettere : le competenze solo in minima parte si sviluppano nelle scuole.

- La novità dell’analisi svolta da Checchi e collaboratori per fornire nondimeno una risposta

- La disarticolazione dei dati per province e regioni

- Primo tentativo di comparazione interna tra regioni e tra province : ne risulta un’Italia spaccata

- Originalità : aver preso la distanza dal modello standard di lettura ed interpretazione dei dati proposto dall’OCSE e ripetuto in modo stucchevole da tutti

- Un tuffo inebriante nei dati. Finalmente informazioni empiriche sulla scuola

- Parare una prima obiezione : i dati non dicono tutto ; la posizione dello scettico. Invece i dati dicono qualcosa, talora molto

- Non è una lettura facile perché il libro è un condensato dei metodi di ricerca sulla valutazione

Perché l’Italia va male ?

Non lo si capisce. Proviamo a dare una risposta :

- I dati conducono a dire che la scuola non conta molto

- Quindi conta molto quanto succede fuori dalla scuola, prima e durante

- Le disuguagllianze scolastiche sugli apprendimenti sono disuguaglianze sociali

- Il sistema scolastico italiano rispecchia queste disuguglianze : è un sistema ingiusto

- Il centralismo scolastico è fallito e non ha non solo corretto ma nemmeno attenuato le disuguaglianze socio-culturali

La risposta degli autori :

- Le competenze si formano nella scuola - La scuola italiana nel suo insieme è mal messa ; le disparità territoriali sono enormi - La scommessa degli autori : -Miglioriamo la scuola, correggiamo i difetti del centralismo scolatico, ed i risultati miglioreranno

Che fare ?

- Approfondire l’analisi con un taglio psicopedagogico - Impostare indagini complementari in Italia per non essere PISA dipendenti - Elaborare una politica della valutazione - Approfondimenti tematici possibili : - Le competenze degli studenti della popolazione immigrata di recente in Italia - Le competenze per genere - Correlazioni tra risultati nei test e atteggiamenti dei docenti nei confronti degli studenti

Alcuni limiti del lavoro di Checchi e consoci

- Su 400 pagine, 200 sono dedicate alle comparazione internazionali, per esserepiù precisi ad un certo tipo di comparazioni internazionali basate sui dati PISA

- La refenze sono meritevoli perché trattano temi pochissimo affrontati o per nulla affrontati dalla ricerca pedagogica in Italia. In un certo senso usando i dati PISA gli autori convalidano conclusioni note da tempo che i dati PISA convalidano oppure che convalidano l’interpretazione uffiaicle dei dati PISA(sono piuttosto propenso a questa seconda lettura). Per esempio mote delle affermazioni sostenute dagli autori e segnalate come contro-intuitive ( per esempio il beneficio sul piano degli apprendimenti delle classi piccole o delle scuole piccole), sono contro-intuitive solo in un mondo para-scientifico o ascientifico.

- La ricerca è unilaterale , nel senso che si riferisce pressoché esclusivamente a ricerche svolte negli Stati Uniti ( ed in particolari cerchie degli Stati Uniti) oppure in Germania. Questo significa che il libro, sotto le vesti della scientificità, è un libro a tesi, il che va anche bene di per sé, perché noi sappiamno che la scienza non è oggettiva, ma lo zelo degli autori non giunge al punto da mettere in dubbio i criteri di scelta delle referenze dalle quali traggono la chiave di lettura dei dati italiani

- Manca tutta la ricerca psico-pedagogica e psicometrica, in particolare quella sorta attorno all’indagne PISA

- Un esercizio da trapezisti senza rete : per esempio la disaggregazione per province o per regioni. Il numero delle osservazioni (26 studenti per la VDA) non consentirebbe di svolgere accostamenti ed associazioni con altri dati provenienti da altre fonti. Si è tirata al massimo la corda

- Non è un’analisi pedagogica : per esempio l’analisi delle non risposte, oppure quelle degli errori non sono svolte dagli autori che hanno dato al libro un’altra impostazione, certamente per via della loro formazione di economisti. Aspettiamo dunque al varco i pedagogisti e gli psicologi.

- Gli autori non prendono distanza da PISA. Ne assumono i risultati in modo acritico. Ci sono solo sette pagine (da 85 a 92) nelle quali si accenna ai limiti dei test e dei questionari PISA. Forse ciò era inevitabile in Italia dove manca qualsiasi tradizione di analisi empirica sulla scuola.

Conclusione

Plauso per questo tipo di lavoro che concorre a diffondere una cultura della valutazione empirica attualmente pressoché inesistente in Italia

Les documents de l'article

Checchi_Pisa.jpg
Pres_Checchi_Torino.mm.html