Presentazione di tre documenti che fanno il punto sulla metodologia sperimentale nella ricerca scientifica in pedagogia.

Version imprimable de cet article Version imprimable

Quali fattori rendono valida la ricerca pedagogica?

In Italia quasi ogni proposta di legge, di circolare amministrativa, di regolamento passa per la sperimentazione. Questa è al centro anche dell’autonomia scolastica: le scuole hanno infatti l’autonomia di ricerca e quindi di sperimentare. Come? Questo è un altro paio di maniche. Cosa significa sperimentare nel campo scolastico? Cosa è la ricerca in pedagogia, se per pedagogia non si intende più la filosofia dell’educazione? Nel campo delle scienze dell’educazione come si fa ricerca? Quali sono i crismi della validità scientifica di una ricerca nel campo scolastico? Si possono applicare nella scuola e nei sistemi scolastici gli standard di qualità applicati nella ricerca scientifica "tout court"? Queste domande sono trattate nei tre documenti presentati in quest’articolo.

Le riforme scolastiche costano. Non si possono fare a buon mercato. Questo è un dato di fatto scontato. Lo sanno anche i dirigenti della scuola ed i responsabili politici. Quando non si vogliono fare riforme scolastiche, per tutta una serie di ragioni che è inutile qui esplicitare, basta tagliare i fondi della ricerca scientifica sull’istruzione e la scolarizzazione, lasciare andare l’insegnamento per il proprio verso, oppure fare finta di ricercare con sperimentazioni fasulle, improvvisate, che non seguono un rigoroso protocollo d’indagine. In Italia, si applicano entrambe le strategie. L’accumulazione di disguidi e problemi nel sistema scolastico italiano non è quindi sorprendente. Infatti non si combatte il degrado dei risultati della scuola, non si riduce il disagio di molti insegnanti , allievi e dirigenti in un sistema che affonda lentamente nell’indifferenza, non si attenua la produzione di ingiustizie e squilibri macroscopici sul territorio nazionale senza uno sforzo appropriato di ricerca scientifica sulla scuola. I risultati del settore statale e del sistema d’istruzione in genere interessano quasi nessuno, i dati mancano per svolgere analisi pertinenti, mentre il discorso scolastico scodellato dai responsabili maschera una situazione allarmante, da capogiro. La denegazione è prassi corrente nel discorso scolastico italiano, tranne qualche eccezione, ma quest’operazione è resa possibile dalla mancanza di dati rigorosi, verificati, frutto di indagini rigorosamente condotte.

Il sistema scolastico italiano va a catafascio, si potrebbe dire, nonostante l’impegno encomiabile di molti insegnanti, studenti, genitori per tenerlo sui binari di un’accettabile servizio. Il diploma scolastico in Italia è ormai solo un pezzo di carta e la meritocrazia, con tutti i suoi limiti, non è più un fattore di riconoscimento sociale dei saperi scolastici. Orbene, non è possibile governare un sistema dalle dimensioni di quello scolastico con mezze misure, con espedienti, scappatoie, invenzioni retoriche, narrazioni discorsive che rappresentano una situazione irreale. Molti barano sulla scuola impunemente perché non c’è nessun dato per smentirli. Il governo di un sistema scolastico, la conduzione delle scuole, il miglioramento delle prestazioni di un servizio pubblico esigono moltissima ricerca sperimentale, controlli permanenti, banche dati pubbliche, conoscenze verificate e comprovate. Senza un investimento adeguato nella ricerca scientifica sulla scuola non si può migliorare l’istruzione, gli insegnanti vengono lasciati allo sbando, i politici continuano a raccontare quel che vogliono , senza tema di essere contestati.

I tre documenti presentati in quest’articolo documentano il dibattito in corso sulle caratteristiche della ricerca scientifica nel campo scolastico. I tre documenti condividono una preoccupazione comune: quella della raccolta di prova per accertare la validità delle riforme o dei cambiamenti e quindi, indirettamente, quella del metodo sperimentale, del confronto dei risultati tra un gruppo campione che partecipa all’esperienza ed un gruppo di controllo scelto a caso. Questo problema è apparso sul proscenio della ricerca scientifica sulla scuola una decina di anni fa negli Stati Uniti quando la maggioranza repubblicana ha imposto all’amministrazione federale un cambiamento di rotta radicale nel finanziamento dei progetti federali, delle riforme, dei laboratori di ricerca sulla scuola, esigendo che ogni indagine sulla scuola finanziata con fondi federali si svolgesse secondo una metodologia imperniata su prove sperimentali simili a quelle previste nei protocolli d’indagine applicati in campo farmaceutico, con scuole sperimentali comparate a scuole di controllo. [1] A parte i problemi di ordine etico e quelli di natura pratica posti da questa esigenza, occorre però riconoscere che l’indirizzo imposto dalle autorità federali ha avuto parecchie ricadute nel settore della ricerca, in particolare nelle indagini avviate nell’ambito dell’applicazione della riforma NCLB (No Child Left Behind).

La discussione in corso sulla ricerca scientifica sulla scuola ruota soprattutto attorno ai punti seguenti:

- l’impostazione di politiche e pratiche scolastiche su prove fondate scientificamente, che possono essere verificate e confutate;
- il miglioramento della qualità della ricerca scientifica sulla scuola che si consegue fornendo risultati probanti di natura causale (a tale intervento corrisponde tale effetto);
- l’adozione di metodi impostati in funzione di questo obiettivo, privilegiando in particolare i protocolli sperimentali (o quasi-sperimentali) nonché l’analisi comparata sistematica delle ricerche condotte sullo stesso tema (meta-analisi), come per esempio l’effetto delle bocciature o delle ripetizioni oppure l’effetto della diminuzione del numero di allievi per classe.

Il primo documento è una memoria della Veille scientifique et technologique dell’Istituto Nazionale Francese della Ricerca Pedagogica (INRP) di Lione, redatta da Olivier Rey, che descrive bene il problema dell’ "Evidence Based Education" (ossia della ricerca basata su prove evidenti), fondandosi su una selezione assai completa di articoli ed opere recenti. Eccellente bibliografia alla fine della memoria. Olivier Rey

Il secondo documento è la relazione commissionata dall’ American Educational Research Association ad un gruppo di esperti diretta da Barbara Schneider [2] della Michigan State University, i cui membri erano William Schmidt, pure della Michigan State University, Martin Carnoy e Richard Shavelson, entrambi alla Stanford University, e Jeremy Kilpatrick dell’Università di Georgia (in allegato due comunicati stampa dell’AERA) e AERA Estimating Causal Effects: Using Experimental and Observational Designs (PDF) (vedi allegato) La presa di posizione dell’AERA, un documento di 142 pagine, ISBN: 978 - 935302344 - 7, ottenibile su pagamento rivolgendosi direttamente al servizio vendita dell’AERA, al costo di 26,95 US$ che è stata presentata al recente congresso annuale dell’Associazione (l’88esimo della serie) l’11 aprile scorso a Chicago, afferma con solidi argomenti che gii esperimenti scientifici come quelli auspicati dalle autorità federali statunitensi non sono la sola via per raccogliere prove convincenti sulla validità di una riforma o di una innovazione, ma che ci sono anche altri metodi altrettanto validi per certificare quello che funziona a scuola (What works). Questo documento contesta la rigidità della politica federale americana condotta dalla maggioranza repubblicana nel campo della ricerca scientifica sull’istruzione. Si tratta di un documento rilevante che esprime il punto di vista della comunità scientifica operante nel settore della scuola che subisce l’arroganza della politica federale sulla scuola. Orbene, per la presidente del comitato dell’AERA che ha preparato la relazione sui metodi di ricerca in risposta alle pretese dell’amministrazione di Bush di riconoscere valido un solo modello metodologico, quello simile al modello in auge nell’industria farmaceutica per attestare la validità dei medicinali prima di ottenere l’autorizzazione di metterli in vendita, ci si sbaglia d’ obiettivo impuntandosi su posizioni radicali estreme, pro o contro un determinato metodo. Per l’AERA quel che conta è preparare ricercatori in grado di servirsi di una larga gamma di metodi di ricerca in funzione degli obiettivi da verificare e delle ipotesi di ricerca da comprovare.

Ci sono limiti invalicabili in certe situazioni. Per esempio, per verificare cosa succede nel caso di bocciature, non si può chiedere alle scuole di fare ripetere la classe ad un gruppo di studenti scelti a caso e di promuoverne altri pure scelti a caso. Per altro, secondo Richard J. Shavelson, [3], esistono eccellenti banche dati che permettono di valutare le esperienze anche se non corrispondono alle banche dati costituite con informazioni provenienti da esperienze svolte secondo il modello "in cieco" od "in doppio cieco".

Un aspetto importante sul quale si sofferma la relazione dell’AERA è il progresso rappresentato dalla statistica delle valutazioni su larga scala. Spesso, in queste indagini ci si imbatte in gravi limiti d’interpretazione quando i gruppi che si studiano diventano troppo piccoli (per esempio in Italia il numero degli studenti delle classi agiate che frequentano le scuole paritarie) con la conseguenza che non si possono compararne i risultati con quelli di altri gruppi ( gli studenti della stessa categoria nelle scuole statali, tanto per per restare nello stesso esempio) senza correre il rischio di trarre conclusioni errate generalizzando le osservazioni. Orbene, in questo campo si sono fatti progressi considerevoli per ridurre le potenziali deformazioni dei confronti tra gruppi. La commissione dell’AERA ne cita quattro:
- Fixed-effects models, which involve adjusting for unmeasured characteristics that don’t change over time, such as the impact of a mother’s personality on children in the same family;
- Testing for instrumental variables, which are characteristics that should be linked with the treatment but not with the outcome;
- Propensity scoring, a method that calls for building statistical profiles that predict the probability that individuals with certain characteristics will be part of a treatment group and testing results against alternative hypotheses; and
- Regression-discontinuity analyses, a technique in which researchers compare subjects that fall just below or just above some cutoff point, such as a proficient level on a standardized test.

Il terzo documento Distinguished Contributions to Education Research Award (2006) Lecture - Stephen W. Raudenbush è la prolusione di Stephen W. Raudenbush tenuta il 12 aprile scorso, sempre durante il congresso annuo 2007 dell’AERA, in occasione dell’omaggio resogli dalla comunità scientifica americana con l’attribuzione della distinzione per contributi eccezionali alla ricerca scientifica sull’istruzione e la scuola. Raudenbusch insegna metodi e strumenti di ricerca sulla scuola e l’istruzione all’università di Chicago ed è uno degli specialisti più rispettati in questo campo negli Stati Uniti, noto per la raffinatezza statistica delle sue indagini, per il rigore delle analisi e per le sue eccelse doti didattiche. In occasione del premio, Steve Raudenbush ha tenuto una brillante relazione su come si possono studiare cause ed effetti dell’insegnamento in classe. ("How Shall We Study the Causes and Effects of Classroom Teaching?"). In questa relazione , che qui si può seguire con una registrazione "in live" parallela alle slides della presentazion in PowerPoint, anche Raudensbush affronta il tema del confronto metodologico con gli esperimenti clinici in medicina e descrive le implicazioni per l’organizzazione delle indagini sperimentali nella scuola e sull’istruzione. Le differenze tra la medicina e l’istruzione scolastica sono profonde ed occorre tenerne conto.

In conclusione, Raudenbush insiste sulla necessità di continuare ad occuparsi della misura degli effetti dell’insegnamento. Le difficoltà dell’impresa e gli ostacoli che si incontrano in questo tipo di indagini non sono un argomento accettabile per rinunciare a proseguire i lavori. La trasposizione dei metodi in auge in campo farmaceutico non funziona nel settore scolastico, ma ciò non significa che si debba escludere a priori qualsiasi metodologia di misura e l’elaborazione di strumenti di indagini adeguati per sapere cosa funziona o non funziona nell’insegnamento. C’è ancora moltissimo lavoro da fare per approntare protocolli di ricerca che permettano di misurare e quindi valutare gli effetti dell’insegnamento. Questa sarà una delle più promettenti ed esigenti direzioni di lavoro per la ricerca pedagogica nel corso dei prossimi anni.

[1] La comunità scientifica americana che si occupa d’istruzione andò in subbuglio. La comunità scientifica americana comprende più di 10000 membri ed è riunita in un’organizzazione, l’AERA, ovverossia l’American Educational Research Association, che si riunisce una volta all’anno ad inizio primavera.

[2] Presidente del comitato e professore di sociologia dell’educazione e d’amministrazione della scuola

[3] Uno degli autori della relazione AERA, professore di psicologia all’Università di Stanford

Les documents de l'article

Causal_Effects_v2.pdf
NRCausalityRelease.pdf