Presentazione di una nota dello SRED ( Service de la Recherche sur l’Education) di Ginevra riguardante un caso di problem solving, l’acquisto di una bicicletta, proposto dall’OCSE nel 2003 come test per misurare le competenze di problem solving degli adulti.

Version imprimable de cet article Version imprimable

Valutazione delle competenze

Agi inizi del primo decennio del XXI secolo il gruppo che all’OCSE attorno a Andreas Schleicher metteva a punto l’indagine PISA e poi l’indagine ALL e l’indagine PIAAC si era prefisso di proporre un test per misurare alcune competenze chiave. Siccome l’elaborazione di un test simile non e’ affatto semplice si e’ optato per un compromesso: i sistemi scolastici interessati a un simile esercizio avevano l’opzione di sceglierla o di rifiutarla. L’adozione di un test sulle competenze ha una lunga storia alle spalle: se ne e’ parlato nel gruppo di lavoro che poi ha elaborato l’indagine PISA fin dal 1990 e si e’ giunti a una proposta ancora generica ma assai concreta con il progetto DESECO dopo un primo tentativo operativo svoltosi negli anni 1994-95 con il progetto CCC ( Cross curriculum comoetencies) i cui risutati furono presentati all’Assemblea del progetto INES tenutasi a Lahti in Finlandia nel 1995. Alla fine del secolo scorso si prese una decisione drastica. Occorreva concentrarsi su una sola competenza: quella per risolvere i problemi ( problem solving). Il test fu messo a punto e fu proposto come opzione nell’indagine ALL e nell’indagine PISA 2003.Non si tennero conto delle obiezioni e delle osservazioni formulate da diversi specialisti a proposito dell’impostazione del test. Si fece tra l’altro osservare che il formato di un test su una competenza come il problem solving non poteva essere quella di un test cartaceo. Simii osservazioni furono fatte anche nei gruppi che avevano messo a punto i test CCC. La scelta adottata dall’OCSE fu molto pragmatica ma anche tremendamente riduttiva.Occorre ripensare la questione e sperimentare modalita’ di misura innovative.

Mi capita sottomano la valutazione fatta nel 2002-2003 da due ricercatori dello SRED di Ginevra di cui ero allora direttore di una competenza proposta all’OCSE da esperti europei nell’ambito della preparazione degli strumenti dell’indagine ALL ( Adut Literacy and Life Skills Survey). L’indagine ALL fu la seconda indagine internazionale sulle conoscenze e competenze degli adulti. La prima fu l’indagine IALS svoltasi tra il 1994 e il 1998. Dopo d’allora l’OCSE ha preso in mano l’indagine sugli adulti che fino ad allora era patrocinata in tandem dal’OCSE e dall’Ufficio Canadese di Statistica. L’OCSE ne ha condotta una in proprio nel 2012 detta indagine PIAAC (chi ne vorrebbe sapere di piu’ esegua una ricerca in questo sito con l’acronimo PIAAC). L’OCSE voleva inserire negli strumenti di indagine ( i test) uno sulle competenze che completasse il ventaglio canonico dei tre test ripsettivamente sulla literacy, ossia sulla comprensione dei testi scritti, sulla cultura matematica e sulla cultura scientifica. Uno dei temi privilegiati da aggiungere alla triade classica era appunto quello delle competenze e tra queste la capacita’ di risolvere problemi ( problem solving). Un gruppo di esperti aveva proposto una dozzina di problemi , ossia di situazioni pratiche da risolvere utilizzabili in una valutazione a base di test. Lo SRED fu invitato a valutare la pertinenza di una situazione della lista di dodici proposte , se ben ricordo, formulate dalla commissione, ossia quella delle competenze mobilitate per acquistare una bicicletta.

Gli obiettivi dell’incarico:

  • Effettuare la vautazione di un test preparato per l’indagine ALL;
  • Esplorare come gli adulti trattano il problema "comperare una bicicletta" che era tra l’altro uno dei compiti selezionati come item della soluzione dei problemi;
  • Esplorare come gli adulti concepiscono un probema quotidiano da risolvere nella vita pratica

I ricercatori dello SRED ( Jean Jacques Ducret e Jacqueiine Lurin) hanno adottato una procedura quaiitativa, di stampo piagetiano, per assolvere il compito loro impartito. Si riporta in questa sede una versione raccorciata in libera traduzione italiana di una presentazione effettuata da Jacqueline Lurin all’incontro annuale dell’AERA ( American Educational Research Association) tenutosi a Chicago nel 2003. 

La domanda di ricerca fu la seguente:

  • Il risultato nel test e’ indicativo di una competenza? Si osserva un esito prodotto da un insieme complesso di meccanismi o di procedure ( per esempio l’interesse del’adulto per il compito , il ragionamento, la situazione contestuale, ecc.).

Procedura dell’indagine impostata dallo SRED

La procedura e’ tipicamente qualitativa: sono stati intervistati 11 adulti disoccupati, tra i 29 e i 49 anni , ognuno con un profilo professionale e scolastico del tutto personale. 

Le interviste sono state approfondite e si sono svolte su tre piani:

  • Dopo ogni passo, l’adulto era invitato a spiegare la procedura usata per risolvere il problema;
  • Alla fine del test, l’adulto fu invitato a spiegare come avrebbe risolto il problema nella vita reale;
  • Finalmente era invitato a definire che cosa costituisce un problema nella vita quotidiana.

 

Le interviste sono state ritrascritte e in seguito analizzate, codificate e classificate.

 

Il problema

Il problema fu imposto dal gruppo di esperti dell’OCSE . La questione da risolvere era la seguente: Comperare una bicicletta

La missione:" Immagina che tu , il tuo partner e tuo figio di 4 anni vivete alla periferia di una grande citta’ e che non possedete un’automobile. Pero’ ti piacerebbe esplorare i dintorni della citta’ ogni fine settimana , godere dei magnifici paesaggi che la circondano. Per accrescere la tua mobilita’, vorresti comperare una bicicletta il piu’ rapidamente possibile. Sfortunatamente non hai mai avuto prima d’ora una grande esperienza con le biciclette."

Erano proposte otto tappe per risolvere il problema:

  • raccogliere informazioni sul mercato delle biciclette;
  • determinare che tipo di bicicletta conveniva;
  • Pianificare come procedere;
  • Fare un appuntamento con il venditore di bicilette;
  • Comparare vari tipi di biciclette per quel che concerne l’equipaggiamento e gli accessori;
  • Comparare i prezzi;
  • Soppesare i vari argomenti;
  • Scegliere gli accessori appropriati.

Osservazioni generali dedotte dall’indagine

Gi inventori del test si prefiggevano di simulare i differenti compiti che si pongono quando si intende specificare in modo realistico un’attivita’ di risoluzione dei problemi.

Orbene, le varie tappe della risoluzione del problema sono state pre-determinate. Se ne propongono infatti otto. I legami tra il probema e la realta’ quotidiana sono pero’ molteplici e non sono riducibili a questi otto .Il contesto del problema posto e’ molto ambiguo. Ci sono deformazioni culturai e sociologiche che entrano in gioco.

Che cosa si richiede per risovere il probema posto?

Competenze conoscitive:

  • elementari: logiche, aritmetiche, lettura;
  • complesse: capire il problema in se’ e per se’.

Competenze metaconoscitive:

  • Scegliere la strategia appropriata, controllare le soluzioi, ecc.

Competenze personali:

  • self-control,controllare l’investimento personale nell’esecuzione del compito, le relazioni individuai con altre persone, ecc.

Competenze specifiche che il test di questo problema (l’acquisto di una bicicletta) non misura

  • Comportamenti di regolazione per fronteggiare gli insuccessi;
  • Approccio flessibile o rigido;
  • Anticiazione degi ostacoli;
  • Adattamento dei comportamenti. Per esempio sapere quando non e’ necessario essere precisi

Conclusione

Date le differenze evidenti tra i compito scritto e il problema quotidiano, il caso proposto valuta soprattutto la capacita’ di effettuare un ragionamento analitico e non la competenza a risolvere i problemi in se’ e per se’.

La competenza non e’ sempre osservata ; e’ in parte dedotta, la si inferisce.

Le conclusioni dei due ricercatori dello SRED che qui sono state sommariamente riportate non sono state prese in considerazione. Invece di procedere con indagini complementari per esplorare la questione in modo da evitare il formato lineare e temporale inerente a un test presentato in forma scritta , si e’ andati avanti e si e’ proposto nell’indagine ALL una opzione sulla soluzione dei probemi che nn teneva affatto conto delle obieziuoni formulate dall’indagine ginevrina. I test di soluzione dei problemi potrebbeo per esempio essere presentati in un fomato computerizzato, come una simulazione. Ma cio’ costa e richiede un lavoro a monte molto piu’ esigente che non la scrittura di un test. Con la simulazione le traiettoire particolari scelte dagli adulti potrebbero essere memorizzate dal computer e costituirebbero una fonte importante di informazione sulle strategie adottate dagli aduti quando devono risovere un problema.

Non conosco gli strumenti proposti nell’indagne PIAAC e quindi non so se fu offerta anche una opzione "problem solving".Forse pero’ e’ in questa direzione che ci si ata avviando ora, una decina d’anni dopo le osservazioni dello SRED.