Bibliografia realizzata da Joachim Wuttke.

Version imprimable de cet article Version imprimable

PISA: l’altra faccia della medaglia

Considering the political impact of PISA, there has been surprisingly little discussion of its methodological and ideological foundations. In many OECD countries, trenchant critique was voiced but for long time, critics remained isolated; their contributions appeared in different languages and in disperse locations. Only recently, an international collection of essays (Hopmann, Brinek, Retzl 2007) has given a first overview over issues that need to be debated:

No step in the research process seems to be without substantial problems, several steps do not meet rigorous scholarly standards.

Joachim Wuttke: OECD/PISA. Eine kritische Online-Bibliographie/ A Critical Online Bibliography (cliccare sul titolo per ottenerla).

Questa bibliografia non è del tutto convincente. Vi si mescolao contributi di varia natura: articoli polemici e analisi scientifiche, testi narrativi e articoli accademici. Non tutto il materiale riunito da Wuttke è convincente. Per altro è deprecabile la mancanza di un’altra classificazione, quella tematica. Quindi questa lista soffre di almeno due punti deboli:

- la mancanza di una valutazione della qualità delle fonti (non si può mettere tutto il materiale sullo stesso piano) e

- l’assenza di una topologia strutturata. Solo con una procedura rigorosamente metodica si possono reperire i punti sui quali la critica si concentra e quella sui quali invece è carente.

La lista pecca inoltre dal punto di vista della copertura linguistica e culturale. La maggior parte dei testi citati provengono dall’area tedesca (austriaca e germanica). Difettano analisi rilevanti svolte nel mondo anglosassone (inglese e canadese).

Il testo principale è il volume curato da Stefan Thomas Hopmann, Gertrude Brinek, Martin Retz: PISA zufolge PISA – PISA According to PISA Hält PISA, was es verspricht? – Does PISA Keep What It Promises?, vol. 6 della serie "Schulpädagogik und Pädagogische Psychologie" curata da Richard Olechowski dell’università di Vienna, per la casa editrice LIT, Vienna e Berlino, pubblicato nel 2007. I curatori hanno riunito contributi di vari autori che sollevano dubbi metodologici sulla pertinenza dell’indagine.

Riportiamo l’indice:

Inhalt/Table of content

Zu diesem Buch

Vorwort by Richard Olechowski

Introduction: PISA According to PISA – Does PISA Keep What It Promises? by Stefan T. Hopmann/Gertrude Brinek

What Does PISA Really Assess? What Does It Not? A French View , by Antoine Bodin

Testfähigkeit – Was ist das? By Wolfram Meyerhöfer

PISA – An Example of the Use and Misuse of Large-Scale Comparative Tests, by Jens Dolin

Language-Based Item Analysis – Problems in Intercultural Comparisons, by Markus Puchhammer

England: Poor Survey Response and No Sampling of Teaching Groups, by S J Prais

Disappearing Students PISA and Students With Disabilities, by Bernadette Hörmann

Identification of Group Differences Using PISA Scales – Considering Effects of Inhomogeneous Items, by Peter Allerup

PISA and “Real Life Challenges”: Mission Impossible? By Svein Sjøberg

PISA – Undressing the Truth or Dressing Up a Will to Govern? By Gjert Langfeldt

Uncertainties and Bias in PISA, by Joachim Wuttke

Large-Scale International Comparative Achievement Studies in Education: Their Primary Purposes and Beyond, by Rolf V. Olsen

The Hidden Curriculum of PISA – The Promotion of Neo-Liberal Policy By Educational Assessment, by Michael Uljens

Deutsche Pisa-Folgen, by Thomas Jahnke

PISA in Österreich: Mediale Reaktionen, öffentliche Bewertungen und politische Konsequenzen, by Dominik Bozkurt, Gertrude Brinek, Martin Retzl

Epilogue: No Child, No School, No State Left Behind: Comparative Research in the Age of Accountability, by Stefan T. Hopmann

I curatori denunciano, nell’introduzione, la presenza di una congiura del silenzio attorno a PISA e dichiarano di essersi imbattuti in molti ostacoli per ottenere i contributi. In altri termini, il mondo scientifico che gravita attorno a PISA fa blocco e secondo i curatori è impermeabile alle critiche. Quest’aspetto non è nuovo e non riguarda solo PISA. E’ un comportamento che si osserva sovente nelle comunità scientifiche. Per altro PISA non è solo un’indagine scientifica; è anche ed è soprattutto un’operazione politica, è una valutazione dei risultati conseguiti alla fine della scuola dell’obbligo, e per di più è un’indagine pilotata da una potente organizzazione internazionale ( l’OCSE) che di per sé è impenetrabile.

La conoscenza delle procedure di lavoro di queste organizzazioni, della ripartizione delle responsabilità al loro interno, delle modalità decisionali e quindi anche di quelle di finanziamento, non si possono conoscere se non entrando n elle organizzazioni e nei progetti. La complicità che lega i partecipanti tra loro impedisce l’uscita delle informazioni. Vengono a galla solo quelle che sono autorizzate o quelle che sono deliberatamente diffuse. Non è quindi sorprendente che i curatori del volume viennese si lamentino. Sono esclusi dal giro delle informazioni, delle decisioni e dei finanziamenti. Per questa ragione le loro critiche vanno prese con precauzione perché sono spesso venate di premesse vendicative. In ogni modo ben venga il dibattito e il confronto. Ne va di mezzo il rigore etico della verifica scientifica. Non ci si meravigli se è arduo affrontarlo, se una parte degli interlocutori si dilegua. Ciò è umano

Riproduciamo qui di seguito il testo della presentazione in tedesco dei curatori Stefan T. Hopmann, Gertrude Brinek, Martin Retzl, per i quali PISA non mantiene le promesse.

„PISA zufolge PISA“ (PISA According to PISA) war Thema eines Symposiums, das im März 2007 an der Universität Wien von der Forschungseinheit fuer Schul- und Bildungsforschung des Instituts fuer Bildungswissenschaft durchgefuehrt wurde. Zu dieser Veranstaltung hatten wir einige Kritiker der vorliegenden PISA-Studien eingeladen, aber auch Vertreter des österreichischen PISAKonsortiums, die jedoch leider kurzfristig absagen mussten. Unser Ziel war eine Versachlichung der Debatte ueber PISA, weg vom politisch-ideologischen Streit ueber PISA und hin zu einer Analyse der methodologischen Voraussetzungen und Folgen des PISA-Projektes, genauer gesagt der Frage: Ob PISA bei gegebenem Design halten kann, was es in seinen Analysen und Berichten zu erklären verspricht. Bei dieser Veranstaltung wurde die Frage gestellt, ob und wie PISA international als wissenschaftliches Vorhaben diskutiert wird. Wir haben dies zum Anlass genommen, den vorliegenden Band zu gestalten. Trotz seiner enormen Breitenwirkung hat PISA in der vergleichenden Bildungsforschung bislang kaum internationale, wohl aber eine Reihe von nationalen Nachfragen ausgelöst (vgl. Hopmann & Brinek in diesem Band). Fuer diesen Band haben sich nun erstmals länderuebergreifend achtzehn ForscherInnen aus sieben Ländern (Dänemark, Deutschland, England, Finnland, Frankreich, Norwegen und Österreich) zusammengefunden, um PISA kritisch von allen Seiten unter die Lupe zu nehmen, und zwar den gesamten Forschungsprozess vom Design und den Erhebungsinstrumenten über die Durchführung und Datenanalyse bis hin zur öffentlichen Präsentation der Daten. Berücksichtigt wurden dabei alle einschlägig relevanten wissenschaftlichen Zugänge zu PISA: empirische Bildungsforschung, Forschungsmethodologie, Statistik, die allgemeine und die einschlägigen Fachdidaktiken. Fast alle Beteiligten verfügen über langjährige Erfahrungen in der vergleichenden Bildungsforschung oder verwandten Unternehmungen, einige waren zumindest zeitweise auch direkt an PISA- Forschungen beteiligt.

Bei allem Respekt für das grossartige Engagement der OECD und der nationalen PISA-Konsortien, fällt das Ergebnis sehr ernüchternd aus: PISA hält nicht annähernd, was PISA verspricht, und kann das mit den angewandten Mitteln auch gar nicht leisten! Das PISA-Projekt ist offenkundig mit so vielen Schwachstellen und Fehlerquellen belastet, dass sich zumindest die populärsten Endprodukte, die internationalen Vergleichstabellen sowie die meisten nationalen Zusatzanalysen zu Schulen und Schulstrukturen, Unterricht, Schulleistungen und Problemen wie Migration, sozialer Hintergrund, Geschlecht usw., in den bisher praktizierten Formen wissenschaftlich schlicht nicht aufrecht erhalten lassen. Sie überspannen bei weitem die Tragfähigkeit des gewählten Designs und dessen theoretische und methodische Grundlagen. Wer auf dieser Grundlage über Schulstrukturen, Lehrpläne, nationale Tests oder die zukünftige Lehrerbildung befinden will, ist nicht gut beraten. Damit hört PISA nicht auf, eines der wichtigsten und ertragreichsten Projekte der vergleichenden Forschung der Gegenwart zu sein. Einzelne Beiträge in diesem Band weisen dazu ausdrücklich auf künftige Möglichkeiten der PISA-Forschung hin. Nur scheint dringend geboten, die zum Teil bei solcher Forschung unvermeidlichen Grenzen der Geltung und Zuverlässigkeit weitaus deutlicher auszuweisen und dafür zu sorgen, dass nicht auch künftig PISA für Beweislasten in Anspruch genommen wird, die es auf wissenschaftlich vertretbareWeise nicht schultern kann. Man kann fast sagen, es gilt das Gute an PISA und die interessierte Öffentlichkeit gegen den methodologisch haltlosen Überschwang einiger der an PISA Beteiligten in Schutz zu nehmen. Sonst droht die Gefahr, dass eines Tages die Bildungsverwaltungen, die Schulen und Schulleitungen, die Lehrkräfte und die Schülerinnen und Schüler nicht nur des stetigen Missbrauchs ihrer Daten überdrüssig werden, sondern gleich alle vergleichbarenMaßnahmen und Forschungsvorhaben in Bausch und Bogen ablehnen oder gar – wie das mit staatlichen Tests in einigen Ländern (u.a. in den USA, Chile, Norwegen) schon passiert ist – boykottieren oder durch mutwilliges Antwortverhalten beschädigen. Dies würde der vergleichenden Bildungsforschung als Ganzes einen nachhaltigen Schaden zufügen, und die Sorge, dass es dazu am Ende der PISA-Begeisterung kommen kann, begründet unser Engagement. Natürlich waren auch unserem Vorhaben deutliche Grenzen gesetzt:

– Zum einen war eine direkte Re-Analyse von PISA-Originaldaten, PISAFragen etc. nur im begrenzten Masse möglich, nur dort wo einzelnen Datenbestände zugänglich waren. Zusätzlich haben wir fast die gesamte Literatur zur PISA-Methodologie und ihren Implikationen ausgewertet (vgl. die Literaturangaben in den einzelnen Kapiteln). PISA lässt eine unabhängige Überprüfung der vollständigen Datensätze einschliesslich aller Unterlagen bislang jedoch nicht zu. Esmag also sein, dass sich bei einer entsprechenden Nachlese – wenn sie eines Tages möglich sein wird – einzelne Ergebnisse unserer Metaanalysen anders darstellen, als es uns nachzuprüfen möglich war. Allerdings haben sich so viele kritische Einwände in unseren Untersuchungen ergeben, dass die Widerlegung eines halben oder ganzen Dutzends von ihnen an den Kernaussagen dieses Bandes nichts ändern würde. In jeder Phase des PISA-Projektes gibt es zahlreiche Designentscheidungen und -probleme, die für sich allein genommen ausreichen, einen erheblichen Teil der gegenwärtig üblichen Darstellung und Nutzung der PISA-Ergebnisse für wissenschaftlich nicht tragfähig zu halten.

– Zum zweiten war uns nicht daran gelegen, mit einer Stimme zu reden. Nicht nur, dass auch PISA-Kritiker Unterschiedliches kritikwürdig finden, und deshalb verschiedene Zugänge und Argumentationen wählen. Wir wollten die ganze Bandbreite der zur Zeit in Europa zugänglichen Kritik präsentieren und niemanden ausschliessen, nur weil der eine oder die andere eventuell einzelne Punkte oder Schlussfolgerungen nicht teilen. Wir hatten auch das deutsche und das österreichische PISA-Konsortium mehrfach zur Mitwirkung eingeladen. Leider ist diese nicht zustande gekommen. Zum Glück waren einige andere mit PISA-Erfahrung dennoch bereit, an unserem Vorhaben teilzunehmen. Damit gelingt uns aber nur teilweise, das gesamte Für und Wider der Diskussion widerzuspiegeln. Wir zweifeln jedoch nicht daran, dass die PISA-Konsortien genügend andere Möglichkeiten haben, sich aktiv an der Debatte zu beteiligen.

Ein solches Vorhaben wie das vorliegende kann ohne vielfältige Hilfe nicht gelingen. Das seinerzeitige Österreichische Bundesministerium für Bildung, Wissenschaft und Kultur (BMBWK), die Österreichische Gesellschaft für Bildungsforschung sowie der norwegische Forschungsverbund „Achieving School Accountability in Practice (ASAP)“, zu dessen Veröffentlichungen auch dieser Band zählt, haben das Symposium und die Arbeiten am vorliegenden Band großzügig unterstützt. Nicht zu vergessen ist die Hilfe durch die Sekretariate in Wien (Patricia Stuhr) und in Kristiansand (Inger Linn Nystad Baade, Karen Beth Lee Hansen), die uns durch Geduld und Sprachfertigkeit ein Gelingen ermöglichten. Schliesslich möchten wir Richard Olechowski und dem LIT-Verlag für die Aufnahme in die Reihe „Schulpädagogik und Pädagogische Psychologie“ herzlich danken.

Segue il testo (in inglese) dell’introduzione al volume:

Introduction

PISA According to PISA – Does PISA Keep What It Promises?

Stefan T. Hopmann/Gertrude Brinek, Austria: University of Vienna

For the time being, PISA is the most successful enterprise in comparative education. Every time a new PISA wave rolls in, or an additional analysis appears, governments fear the results, newspapers fill column after column, and the public demands answers to the claimed failings in their country’s school system. Of course, such a tremendous impact evokes discussions and criticism.

On the one side are those:

– who blame PISA for not covering the whole breath of education or schooling (e.g. Fuchs 2003; Ladenthin 2004; Kraus 2005; Herrmann 2005; Dohn 2007; adding to the PISA frame: Benner 2002),

– who point to the fact that PISA is run by private companies (“PISA Incorporated”) looking for a share of the ever-growing testing market (see e.g. Bracey 2005; Flitner 2006; Lohmann 2006), or%0

Les documents de l'article

Sjoberg-PISA-book-2007.pdf
Uncertainties_and_Bias_in_PISA.pdf