Im Gespräch

Über die Erkenntnisgrenzen von PISA und notwendige Ergänzungen.
Die Erziehungswissenschaftler Hans Werner Heymann, Hans Brügelmann
und die Sozialwissenschaftlerin Imbke Behnken im Gespräch.

Extrakte:
In der Öffentlichkeit wird die Diskussion über Bildung stark von den PISA-Ergebnissen bestimmt. Wie stehen Sie dazu?

Behnken:
Als erstes: Wir lehnen die von PISA & CO verwendeten Verfahren nicht ab. Wir setzen sie für bestimmte Zwecke selbst ein. Die repräsentativen Kinder- und Jugendbefragungen ‚NRW-Kids‘ und ‚LERNenBILDung‘ beispielsweise waren nur mit standardisierten Fragebögen möglich.

Brügelmann:
Leistungstests wiederum waren das zentrale Medium in unserem Projekt ‚LUST‘, der ‚Lese-Untersuchung mit dem Stolperwörter-Test‘ über die Grundschulzeit hinweg …

Heymann:
… und in unserem Projekt ‚SCHLAU‘, in dem wir die Leistungsentwicklung während der Ferien im Vergleich zur Schulzeit untersuchen.

Extrakte:
Dennoch sind Sie kritisch? Was macht PISA falsch bzw. was ist problematisch?

Behnken:
Nun, zu dieser Frage bzw. zu zahlreichen Einzelaspekten der konkreten PISA-Kritik sind jüngst wichtige Beiträge erschienen¹. Problematisch ist übergreifend sicherlich, dass PISA, eigentlich ein Forschungsprojekt, zu einem Programm für Forschung, gar zu einem Paradigma für Bildungsforschung geworden ist. Dabei greift dieses Paradigma zu kurz, um die Alleinvertretung einer Forschungsrichtung sein zu können.

Extrakte:
Was machen Sie denn anders als PISA?

Heymann:
Man sollte vielleicht genauer von ‚PISA & Co‘ sprechen. Es gibt ja inzwischen viele internationale und deutsche Studien, die Schülerleistungen untersuchen. Genau da liegt aber auch das Problem: Kinder und Jugendliche werden nur in ihrer Schülerrolle erfasst, zusätzlich eingeschränkt auf ihre Leistungen in wenigen ausgewählten Fächern. Uns interessiert das auch – aber wir verstehen die Person nicht nur als Variablen-Bündel. Im Projekt ‚Lernbiografien im schulischen und außerschulischen Kontext‘ (LISA & KO) versuchen wir sie anschaulich und erfahrungsnah zu portraitieren, erweitert auf die Biografie des einzelnen und eingebettet in seine Lebenswelt. Es geht uns also um Relativierung und Ergänzung der PISA-Sicht.

Brügelmann:
Und das bedeutet, dass sich auch die Methoden verändern müssen. PISA & Co arbeiten vor allem mit standardisierten Instrumenten: mit Tests und mit Fragebögen. Beide sind nützlich, aber sie schränken den Blick auch ein. Das ist wie in den Naturwissenschaften: Mit einem Mikroskop sehen wir die Welt anders als mit einem Fernrohr. Man muss sich klar machen, welche Ausschnitte man mit einer bestimmten Methode erfasst und was man alles nicht in den Blick bekommt, wenn man diesen Ausschnitt scharf erfassen will.

Extrakte:
Was heißt das konkret für Ihre Untersuchungen?

Heymann:
Nehmen wir Tests. Die Standardisierung von Aufgaben erlaubt einen ökonomischen Einsatz in großen Gruppen. Der Preis ist aber, dass nur bestimmte Aufgabentypen eingesetzt werden können, dass eine künstliche Situation geschaffen werden muss, um die Vergleichbarkeit zu sichern, dass nur wenig Zeit zur Verfügung steht, so dass man sich auf wenige Indikatoren beschränken muss. Man bekommt also recht präzise Daten – aber wie aussagekräftig sind sie? In unserem Projekt ‚Lernbiografien im schulischen und außerschulischen Kontext‘, in dem einzelne Kinder und Jugendliche über mehrere Monate begleitet werden, stellen wir immer wieder Differenzen fest zwischen Testergebnissen und einschlägigen Leistungen in anderen Situationen, die an der Aussagefähigkeit punktueller Tests zweifeln lassen.

Brügelmann:
Interessant ist auch, was die Studierenden sagen, nachdem sie ein Kind über viele Wochen hinweg beobachtet und befragt, nachdem sie Tests durchgeführt und andere Personen zu ihren Eindrücken über das Kind befragt haben. Immer wieder lesen wir in den forschungsmethodischen Reflexionen zu den Portraits, die sie schreiben: Am meisten über die besonderen Kompetenzen, Interessen und Aktivitäten des Kindes haben wir aus den informellen Begegnungen mit ihm gelernt. Hier zeigt sich die Bedeutung des Forschers, vielleicht das wichtigste ‚Forschungsinstrument‘ neben vorstrukturierten und standardisierten Instrumenten.

Extrakte:
Aber ist es nicht riskant, sich auf das Urteil von einzelnen Beobachtern zu verlassen? Man weiß doch beispielsweise von den Noten in der Schule, wie subjektiv und wenig vergleichbar die sind. Treiben Sie den Teufel nicht mit dem Beelzebub aus?

Behnken:
Sie haben völlig Recht. Die Person des Beobachters ist ein besonders sensibles, aber auch besonders fehleranfälliges Instrument. Darum sind uns zwei Prinzipien für unsere Studien besonders wichtig: Kombination komplementärer Methoden und Multiperspektivität. Wir setzen ja durchaus auch standardisierte Tests, Beobachtungsraster und Fragebögen ein …

Heymann:
… aber daneben eben auch informelle Beobachtungen, offene Interviews und Alltagsaufgaben, z. B. Würfelspiele, in denen wir beobachten können, wie vertraut ein Vorschulkind mit Zahlen ist. Besonders wichtig ist uns aber, die beteiligten Personen als Experten ihrer Lebenswelt ernst zu nehmen. Ihre Wahrnehmungen und ihre Deutung dieser Wahrnehmungen sind für uns der Schlüssel zu einem besseren Verständnis einer Person.

Brügelmann:
Wir gehen davon aus, dass menschliches Verhalten immer mehrdeutig ist. Denken Sie nur an das Heben des Arms: in einem Klassenzimmer bedeutet es: „ich will drangenommen werden“, vielleicht auch: „ich will mich zeigen, weil ich weiß, dass dies wichtig ist“, auf einer Auktion „ich gebe ein Gebot ab“, auf der Straße „hallo, grüß dich“. Standardisierte Instrumente unterstellen, dass Kommunikation eindeutig gemacht werden kann. Aber selbst, wenn Verständigung in vielen Fällen gelingt, kann man nie sicher sein. Intelligente Personen haben oft besondere Schwierigkeiten mit Tests oder Fragebögen. Sie überlegen, was der Verfasser der Aufgaben oder Fragen gemeint haben könnte, können ihre Vermutungen in dieser Ein-Weg-Kommunikation aber nicht validieren. Sie lösen deshalb Aufgaben trotz höherer Kompetenzen nicht zwingend erfolgreicher. Dies ist ein Grundproblem, das man technisch-methodisch nicht in den Griff bekommen kann. Wir suchen deshalb das direkte Gespräch mit den Betroffenen und wir legen Widersprüche zwischen verschiedenen Beteiligten oder zwischen unterschiedlichen Instrumenten offen, d. h. wir ergänzen die technische durch eine soziale Kontrolle.

Behnken:
Außerdem erfordern spezifische Erkenntnisinteressen auch ihre besonderen Methoden.
An so etwas wie ‚kollektive Identitäten‘ von Gruppen, z. B. von arbeitslosen Jugendlichen oder von Migranten am Gymnasium, kommt man am ehesten über Gruppendiskussionen heran. Kinder lassen wir subjektive Landkarten zeichnen, um ihre Bewegungsräume und die Bedeutung verschiedener Orte zu erfassen. Oder wir fordern Kinder und Jugendliche auf, sich mit Gegenständen für ein Selbstportrait in Szene zu setzen, die wir dann fotografieren.

Extrakte:
Aber noch einmal zurück zu Ihrem Projekt ‚Lernbiografien im schulischen und außerschulischen Kontext‘. Das sind doch alles Einzelfälle. Inwiefern sind die Befunde überhaupt generalisierbar?

Brügelmann:
Jeder Mensch ist ein Einzelfall. Verallgemeinerungen sind Vereinfachungen. Sie beruhen auf statistischen Aussagen, mit einem entsprechenden Fehlerrisiko; auch bei den statistisch bearbeiteten Studien mit großen Fallzahlen ist dies so. Die kann man nicht so einfach auf eine neue Situation ‚anwenden‘ wie das Fallgesetz in der Physik.

Heymann:
Ziel von Bildungsforschern ist auch nicht notwendigerweise die Verallgemeinerung. Es ist natürlich sinnvoll zu überprüfen, ob es starke statistische Zusammenhänge gibt, bspw. zwischen Buchbesitz in der Familie und der Lesefähigkeit der Kinder, jedoch: Es gilt weder, dass alle Kinder, die viele Bücher besitzen, gute Leser werden, noch dass allen Kindern, die keinen Zugang zu Büchern haben, der Erfolg in der Schriftsprache verwehrt sein muss. Hier gilt es wieder den Blick auf die Kinder zu lenken, die wider Erwarten erfolgreich oder nicht erfolgreich sind. Die scheinbare Verallgemeinerung aus quantitativer Forschung enttarnt sich somit entweder als zu kurz gegriffen (wenn zu wenige Faktoren berücksichtigt werden, z. B. nur der ‚Besitz’ anstatt der ‚Umgang’ mit Büchern zur Kenntnis genommen wird) oder als nicht gültig für alle Gruppen.

Brügelmann:
Bei PISA wird beispielsweise erfasst, wie oft Eltern ihren Kindern vorlesen. In einer Großstudie ist das ein nützlicher Indikator für Bildungsanregungen im Elternhaus. Aber wenn Sie Lehrerin sind, werden Sie merken, dass Vorlesen im Elternhaus für zwei Kinder bei gleicher Häufigkeit durchaus Unterschiedliches bedeuten kann, je nachdem wie die Eltern vorlesen und in welcher Atmosphäre. Diese Qualitäten aber entscheiden letztlich über die Bildungswirkung solcher Aktivitäten. Das zu wissen ist auch wichtig, wenn man Förderprogramme entwirft. Vorlesen als äußeres Verhalten reicht nicht. In den Humanwissenschaften ist es anders als in den Naturwissenschaften: Indikatoren sind nicht stabil, sie verändern ihre Bedeutung, wenn die Menschen lernen, worauf es ankommt und das gewünschte Verhalten lediglich imitieren.

Extrakte:
Heißt das, man kann in den Humanwissenschaften keine Allgemeinaussagen machen?

Brügelmann:
Doch, das schon, aber hilfreich sind Verallgemeinerungen zunächst für Entscheidungen, die viele Personen betreffen: Behalten wir die Sonderschule bei, schaffen wir das Sitzenbleiben ab, sollen Migrantenkinder bilingual unterrichtet werden? Anders ist es bei Entscheidungen im Einzelfall: Soll Lena auf die Sonderschule oder in der Grundschule bleiben, soll sie freiwillig die Klasse wiederholen, und soll Ahmed auf Türkisch oder auf Deutsch lesen und schreiben lernen? Für solche Entscheidungen bieten Aussagen, wie sie bei PISA und in ähnlichen Studien gewonnen werden, nur Hypothesen, deren Geltung im Einzelfall jeweils neu zu überprüfen ist. Dafür spielen viele Bedingungen eine Rolle.

Extrakte:
Aber Sie können doch auch nicht aus ein, zwei Fallstudien ableiten, wie ein neuer Fall zu entscheiden ist!

Heymann:
Richtig, auch von Fall zu Fall lässt sich Erfahrung nicht direkt übertragen, genauso wenig wie auf dem induktiv-deduktiven Weg, also über Verallgemeinerungen. Aber Fallstudien sind oft hilfreicher, weil sie Kontexte mitbenennen. Wer viele dicht beschriebene Einzelfälle kennt, der verfügt über ein breites Repertoire an ‚Brillen‘, die ihm helfen, die Besonderheiten eines neuen Falles einzuschätzen. Für Pädagogen, die täglich mit solchen Einzelfällen arbeiten, führt diese Herangehensweise daher wesentlich weiter.

Brügelmann:
Eine solche ‚Doppelstrategie‘ ist übrigens auch in anderen sozialen Berufen üblich: Richter wenden allgemeine Gesetze an – aber sie orientieren sich auch an den Fallentscheidungen höherer Gerichte. Und Ärzte nutzen einerseits die Ergebnisse von repräsentativen Doppelblindstudien aus der medizinischen Forschung, andererseits ihre klinische Erfahrung aus der Behandlung einzelner Patienten.

Behnken:
Ein Beispiel aus unserer Arbeit: Allseits wird das Zerbrechen der Bindungen über mehrere Generationen hinweg beklagt. Die quantitativen Befunde aus der ‚NRW-Kids‘-Befragung zeigen aber, dass für Kinder ihre Großeltern eine sehr hohe Bedeutung haben – fast so hoch wie die Eltern. Die LISA & KO-Befunde wiederum erhellen, was das qualitativ bedeutet; nämlich sehr Unterschiedliches – von den Kindern, die ganz bei ihren Großeltern wohnen, über die, deren Großeltern in der gemeinsamen Wohnung oder zumindest in demselben Haus leben, bis hin zu Großeltern im Nachbarhaus, in derselben Straße, dem gleichen Ortsteil – oder ganz woanders, aber mit häufigen wechselseitigen Besuchen. Mal kochen die Großeltern mittags für die Kinder, mal gehen Großvater oder Großmutter gemeinsam mit einem Enkelkind demselben Hobby nach; andere Großeltern beaufsichtigen die Hausaufgaben, wieder andere fahren mit ihren Enkeln ohne die Eltern in Urlaub. Uns interessiert diese Vielfalt, die sich hinter dem Etikett ‚Großeltern sind wichtig‘ verbirgt und uns interessiert, was dieses Etikett für die Beteiligten konkret bedeutet.

Extrakte:
Gibt es sonst noch Besonderheiten ihrer Studien?

Behnken:
Das öffentliche Bild heutiger Kindheit ist geprägt von Untersuchungen in Großstädten. Tatsächlich lebt aber nur ein Drittel der Kinder in Städten mit mehr als 500.000 Einwohnern. Bedingt durch die Lage unserer Universität haben einige unserer Projekte Kindheit und Jugend im kleinstädtisch-ländlichen Raum untersucht. Damit erschließen wir ganz andere Lebenswelten: Viele dieser Kinder spielen draußen, sind oft mit Freunden zusammen … Auch sie wachsen unter anderen Bedingungen auf als Kinder in den 1950er oder 1970er Jahren; doch unterscheiden sich ihre Lebensbedingungen teilweise deutlich von den in den Großstadtstudien dargestellten Kindheiten.

Heymann:
Eine Besonderheit von LISA & KO ist sicherlich auch die zeitliche Anlage. Die heutige öffentliche Forschungsförderung ist auf kurzfristige Förderung, z. B. einen Zeitraum von drei bis maximal sechs Jahren beschränkt. Unser Projekt untersucht Kindheiten nun bereits im achten Jahr. So sind zweite und dritte Besuche bei den Kindern, jeweils mit einem zeitlichen Abstand von etwa zwei Jahren, und damit die Erstellung von Längsschnitten in solchen Einzelfallstudien möglich. Obwohl lange bekannt ist, dass viele Entwicklungen und Veränderungen nur sinnvoll in Längsschnittstudien zu erfassen sind, greifen Forscher doch immer wieder auf Querschnittstudien zurück, weil diese nur eine knappe Datenerhebung voraussetzen und Ergebnisse somit schneller zu publizieren sind. So auch PISA.

Extrakte:
Zu Beginn unseres Gesprächs kritisierten Sie, dass in PISA nur Leistungen und darin nur Leistungen bestimmter Fächer erfasst würden. Wo ist das Problem? Sind die Leistungen in Literacy, Mathematik und Science nicht besonders wichtig? Sie erfassen doch z. B. bei LISA & KO u. a. auch die Lesefähigkeit und die mathematischen Fähigkeiten!

Behnken:
Zunächst stört uns die dominante Fokussierung auf Leistungen. Der schulische Auftrag beschränkt sich nicht auf die Erhöhung von fachlichen Leistungen. Im Gegenteil: Demokratische Kompetenzen sind genauso zu entwickeln wie Bildungs- aspekte jenseits von Problemlösen und Lesekompetenz. Diese mögen zwar bedeutsam sein, jedoch sollte ein demokratischer Staat wie Deutschland auch daran interessiert sein, wie es bspw. um die politische Bildung seiner Jugendlichen steht. Die CIVIC-Studie hat eben dies erfasst und mindestens ebenso wichtige Ergebnisse hervorgebracht wie PISA. Wahrgenommen wurde dies in der Öffentlichkeit jedoch kaum. Anders als in den Hauptfächern gibt es keine bildungspolitischen Maßnahmen vergleichbarer Dimension zur Reduktion von Fremdenfeindlichkeit, die in Deutschland im internationalen Vergleich immerhin am stärksten ausgeprägt ist.

Heymann:
Gleichzeitig trägt die starke Betonung von sicherlich bedeutsamen Kompetenzkomponenten zur weiteren Verengung des schulischen Curriculums bei. Andere Anteile von Allgemeinbildung werden zugunsten dieser als zentral betrachteten Kompetenzen zurückgestellt.
Wenn wir auch bei LISA & KO die Schriftsprach- und Mathematikkompetenzen erfassen, so machen wir dies nicht allein wegen der ‚objektiven Wichtigkeit‘ dieser Bereiche, sondern auch, um die Bedeutung zu untersuchen, die sie für Kinder und Jugendliche bei der Entwicklung von Interessen und Perspektiven für das weitere Leben haben.

Extrakte:
Was sind denn aus Ihrer Sicht die wichtigsten Ergebnisse Ihrer Studien?

Heymann:
Die heute oft zitierte ‚veränderte Kindheit‘ ist ein wenig hilfreiches Stereotyp. Es verdeckt die große Bandbreite an Unterschieden zwischen den Kindern, von denen jedes einzigartig ist: als Person, in seinen Fähigkeiten und Leistungen, …

Brügelmann:
… und nicht selten in seinem Verhalten in verschiedenen Situationen widersprüchlich, etwa in seinen Leistungen in der Schule und außerhalb, …

Heymann:
… aber widersprüchlich auch in der Wahrnehmung durch verschiedene Personen, in den Informationen aus verschiedenen Quellen: Selbsteinschätzung, Schulnoten, Tests.

Behnken:
Ja, Kinder und Jugendliche entwickeln außerhalb der Schule Kompetenzen, die in der Schule nicht zählen. Schon Grundschüler wissen in ihren Interessensgebieten oft mehr als ihre Lehrer. Andere schreiben zu Hause Geschichten, Gedichte und Sach-texte – aber Aufsätze in der Schule nur ungern und mit mäßigem Erfolg. Noch weniger zählen Fertigkeiten, die nicht zum schulischen Curriculum gehören: Grafitti sprayen, selbst Musik komponieren und spielen, sportliche Kunstfertigkeiten und praktische Kompetenzen wie der Umgang mit Computern.

---

¹ Jahnke, Thomas/ Meyerhöfer, Wolfram (Hrsg.): PISA & Co – Kritik eines Programms. Hildesheim 2007

Text ist frei zum Wiederabdruck