Laufende Projekte

Derzeit setzen wir unseren Forschungsansatz bei folgenden Forschungsprojekten um:

  • Datenqualität von Bildungsstandardbasierten Tests
  • Freiwillige Nutzung bildungsstandardbasierter Tests durch Schulen
  • Faire Vergleiche / Adjustierung von Test- und Prüfungsergebnissen
  • Datengestützte Unterrichtsentwicklung: Rückmeldeformate und Aufgabendatenbank
  • Wissenstransfer in die Pädagogische Praxis

1. Daten­qualität von Bildungs­standard­basierten Tests

Ein wichtiges Werkzeug des ISQ sind die Rückmeldungen zu den Vergleichsarbeiten in der dritten (VERA 3) und achten Jahrgangsstufe (VERA 8). Die Vergleichsarbeiten sind Tests, die darüber informieren, welche Kompetenzen Schülerinnen und Schüler mit Blick auf die KMK-Bildungsstandards erreichen. Die Ergebnisse solcher bildungsstandardbasierter Kompetenztests geben somit Rückmeldung über individuelle Kompetenzstände von Schülerinnen und Schüler, sie dienen zur datengestützten Schul‐ und Unterrichtsentwicklung und sie werden für die Steuerung des Bildungswesens genutzt. Für solche datengestützten Anwendungen ist eine hohe psychometrische Datenqualität essentiell. Das übergreifende Ziel dieses Projekts ist es daher, die Datenqualität bildungsstandardbasierter Kompetenztests im Rahmen von zwei Teilstudien systematisch zu untersuchen.

  • Die Ergebnisse bildungsstandardbasierter Kompetenztests haben eine Vorhersagefunktion, wonach es möglich sein soll, ausgehend von einem Ist‐Stand zukünftige Bildungsergebnisse vorauszusagen. Um diese Annahme zu prüfen, untersuchen wir, wie gut es bildungstandardbasierten Kompetenztests in der Grundschule und Sekundarschule gelingt, zentrale Bildungsergebnisse (Übertrittsempfehlungen, Kompetenzstände, Schulnoten, Prüfungsnoten) vorherzusagen.
  • Bei der datengestützten Schul‐ und Unterrichtsentwicklung muss bei der Analyse der psychometrischen Qualität der VERA‐Tests die Mehrebenenstruktur des Bildungswesens berücksichtigt werden. Daher nutzen wir zeitgemäße multivariate Verfahren, um simultan (a) die Messgenauigkeit der VERA‐Tests auf Schüler‐, Klassen‐ und Schulebene und (b) die Variabilität der Messgenauigkeit zwischen Klassen und Schulen zu bestimmen.

2. Freiwillige Nutzung bildungs­standard­basierter Tests durch Schulen

In Brandenburg ist die Durchführung von einigen fachbezogenen VERA‐Tests für alle Schulen verpflichtend, die Durchführung von einigen Tests ist den Schulen freigestellt. Rund ein Fünftel der Schulen führt freiwillig VERA‐Tests durch. Die Teilnahmemodalitäten an VERA werden kontrovers diskutiert. Wird die Teilnahme freigestellt, wird der Motivation und der Arbeitsbelastung der Lehrerschaft vor Ort Rechnung getragen und die Autonomie der Einzelschule wird respektiert. Werden die Schulen hingegen zur Teilnahme verpflichtet, ist anzunehmen, dass dies an den Schulen die Akzeptanz von VERA verringert und die Schulen so nicht das volle Potential der  Ergebnisrückmeldung für ihre Schul‐ und Unterrichtsentwicklung nutzen.

Insbesondere ist zu vermuten, dass bei einer freiwillig gestellten Teilnahme eher gute Schulen VERA‐Tests durchführen. Ob sich diese Annahme empirisch bestätigt, bzw. welche Merkmale von Schulen eine freiwillige Durchführung von VERA vorhersagen, sind die übergreifenden Forschungsfragen des vorliegenden Projekts. Zur Analyse dieser Forschungsfrage werden unter anderem Schulleistungsdaten (VERA, P10) aus den Jahren 2008 bis 2015 sowie weitere schulische Kontextmerkmale (z.B. Schulform, Schulgröße, Schulprofile) genutzt. So können Erkenntnisse gewonnen werden, welche Schulen nie, manchmal, fachbezogen oder immer freiwillig die VERA Tests durchführen.

3. Faire Vergleiche / Adjustierung von Test- und Prüfungs­ergebnissen

Die Kompetenzentwicklung von Schülerinnen und Schüler wird ‐ stark vereinfacht formuliert‐ durch zwei Gruppen von Faktoren bedingt: (1) Faktoren zur Zusammensetzung der Schülerschaft (sog. Kontextmerkmale, z.B. der sozioökonomische Familienhintergrund der Schülerinnen und Schüler oder individuelle Lernausgangslagen), die eine Schule nicht oder kaum beeinflussen kann. (2) Faktoren (z.B. die Unterrichtsqualität oder das Schulmanagement), die im Handlungs‐ und Entscheidungsspielraum einer Schule liegen.

Die Ergebnisse aus großen Schulleistungsuntersuchungen und der zentralen Prüfungen zum Kompetenzstand von Schülerinnen und Schülern (z.B. VERA 3, VERA 8, Berliner Prüfungen am Ende der Sekundarstufe I) sollen den Lehrkräften und Schulleitungen Impulse für die Unterrichts‐ und Schulentwicklung und Hinweise auf Unterstützungsbedarf bei einzelnen Schulen geben. Da jedoch die Schulleistungsergebnisse Resultat der beiden Faktorengruppen sind, wird versucht, im Zuge der sogenannte Adjustierung Vergleichswerte zu ermitteln, die der Zusammensetzung der Schülerschaft (die nicht oder kaum von der Schule beeinflusst werden kann) Rechnung tragen. Einfache und bereits jetzt gern herangezogene Vergleichswerte sind die schulartspezifischen Ergebnisse pro Bezirk, die den Schulen eine Einschätzung und Einordnung ihrer eigenen Ergebnisse ermöglichen.

Darüber hinausgehend versuchen sogenannte Adjustierungsverfahren, gezielter die schulischen Kontextmerkmale zu berücksichtigen. Ein gängiger Ansatz besteht darin, eine Vergleichsgruppe an Schulen zu bilden, deren Schülerschaft in ihrer sozialen Zusammensetzung der Schülerschaft jener Schule ähnelt, deren Leistungsergebnis interpretiert werden soll. Der Leistungsmittelwert der Vergleichsgruppe bildet dann den Bezugspunkt zur Einordnung der Ergebnisse der eigenen Schule. Damit können Lehrkräfte, Schulleitungen und die Bildungsverwaltung „faire“ Vergleiche anstellen, denn adjustierte Leistungsunterschiede zwischen Schulen deuten z.B. auf qualitative Unterschiede in der Unterrichtsgestaltung oder des Schulmanagements hin.

Im Rahmen dieses Forschungsprojekts entwickeln wir den Adjustierungsansatz des ISQ stetig weiter, indem wir prüfen, ob und welche zusätzliche Daten bzw. alternative Berechnungsvorschriften die Qualität der Vergleichsgruppen verbessern.

4. Daten­gestützte Unterrichts­entwicklung: Rückmelde­formate und Aufgaben­datenbank

Die Ergebnisse der Vergleichsarbeiten (VERA) und der zentralen Prüfungsarbeiten sollen datengestützte Impulse zur Unterrichts‐ und Schulentwicklung geben. Ziel verschiedener Projektstränge ist es, diese Prozesse substanziell zu unterstützen:

  • Aufgabenumfelder und Lernumgebungen für VERA‐Testaufgaben: In Zusammenarbeit mit einer Arbeitsgruppe um Prof. Wollring (Universität Kassel) nutzt das ISQ eine Taxonomie zur Aufgabenvariation, um Lehrkräften in der 3. Klasse Mathematikaufgaben (in elektronischer Form) zur Verfügung zu stellen. Ausgehend von einer VERA‐Testaufgabe werden Aufgabenvariationen erstellt (Aufgabenumfelder). Die Aufgabenumfelder können für die gezielte Förderung spezifischer mathematischer Kompetenzen genutzt werden. Gleichzeitig wird eine Facette der fachdidaktischen Kompetenz von Mathematiklehrkräften gefördert, da das Wissen der Lehrkräfte um die kognitiven Anforderungen von Mathematikaufgaben erweitert wird.
  • Erweiterung der Aufgabendatenbank: Im Rahmen des Berliner Qualitätspaketes für Kita und Schule wurde vom ISQ eine Aufgabendatenbank entwickelt, die Test‐ und Lernaufgaben sowie didaktische Begleitmaterialien enthält. Mit dem ISQ‐Aufgabenbrowser können Lehrkräfte zielgenau Aufgaben suchen, um ihren Unterricht bestmöglich an den Leistungsstand und Förderbedarf in ihren Klassen anzupassen.
  • Anbindung der Aufgabendatenbank an das ISQ‐Portal: Bei der Administration und Auswertung der VERA‐Tests über das ISQ‐Portal (z.B. Berechnung der Rückmeldungen) werden zahlreiche Informationen benötigt (z.B. Aufgabenmerkmale). Mit der technischen Anbindung der Aufgabendatenbank (in der die nötigen Informationen strukturiert vorliegen) an das ISQ‐Portal, werden diese Prozesse effizienter gestaltet.
  • Erweiterte Implementation der Bildungsstandards in Rückmeldesysteme: Die im VERA‐Kontext vom IQB erarbeiteten Materialien zu den KMK‐Bildungsstandards werden (unter Nutzung einer Wiki‐Struktur) systematisch aufbereitet und mit der Aufgabendatenbank und dem ISQ‐Portal verknüpft. Damit können insbesondere die VERA‐Rückmeldungen besser als bisher mit anschlussfähigem fachdidaktischen Wissen verbunden werden.

5. Wissens­transfer in die Pädagogische Praxis

Das ISQ hat mehrere qualitativ hochwertige Werkzeuge für die datengestützte Schul‐ und Unterrichtsentwicklung erarbeitet. Hierzu zählen: die Individual‐, Klassen‐ und Schulrückmeldungen aus VERA, die Schulrückmeldungen im Zuge der Berliner Abschlussprüfungen in Jahrgang 10 und der Abiturprüfung, das Selbstevaluationsportal, das Selbstevaluationsportal.Schule sowie der ISQ‐Aufgabenbrowser. Diese Werkzeuge ergänzen sich wechselseitig und liefern wertvolle Informationen und Impulse zur Qualitätsentwicklung von Bildungsprozessen und –ergebnissen. Das vorliegende Projekt verfolgt drei komplementäre Ziele zum Wissenstransfer dieser Werkzeuge in die Bildungspraxis:

  • Wir machen die ISQ‐Werkzeuge durch Präsentationen vor Lehrkräften, Schulleitungen, aber auch Elternvertretungen sowie der Bildungsadministration, der Schulaufsicht und der Schulinspektion/ Schulvisitation sowie dem Bereitstellen geeigneter Materialien bekannt.
  • Wir entwickeln Workshopkonzepte zur Nutzung dieser Werkzeuge für die datengestützte Schul‐ und Unterrichtsentwicklung. Diese sollen in die Fort‐ und Weiterbildung von Lehrkräften und Schulleitungen bzw. der Schulaufsicht bzw. Schulinspektion oder ‐visitation sowie in die zweite Phase der Lehramtsausbildung integriert werden.
  • Im Zuge der KMK‐Lehrerbildungsoffensive unterstützen wir die Entwicklung und Evaluierung innovativer Seminarkonzepte zur Förderung von Forschungskompetenzen von Lehramtsstudierenden an der Freien Universität Berlin. Eine besondere Rolle spielen hierbei das Selbstevaluationsportal und die Rückmeldungen aus VERA.