IV Zusammenfassende Diskussion

4.3 Leitfragen für die Evaluation von Maßnahmen

Um die dargelegte Qualitätssicherung innerhalb der Einrichtungen zu erleichtern, werden abschließend einige Fragen formuliert, die man sich zu den einzelnen Maßnahmen stellen sollte. Diese Fragen entsprechen grob dem Konzept einer umfassenden Evaluation im Sinne von Rossi, Freeman und Lipsey (2004). Da die Kriterien der Qualität je nach Angebot und Kontext unterschiedlich sind, sollen die Fragen nur als grobe Orientierungen verstanden werden. Die einzelnen Maßnahmen sind in der Regel in einen weiteren Kontext eingebettet. Die Fragen sollten daher vor dem Hintergrund institutionsspezifischer und eventuell einrichtungsübergreifender Überlegungen beantwortet werden (z. B. unter Berücksichtigung des Leitbilds der Einrichtung oder von Bedarfsanalysen).

1. Konzept
In dieser Phase stehen konzeptionelle Überlegungen im Mittelpunkt, auf die sich die spätere Bewertung beziehen soll. Bei neu zu konzipierenden Maßnahmen können sie deren Entwicklung unterstützen, bei bereits eingeführten Maßnahmen müssen die Antworten eventuell nachträglich rekonstruiert werden. Nicht selten sind sie bei älteren Maßnahmen eher implizit. Wichtig ist, dass bereits die Antworten zu den Vorüberlegungen auch dokumentiert werden, um sich in späteren Bewertungsschritten darauf beziehen zu können.
a. Wer soll an der Maßnahme teilnehmen (Definition der Zielgruppe)? Wodurch ist der spezielle Bedarf dieser Gruppe begründet?
b. Auf welche Weise sollen die Zielpersonen für die Teilnahme gewonnen werden?
c. Welche Ziele sollen erreicht werden (Zielexplikation)? Woran lässt sich die Zielerreichung empirisch festmachen?
d. Welches theoretische Konzept liegt der Maßnahme zugrunde? Wie sollen die konkreten Vorgehensweisen bei der Durchführung der Maßnahme aussehen? Wie klar sind sie auf das dahinter stehende Konzept bezogen? Lässt sich plausibel begründen, dass die Umsetzung des Konzeptes zur Erreichung der Ziele beiträgt (Programmkonzeption und theoretische Explikation)?
e. Welche organisatorischen Rahmenbedingungen müssen gegeben sein bzw. geschaffen werden (z. B. Räumlichkeiten, personelle und technische Voraussetzungen, Kooperationsvereinbarungen)?
2. Implementierung
Hier steht die Überprüfung der Durchführung im Zentrum. Insbesondere geht es um die Frage, inwieweit sich die Überlegungen der ersten Stufe bei der konkreten Umsetzung der Maßnahme wieder finden.
a. In welchem Umfang wurden die Strategien zur Mobilisierung der Zielgruppe umgesetzt? Wie ist die Reichweite der Maßnahme?
b. Wurde tatsächlich die definierte Zielgruppe in das Angebot gebracht und konnte sie im Programm gehalten werden? Falls nicht, was waren die Gründe hierfür?
c. Entsprach die konkrete Durchführung in ihren inhaltlichen Schwerpunkten und pädagogischen Vorgehensweisen dem ursprünglichen Konzept?
d. Gab es besondere Schwierigkeiten bei der Umsetzung? Wie hängen diese mit Merkmalen des Angebots, der Zielgruppe oder anderen Faktoren zusammen?
3. Zielkontrolle
In diesem Rahmen sind Fragen zu beantworten, die sich auf die Ergebnisse der Maßnahme beziehen.
a. Wie bewerteten die Teilnehmer die Maßnahme?
b. Wurden die inhaltlichen Ziele erreicht bzw. erfolgte eine Verbesserung in den angestrebten Zielen? In welchen Bereichen gab es mehr oder weniger Erfolge? Existierten unerwünschte Nebenwirkungen?
c. Liegen kontrollierte Wirkungsprüfungen zu der Maßnahme aus der eigenen Einrichtung vor? Gibt es solche Studien aus anderen (vergleichbaren) Umsetzungen des Konzepts? Lässt sich eine eigene Evaluationsstudie durchführen?
4. Effizienzbewertung
Wie steht die Zielerreichung im Verhältnis zum Aufwand? Gibt es kostengünstigere Ansätze, um die Ziele in ähnlicher Weise zu erreichen?

Um die Praxis nicht zu sehr mit vermeintlich bürokratischem Mehraufwand zu belasten, sollte ein solcher Fragenkatalog bewusst einfach und knapp gehalten werden. Die mit der Zeit anfallenden Ergebnisse können nicht nur innerhalb der Einrichtung, sondern auch zum Zweck der Außendarstellung genutzt werden. Wie unsere Ergebnisse zeigen, sind mit der Evaluation verbundene Befürchtungen hinsichtlich negativer Bewertungen und Konsequenzen in der Regel nicht begründet. Dort, wo systematische Prüfungen stattfanden, zeigten sich eher bessere Bewertungen als in rein subjektiven Einschätzungen.

Die einrichtungsinterne Qualitätssicherung muss freilich längerfristig in einen allgemeinen Rahmen eingebettet werden. Dazu sollten bundesweite Standards entwickelt werden, die als Grundlage für Akkreditierungssysteme dienen können. Auch hier gilt es, eine angemessene Balance zwischen Aufwand und Nutzen zu finden. Auf keinen Fall sollte eine aufwendige Bürokratie mit geringer Sachkompetenz geschaffen werden. Durch die Zusammenarbeit von Praxis und Wissenschaft ließen sich relativ kostengünstige Akkreditierungsgremien für Angebote der Familienbildung schaffen. Eine solche Einrichtung hätte durchaus eine gewisse Überwachungsfunktion. Diese sollte aber nicht im Vordergrund stehen. Denn letztlich geht es darum, im Interesse aller Beteiligter die Maßnahmen und den Ressourceneinsatz zu optimieren. Im Kern ist Evaluation gerade keine Kontrolle von außen, sondern ein Weg, auf dem ein System über sich selber lernt.

 
zurück

10/10

vorwärts