Herzlich willkommen in unserem FAQ-Bereich! In der Welt von Programmevaluation ist die Verwendung eines konsistenten Vokabulars von entscheidender Bedeutung. Einheitliche Begriffe und Definitionen helfen dabei, Missverständnisse in der Evaluationsplanung zu vermeiden und Schlussfolgerungen klar zu kommunizieren. Dadurch wird sichergestellt, dass Evaluationsprozesse präzise und zuverlässig sind und die gewonnenen Erkenntnisse effektiv zur Verbesserung von Programmen genutzt werden können.  Alle Antworten sind mit unserem Eval-Wiki verlinkt, wo 425 Evaluationsbegriffe definiert und mit Quellen hinterlegt sind. Entdecken Sie hier Antworten auf die häufigsten Fragen und vertiefen Sie Ihr Verständnis für eine erfolgreiche Evaluation.

Inputs stellen im Kontext von Evaluationen Bestandteile eines Programms dar. Sie sind als finanzielle, personale oder andere Ressourcen, die in ein Programm investiert werden, teils als monetäre Kosten erfassbar. Diese stellen manchmal eine variable Bedingung dar, insofern als z. B. Kostenarten (Personal- vs. Sachausgaben) oder Personalqualifikationen (durch gezielte Fortbildung) beeinflusst werden können.

engl.: inputs (of a programme)
frz.: entrées (d’un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Inputs (eines Programms)

 

Incomes eines Programms sind bspw. Ressourcen, die die Mitglieder der Zielgruppen in ein Programm einbringen. Diese Ressourcen können insbesondere Wissen, Einstellungen, Bedürfnisse, soziale Werte etc. sein. Daraus ergeben sich starke Unterschiede bezüglich Incomes in Abhängigkeit vom Alter, Bildungsstand oder Geschlecht der (potenziellen) Zielgruppen. Incomes stellen zentrale Bedingungen dar, die bei der Entwicklung des Konzepts eines Programms berücksichtigt werden müssen. Mittels gezielter Teilnehmendenauswahl (Profiling, Assessment) können die Incomes eines Programms in Teilen gesteuert werden. Die bei Programmschluss gemessenen Outcomes können den Incomes gegenübergestellt werden (Income-/Outcomevergleich).

engl.: incomes (of a programme)
frz.: incomes/apports (d’un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Incomes (eines Programms)

 

Der Income-/Outcomevergleich gibt den Gewinn (oder Verlust) an erwünschten Eigenschaften (z. B. Kompetenzen, gesundheitliche Verfassung) oder Vorteilen (z. B. sozialer Status), den Mitglieder von Zielgruppen zwischen ihrem Eintritt in ein Programm und einem bestimmten Zeitpunkt im Programmverlauf (z. B. dem ihres Austritts) aufweisen, an. Der Umfang entspricht dem (gemessenen) Unterschied zwischen Incomes und Outcomes und kann sich bspw. als Lernzuwachs äußern.

engl.: increment growth [value added] or increment attrition
frz.: accroît ou affaissement
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Saldo (Incomes zu Outcomes)

 

Outputs sind dingliche Resultate eines Programms, welche als Leistungen oder Produkte durch (oder in Verbindung mit den) Programm-Interventionen hervorgebracht werden (wörtlich übersetzt "Ausbringungen" oder "Ausstöße"). Outputs sind in der Regel leicht zählbar. Meist handelt es sich um Anwendungen von Interventionen auf die Zielgruppen. Beispiele sind durchgeführte Therapie- oder Unterrichtsstunden, verteilte Broschüren oder Medikamente (Outputs I), Teilnahme-/Benutzungsmengen wie Anwesenheitsquoten im Unterricht oder Beendigungsquoten einer Therapieserie (Outputs II) oder Zufriedenheit der Benutzenden/Zielgruppen mit den Aktivitäten des Programms (Outputs III).
Den Outputs (zeitlich bzw. logisch) unmittelbar vorangehend sind die Interventionen; diese sollen - meist über die Outputs - zu den (zeitlich/logisch nachgelagerten) gewünschten Outcomes führen, welche in der Regel die eigentlichen Programm-Ziele darstellen.

Das Gegenstück zu den Outputs sind die Inputs; aus dem Verhältnis der beiden Mengen ergibt sich die Input-Output-Relation, zentraler Bestandteil der Kosten-Leistungs-Analyse.

engl.: outputs (of a programme)
frz.: extrants (d’un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Outputs (eines Programms)

 

Outcomes sind die intendierten Resultate eines Programms bei Zielgruppen, wie z. B. Veränderungen bzw. Stabilisierungen im Wissen, in den Einstellungen, in ihren sozialen Werten oder im Können, im Verhalten oder in der Lebenslage/dem Status der Zielpersonen. Die Erhebung von Daten zu Outcomes ist oft methodisch deutlich aufwändiger als die zu Outputs.
Wenn die Resultate nicht bei Einzelpersonen oder Gruppen (Familien, Teams, Jugendgangs ...) sondern in Organisationen, Gebietskörperschaften oder sozialen/politischen Systemen auftreten, handelt es sich um Impacts.
Welche Outcomes angestrebt werden, soll in den Zielen des Programms festgehalten sein (Outcome-Ziele).
Das Gegenstück zu den Outcomes sind die Incomes; der Unterschied zwischen beiden Programmelementen entspricht dem Saldo (Incomes zu Outcomes); im Falle von Bildungsprogrammen ist dies der Lernzuwachs.

engl.: outcomes (of a programme)
frz.: réalisations (d’un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Outcomes (eines Programms)

 

Impacts sind Resultate eines Programms, die über die bei Zielgruppen auftretenden Outcomes hinausgehen. Häufig sind Outcomes Voraussetzung dafür, dass Impacts zustandekommen; es gibt aber auch andere Fälle.
Impacts treten als Merkmale sozialer Systeme auf, z. B. einer Organisation, eines Netzwerkes, eines Sozial- oder Bildungsraums, eines Staatenbundes usw. Ein Impact könnte sich z. B. darin zeigen, dass ein Weiterbildungssystem demokratisch besser legitimiert ist.
In aller Regel ist die Messung von Impacts aufwändiger als die von Outcomes, da nicht Personen die Merkmalsträger oder Aussageeinheiten der zu erfassenden Veränderungen/Stabilisierungen sind, sondern Beziehungen zwischen Personen sowie deren ökonomische, soziokulturelle, institutionelle, natürliche oder technologische Umwelten. Impacts sind oft Resultate einer oder mehrerer Ketten von Interventionen, Outputs und Outcomes (oder gar mehrerer Programme und/oder Politiken). Der empirische Nachweis, dass Impacts durch bestimmte Programmaktivitäten ausgelöst sind (Wirkungsnachweis), dürfte selten.

engl.: impacts (of a programme)
frz.: impacts (d’un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Impacts (eines Programms)

 

Resultate sind durch Aktivitäten bzw. Interventionen eines Programms
- bereitgestellte Leistungen oder Produkte (Outputs) und
- ausgelöste Veränderungen/Stabilisierungen bei Zielgruppen (Outcomes) oder
- bei Organisationen und anderen sozialen Aggregaten (Impacts).
(siehe hierzu im Glossar: Wirkungen, Effekte, intendierte Resultate, nicht-intendierte Resultate, unerwünschte Resultate)

Die im Glossar gegebenen Definitionen der verschiedenen Resultats-Arten orientieren sich am Hauptstrom der internationalen Literatur. Abweichende, auch untereinander "vertauschte" Begriffsdefinitionen gibt es insbesondere in der Literatur und Evaluationspraxis
(a) zur deutschsprachigen Schul- bzw. Bildungsevaluation als auch
(b) in der deutsch-schweizerischen Literatur zu Politikevaluation und zum New Public Management. Beispiele abweichender Definitionen für den Bildungsbereich finden sie im Glossar der Evaluation

engl.: results (of a programme)
frz.: résultats (d'un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Resultate (eines Programms)

 

Unter Aktivitäten (eines Programms) sind alle Handlungen der beruflich oder ehrenamtlich im Programm Tätigen zu verstehen, die sie zur Umsetzung des Programms ausgeführt werden. Soweit sich die Aktivitäten direkt auf die Ziele des Programms richten, werden sie als Interventionen bezeichnet. Daneben gibt es Hilfsaktivitäten, welche die Interventionen ermöglichen oder unterstützen (z. B. Abstimmung und Koordination zwischen Mitarbeitenden oder Kooperationspartnern, Einarbeitung und Anleitung neuer Mitarbeitender).
In Programmen, die wesentlich in Koproduktion mit Mitgliedern der Zielgruppen umgesetzt werden (und deren aktive Teilnahme erfordern, z. B. Selbstlernen), gibt es darüber hinaus Zielgruppen-Aktivitäten. Hingegen wird stabilisiertes/verändertes Handeln/Verhalten der Zielgruppenmitglieder, welches durch das Programm als Resultat ausgelöst werden soll, den Outcomes zugerechnet (die Grenzen zwischen Zielgruppenaktivitäten und Outcomes sind evtl. fließend). Gegenüber den im logischen Modell (bspw. Programmbaum) den Aktivitäten nachgelagerten Outputs, die im Rahmen des Monitorings gezählt werden müssen, ist für die Aktivitäten in der Evaluation eine qualitative Beschreibung hinreichend.

engl.: activities (of a programme); actions
frz.: activités (d'un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Aktivitäten (eines Programms)

 

Unter Struktur(en) eines Programms versteht man Faktoren, die beim Träger (oder in einem Verbundsystem) eines Programms vorliegen, wie z. B. Rechtsform, Kapitalausstattung und Finanzierungsmix, Personalstruktur, Qualitätsmanagementsystem usf. Darüber hinaus bilden weitere an einem Programm beteiligte Institutionen und/oder Personen mit ihren Beziehungen und Verantwortungsbereichen bspw. für Programmbereiche, Steuerung, Kontrolle etc. die Struktur. Die lediglich mittelfristig veränderbare Struktur ist eine relevante Bedingung für die Durchführung eines Programms. Finanziers des Programms können durch eine gezielte Trägerauswahl bei der Vergabe von Programmen Einfluss auf Strukturbedingungen nehmen. Die Veränderung oder Stabilisierung der Struktur kann auch ein Ziel eines Programms sein. Werden als Resultate des Programms solche angestrebten Strukturveränderungen oder -stabilisierungen ausgelöst, bezeichnet man sie als Impacts.

engl.: structure (of a programme)
frz.: structure (d‘un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Struktur(en) eines Programms

 

Bedingungen eines Programms ist als Sammelbegriff für Kontext I, Inputs, Incomes und Struktur eines Programms zu verstehen. Die Bedingungen haben Einfluss auf das Konzept eines Programms (inkl. seiner Ziele) und dessen Umsetzbarkeit. Veränderungen relevanter Bedingungen während der Laufzeit des Programms gegenüber der Ausgangslage machen oft Anpassungen erforderlich. 

engl.: conditions (of a programme) 
frz.: conditions (d'un programme) 
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Bedingungen eines Programms