Differences-in-Differences

Bei Differences-in-Differences (DiD) handelt es sich um experimentelles Design mit Treatment- und Kontrollgruppe. Experimente mit Kontrollgruppen finden in vielen Bereichen Anwendung und sind auf keinen Untersuchungsbereich beschränkt. Am bekanntesten sind Experimente mit Kontrollgruppen aber in der Medizin. Die Treatmentgruppe erfährt die Intervention, bspw. eine bestimmte Therapie oder Medikation, die Kontrollgruppe dagegen nicht. Wie der Name sagt, werden in DiD-Designs dann die Differenzen zwischen der Treatment- und der Kontrollgruppe nach Einführung einer Intervention untersucht. Dafür ist eine Zeitreihe notwendig, die Informationen über die Kontroll- und Treatmentgruppe enthält. Dabei benötigst Du Informationen über vier Gruppen. Die erste Gruppe enthält Informationen über die Treatmentgruppe vor Einführung der Intervention, die zweite Gruppe ist die Treatmentgruppe nach Einführung der Intervention, die dritte Gruppe ist die Kontrollgruppe vor Einführung der Intervention und die vierte und letzte Gruppe ist die Kontrollgruppe nach Einführung der Intervention. In einem experimentellen Design mit Kontrollgruppe kannst Du nun den Effekt der Intervention über die Differenz im Outcome y zwischen Treatment- und Kontrollgruppe vor (Pre-Treatment) und nach Einführung der Intervention (Post-Treatment) analysieren. Wenn Deine Intervention einen Effekt hat, dann solltest Du einen Unterschied im Outcome zwischen Treatment- und Kontrollgruppe nach der Einführung der Intervention feststellen, der sich gegenüber dem Unterschied zwischen Kontroll- und Treatmentgruppe vor Einführung der Intervention unterscheidet.

Um die Idee des Differences-in-Differences-Experiments zu verstehen, ist die formale Zusammenfassung des DiD-Schätzers hilfreich:

   

Du siehst hier die vier angesprochenen Gruppen, die mithilfe von Dummy-Variablen definiert werden können. Der erste Index der Outcome-Variable identifiziert Treatmentgruppe (1) und Kontrollgruppe (0). Der zweite Index von bestimmt die Pre-Treatment (0) und Post-Treatment (1)-Periode. Der DiD-Schätzer beschreibt also den Unterschied zwischen Treatment- und Kontrollgruppe als jeweilige Differenz in den Gruppen vor und nach Einführung der Intervention bzw. des Treatments.

Differences-in-Differences kannst Du wiederum mithilfe eines (gepoolten) Regressionsmodells schätzen, das neben dem Effekt der Einführung der Intervention (Pre-Post-Dummy ) auf die Outcome-Variable und dem Effekt der Zugehörigkeit zur Treatment-Gruppe (Treatment-Dummy ), den DiD-Schätzer entsprechend als Interaktion aus Zugehörigkeit zur Treatmentgruppe nach Einführung der Intervention () beschreibt:

   

Der Interaktionseffekt ist dann Dein DiD-Schätzer und gesuchter average treatment effect (ATE).

Stell Dir bspw. vor, Du willst den Effekt einer Werbeaktion auf Deine Verkäufe untersuchen. Dabei überlegst Du dir, den einen Teil Deiner Kunden per E-Mail auf Dein Shop-Angebot aufmerksam zu machen, dem anderen Teil dagegen nicht, zudem welche Einkäufe Deine registrierten Kunden vor der E-Mail-Aktion getätigt haben. Damit ist es Dir möglich, die vier Gruppen für ein DiD-Experiment zu bestimmen – Verkäufe an Treatment- und Kontrollgruppe vor und nach Einführung des Treatments.

Du siehst Dir dafür die durchschnittlichen Verkäufe in Kontroll- und Treatmentgruppe 5 Tage vor und 5 Tage nach der Werbeaktion an:

Tag		1	2	3	4	5	6	7	8	9	10
Verkäufe	Treatmentgruppe	5	7	6	8	7	11	10	12	11	13
	Kontrollgruppe	1	3	2	4	3	5	4	6	5	7

In beiden Gruppen stellst Du schwankende aber im Trend steigende Verkäufe fest. Du weißt, an Tag 5 hast Du die E-Mail-Werbeaktion durchgeführt. Nun willst Du den Effekt der Aktion bestimmen. Dafür wählst Du die DiD-Methode. Damit lässt sich der Treatment-Effekt einfach über die Differenzen zwischen Treatment- und Kontrollgruppe nach der Aktion im Vergleich zu vorher berechnen. Du berechnest einen positiven Treatment-Effekt (2), der besagt, dass die Einführung eine Steigerung Deiner Verkäufe in der Treatment-Gruppe im Schnitt um 2 Einheiten bewirkte als ohne die Einführung der Intervention eingetreten wäre (Kontrafaktuelle).

Den Treatment-Effekt kannst Du auch in der untenstehenden Abbildung ablesen ohne nachrechnen zu müssen. Die untere schwarze Linie beschreibt den Verlauf der Verkäufe in Deiner Kontrollgruppe über die gesamte Zeit des Experiments. Du erkennst wie erwartet keine Veränderung im Verlauf der Verkäufe nach der Werbeaktion an Tag 5. Die rote Linie beschreibt den Verlauf der Verkäufe in der Treatment-Gruppe. Nach der Werbeaktion verschieben sich die Verkäufe hier sprunghaft um 2 Einheiten im Vergleich zur Kontrafaktuellen (obere schwarze Linie) nach oben. Im Beispiel bleibt der Trend gleich, sodass der Treatment-Effekt als sprunghafte Verschiebung der Verkäufe einfach erkennbar ist. Die Berechnung des absoluten average treatment effects (ATE) bleibt aber auch bei einer Veränderung der Verkäufe, die nicht parallel zur Kontrafaktuellen verläuft, gleich. Schätzt Du die DiD über eine Regression, resultiert derselbe ATE. Der Vorteil der Regressionsanalyse gegenüber der einfachen Differenz ist die Möglichkeit, zum Beispiel weitere Kovariate zu kontrollieren oder serielle Korrelation der Zeitreihe zu berücksichtigen.

Experimentelle Designs mit Pre-Treatment-Periode und Kontrollgruppe haben eine hohe interne Validität. Das heißt, die Veränderung im Outcome kann eindeutig oder kausal auf die Intervention zurückgeführt werden. Die wichtigste Voraussetzung für eine valide Schätzung des Einflusses der Intervention in einem DiD-Design ist die Parallel Trends-Annahme. Wenn die Treatment-Gruppe keine Intervention erfahren hätte (die Kontrafaktuelle), dann müsste der Unterscheid zwischen der Kontrafaktuellen und der Kontrollgruppe immer gleich bzw. konstant sein. Denn die Kontrafaktuelle spiegelt sozusagen die Veränderung, die in der Kontrollgruppe nach der Intervention eingetreten ist, wider. Erst dann kannst Du den Effekt der Intervention auf die Treatment-Gruppe valide schätzen. Wenn Deine Kontrollgruppe und Deine Treatmentgruppe vor Einführung der Intervention den gleichen, parallelen Verlauf bzw. Trend zeigen, kannst Du davon ausgehen, dass sich auch nach der Einführung der Intervention der Unterschied zwischen Kontrafaktuelle und Kontrollgruppe weiterhin gleich bzw. konstant bleibt. Sollte der Unterschied zwischen Kontroll- und Treatmentgruppe vor Einführung der Intervention nicht gleich bleiben, dann kannst Du zum Beispiel mithilfe von Matching-Verfahren eine ähnliche Kontrollgruppe zur Treatmentgruppe finden.