Thomas D. CookSteffi PohlPeter M. Steiner

Die relative Bedeutung der Kovariatenwahl, Reliabilität und Art der Datenanalyse zur Schätzung kausaler Effekte aus Beobachtungsdaten

Kurzlink: https://www.waxmann.com/artikelART100602

Artikel kaufen

Abstract

Häufig können in Evaluationsstudien keine randomisierten Experimente zur Schätzung des kausalen Effekts eines Programms durchgeführt werden, so dass auf quasi-experimentelle Designs zurückgegriffen werden muss. Die Güte der Effektschätzung in Quasi-Experimenten hängt jedoch stark von der Qualität des Designs und der statistischen Adjustierung ab. In diesem Artikel wird mithilfe von speziellen Studiendesigns, in denen Effektschätzungen aus (adjustierten) quasiexperimentellen Designs mit denen aus randomisierten, experimentellen Designs verglichen werden, die relative Bedeutung der Kovariatenwahl, der Unreliabilität bei der Messung dieser Kovariaten sowie der Wahl des Analyseverfahrens (Regressionsverfahren oder verschiedene Formen von Propensity Score-Verfahren) bei der Schätzung von kausalen Effekten aus Quasi-Experimenten untersucht. Die Ergebnisse dieser Studienvergleiche zeigen, dass die Kovariatenwahl den größten Einfluss auf die Biasreduktion hat, gefolgt von der reliablen Messung der Kovariaten. Die Art der Datenanalyse spielt hingegen eine untergeordnete Rolle. Die theoretische Überlegenheit von Propensity Score-Verfahren gegenüber Regressionsverfahren konnte in den praktischen Anwendungen bisher nicht bestätigt werden.
Schlagwörter: Kausale Effekte, Wirkungsanalyse, Quasi-experimentelle Designs, Propensity Scores

In evaluation studies it is often not possible to conduct randomized experiments for estimating causal effects of a program. Instead, quasi-experimental designs are frequently used. The causal interpretation of a statistically adjusted estimate is only warranted if the assumptions of the underlying quasi-experiment are met and the statistical analysis is properly conducted. In this article the relative importance of covariate choice, the covariates’ reliable measurement, and the choice of analytic method (regression analysis or diffent types of propensity score methods) are investigated using a within-study comparison which compares the effect estimate from adjusted quasi-experimental design to the corresponding effect estimate from a randomized experiment. The results show that the covariate choice is the most important factor for removing selection bias. The reliable measurement of covariates is the second most important factor. The choice of an analytic method does not have a strong impact on bias reduction. To date, the superiority of propensity score methods in comparison to regression methods is not yet supported by empirical evidence.
Keywords: Causal Effects, Impact Analysis, Quasi-experimental Designs, Propensity Scores

Schlagworte
Kausale Effekte, Wirkungsanalyse, Quasi-experimentelle Designs, Propensity Scores

APA-Zitation
Cook, T., Pohl, S. & Steiner P. (2011). Die relative Bedeutung der Kovariatenwahl, Reliabilität und Art der Datenanalyse zur Schätzung kausaler Effekte aus Beobachtungsdaten. Zeitschrift für Evaluation, 10(2), . https://www.waxmann.com/artikelART100602