Aktuelles

Wenn Ausreißer keine Ausreißer sind: Ein Methodenartefakt im European Social Survey (ESS), Welle 11

Peer Ole Liliental entdeckte im European Social Survey (ESS) mithilfe einer explorativen Datenanalyse einen Methodenartefakt im Item für politischen Nachrichtenkonsum (nwspol). In der Welle 11 fielen ihm in einigen Ländern, darunter Deutschland, Italien und Ungarn, Gruppen mit ungewöhnlich hohen Werten auf, die deutlich von der normalen rechtsschiefen Verteilung abwichen.

Zur Analyse wandte er zwei Verfahren an:

  1. Ein Verfahren mit einer Ausreißergrenze, das etwa 30 Prozent der Fälle als „Hochkonsum-Gruppe“ identifizierte.
  2. Ein Verfahren mit einer LASSO-Regression zur Prädiktorselektion, das er anschließend in einer Post-LASSO-Regression für die Wellen 9, 10 und 11 überprüfte, um die (In)stabilität der Effekte zu belegen. Beide Ansätze lieferten jedoch keine plausible inhaltliche Erklärung.

Erst der Vergleich mit der Interviewstartzeit (ainws) lieferte eine Erklärung. Durch den Abgleich könnte nämlich bestätigt werden, dass Interviewer in einigen Fällen versehentlich die Interviewstartzeit anstelle der tatsächlichen Antwort zum politischen Nachrichtenkonsum eintrugen.

Von diesem Fehler sind in der Welle 11 in Deutschland 555 Fälle betroffen (22,9 % der deutschen Stichprobe). Im gesamten ESS sind es 1.564 Fälle in 25 Ländern (manche sind stärker betroffen, andere weniger). Zusätzlich sind bereits die alle vorherigen Wellen (8, 9 und 10) mit diesem Item ebenfalls in einigen Ländern betroffen.

Da sich die korrekten Werte rückwirkend nicht mehr ermitteln lassen, sollte die Norwegian Agency für Shared Services in Education and Research (Herausgeberin) eine Korrektur an den vergangenen Wellen vornehmen.

Das Poster von Peer Ole Liliental ist hier zu finden: Poster als PDF