Seltene Inhalte, schwierige Messung: Wie Fehlklassifikation Ergebnisse verfälscht und was wir dagegen tun können

Erosion demokratischer Werte? Antidemokratische Akteure in der Öffentlichkeit

Marko Bachl

Freie Universität Berlin

19. 03. 2025

Seltene Inhalte

Seltene Inhalte

(Ernst et al., 2017)

Seltene Inhalte

(Gründl, 2022)

Seltene Inhalte

(Schmiege et al., 2023)

Seltene Inhalte

(Erhard et al., 2025)

Schwierige Messung

Schwierige Messung

(Erhard et al., 2025)

Schwierige Messung

.metric .estimate
accuracy 0.96
recall 0.70
precision 0.73
f_meas 0.72
specificity 0.98
sensitivity 0.70

(Erhard et al., 2025)

Wie Fehlklassifikation Ergebnisse verfälscht

Wie Fehlklassifikation Ergebnisse verfälscht

\[ \hat{p} = \color{red}{p \times \text{sensitivity}} \color{black}+ \color{blue}{(1 - p) \times (1 - \text{specificity})} \]

  • Richtig klassifizierte Vorkommen + falsch klassifizierte Nicht-Vorkommen 
p = 0.03
p_hat = p * sens + (1 - p) * (1 - spec)
p_hat; p_hat/p
[1] 0.04198673
[1] 1.399558

Wie Fehlklassifikation Ergebnisse verfälscht

Was wir dagegen tun können

Was wir dagegen tun können

  • Problem anerkennen: Untersuchen wir ein seltenes Phänomen?
  • Spezifität und Präzision der Messung optimieren, nicht Sensitivität (Recall)
  • Mixed Methods und qualitative Zugänge
  • Statistische Modelle unter Berücksichtigung von Fehlklassifikation (Bachl & Scharkow, 2017; TeBlunthuis et al., 2024)

Was wir dagegen tun können

Anwendung: Off-topic-Fragen in Pressekonferenzen nach Tennisspielen

category sensitivity specificity
Age 0.71 0.98
Appearance & fashion 0.85 0.98
Defeat 0.78 0.98
Emotions 0.62 0.93
Family 0.84 0.99
Fitness & health 0.65 0.98
Money 0.91 0.99
Nationality 0.46 1.00
Other gender 0.46 0.97
Rankings 0.73 0.99
Sports 0.83 0.82
Tennis 0.82 0.81

Was wir dagegen tun können

Anwendung: Off-topic-Fragen in Pressekonferenzen nach Tennisspielen

(Ramos, Kao, & Bachl, ICA 2025)

Was wir dagegen tun können

  • Problem anerkennen: Untersuchen wir ein seltenes Phänomen?
  • Spezifität und Präzision der Messung optimieren, nicht Sensitivität (Recall)
  • Mixed Methods und qualitative Zugänge
  • Statistische Modelle unter Berücksichtigung von Fehlklassifikation (Bachl & Scharkow, 2017; TeBlunthuis et al., 2024)

Danke

Marko Bachl

Literatur

Bachl, M., & Scharkow, M. (2017). Correcting measurement error in content analysis. Communication Methods and Measures, 11(2), 87–104. https://doi.org/ghhzbn
Erhard, L., Hanke, S., Remer, U., Falenska, A., & Heiberger, R. H. (2025). PopBERT. Detecting populism and its host ideologies in the German Bundestag. Political Analysis, 33(1), 1–17. https://doi.org/g6mqd9
Ernst, N., Engesser, S., Büchel, F., Blassnig, S., & Esser, F. (2017). Extreme parties and populism: an analysis of Facebook and Twitter across six countries. Information, Communication & Society, 20(9), 1347–1364. https://doi.org/gc7mvt
Gründl, J. (2022). Populist ideas on social media: A dictionary-based measurement of populist communication. New Media & Society, 24(6), 1481–1499. https://doi.org/ghqg64
Schmiege, J., Engelmann, I., & Lübke, S. (2023). Populistisch und verschwörungstheoretisch? Publizistik, 68(4), 433–457. https://doi.org/g88ngj
TeBlunthuis, N., Hase, V., & Chan, C.-H. (2024). Misclassification in automated content analysis causes bias in regression. Can we fix it? Yes we can! Communication Methods and Measures, 18(3), 278–299. https://doi.org/g8v9zw