Experimentelles Forschungsdesign: S09

Seminar #28538 im Modul Methoden: Wissenschaftstheoretische Grundlagen, Datenerhebung und Statistik, Sommersemester 2024

Marko Bachl

Freie Universität Berlin

10. 06. 2024

Herzlich Willkommen

Agenda

1. Check-in

2. Replication Crisis & Open Science

3. Präregistrierung

4. Pretest

5. Aufgaben bis zur nächsten Woche

Check-in

Folien der heutigen Sitzung

• Zum Abtippen: https://bachl.quarto.pub/experimentelles-forschungsdesign-s09/

• Link auf Blackboard

Replication Crisis & Open Science

Was ist das?

(Bem, 2011)

(Simmons et al., 2011)

(Collaboration, 2015)

An agenda for open science in communication

(Dienlin et al., 2021, Table 1)

Fragen?

Präregistrierung

Präregistrierung

Präregistrierung [engl. pre-registration; lat. prae- vor,  registrum Verzeichnis, Register], [FSE], Präregistrierung bez. die Darstellung des forschungsmeth. Vorgehens (Hypothesen, Forschungsdesign, Stichprobe, Ein- und Ausschlusskriterien, Untersuchungsdurchführung, Auswertungsplan, stat. Datenauswertung) bei der Durchführung und Auswertung einer zukünftig erfolgenden wiss. Studie. Durch die Präregistrierung wird offengelegt, welches meth. Vorgehen zur Erreichung der Forschungsziele bzw. zur Prüfung der Studienhypothesen realisiert werden wird. Präregistrierung stellt ein zentrales Element von Open Science-Praktiken dar, die die Transparenz, Replizierbarkeit und damit die Verlässlichkeit und Vertrauenswürdigkeit psychol. Befunde gewährleisten sollen. Präregistrierung gilt als effektives Mittel, um Qualitätsmängeln psychol. Forschungs- und Publikationspraxis, die im Rahmen der Replikationskrise deutlich wurden, entgegenzuwirken.

(Zitat: Wirtz (2022); Ausführliche Diskussion: Nosek et al. (2018))

Präregistrierung: Umsetzung

• aspredicted.org: Sehr gut geeignet für den Einstieg. Fokus auf einfache experimentelle Designs.
  • Beispiel: https://aspredicted.org/WCN_RQS
  • Unsere Umsetzung: Wiki in Blackboard
• OSF REGISTRIES: Umfangreicher, flexibler, aber auch komplexer. Vorlagen für viele unterschiedliche Designs und Disziplinen.

Fragen?

Pretest

Pretest: Manipulationscheck

• In größerer Studie:
  • Quantitativer Test, wie Stimuli wahrgenommen werden und ob das zu manipulierende Konstrukt tatsächlich zwischen Gruppen variiert.
  • Manchmal auch Test verschiedener Stimulus-Varianten zur Auswahl für die Hauptstudie.
• Hier:
  • Qualitatives Gespräch mit Proband:innen, um zu prüfen, wie die Stimuli wahrgenommen werden und ob Sie ob sie die gewünschte Wirkung haben könnten.

(Koch et al., 2019, Kapitel 5.5)

Pretest: Befragung

(Scholl, 2018, Kapitel 6.5)

Fragen?

Aufgaben bis zur nächsten Woche

Aufgabe aus der letzten Woche

• Wenn noch nicht geschehen: Überarbeitung des Instruments und Festlegen der Reihenfolge
  • An MB schicken oder selbst erledigen
• Im Anschluss: Erstellung der zufälligen Zuordnung zu Bedingungen
  • Erledigt MB, AG erhält Pretest-Link

Aufgaben bis zur nächsten Woche

Aufgaben

• Überarbeitung der Studie auf SoSci Survey in Absprache mit MB
• Entwurf der Präregistrierung im Blackboard Wiki
• Durchführung eines qualitativen Pretests (4 Versuchspersonen pro Arbeitsgruppe)
  1. Studienablauf wie in geplanter Studie
  2. Weiterer Durchgang mit Nachfragen, Hinweisen, etc.
• Überarbeitung von Stimuli und Befragung auf Basis der Pretest-Ergebnisse

Aktive Teilnahme

• Koordination der Erstellung der Präregistrierung und des Pretests in der Arbeitsgruppe
• Kommunikation mit MB zur Freigabe in SoSci Survey
• Fertigstellen der Präregistrierung (Wiki) und der Präsentation der Pretest-Ergebnisse (Aktive Teilnahme) bis Montag, 17. Juni, 9 Uhr.
• Vorstellen der Pretest-Ergebnisse in ca. 10-minütiger Präsentation.

Fragen?

Vielen Dank — bis nächste Woche

Marko Bachl

marko.bachl@fu-berlin.de

Literatur

Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407–425. https://doi.org/bn9nn6

Collaboration, O. S. (2015). Estimating the reproducibility of psychological science. Science, 349(6251). https://doi.org/68c

Dienlin, T., Johannes, N., Bowman, N. D., Masur, P. K., Engesser, S., Kümpel, A. S., Lukito, J., Bier, L. M., Zhang, R., Johnson, B. K., Huskey, R., Schneider, F. M., Breuer, J., Parry, D. A., Vermeulen, I., Fisher, J. T., Banks, J., Weber, R., Ellis, D. A., … Vreese, C. de. (2021). An agenda for open science in communication. Journal of Communication, 71(1), 1–26. https://doi.org/gg4t2j

Koch, T., Peter, C., & Müller, P. (2019). Das Experiment in der Kommunikations- und Medienwissenschaft: Grundlagen, Durchführung und Auswertung experimenteller Forschung. Springer VS. https://doi.org/mqwb

Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/gc6xk8

Scholl, A. (2018). Die Befragung. UVK Verlag. https://www.utb.de/doi/book/10.36198/9783838549989

Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/bxbw3c

Wirtz, M. (2022). Präregistrierung. In Dorsch Lexikon der Psychologie. https://dorsch.hogrefe.com/stichwort/praeregistrierung