Experimentelles Forschungsdesign: S02

Seminar #28538 im Modul Methoden: Wissenschaftstheoretische Grundlagen, Datenerhebung und Statistik, Sommersemester 2024

Marko Bachl

Freie Universität Berlin

22. 04. 2024

Herzlich Willkommen

Agenda

  1. Check-in

  2. Das Experiment (in der Kommunikationswissenschaft)

  3. Forschungsethik in sozialwissenschaftlichen Experimenten mit Menschen

  4. Replication Crisis & Open Science (verschoben auf Sitzung 9)

  5. Aufgaben bis zur nächsten Woche

  6. Gruppenbildung und Organisation

Check-in

Folien der heutigen Sitzung

Das Experiment in der Kommunikationswissenschaft

Wiederholung: Was ist ein Experiment?

Wiederholung: Definition

Ein Experiment ist eine Untersuchungsanordnung zur Überprüfung von Kausalannahmen, bei der unter kontrollierten Bedingungen mindestens eine unabhängige Variable aktiv variiert und deren Einfluss auf eine oder mehrere abhängige Variablen gemessen wird.

Wiederholung: Wichtige Begriffe

(Koch et al., 2019, Tab. 1)

Chancen

für kommunikationswissenschaftliche Experimente

  • Sind Menschen von einer Partei überzeugt, weil sie häufiger ihre Social-Media-Posts sehen? Oder sehen sie häufiger Social-Media-Posts der Partei, da sie sie gut finden?

  • Nutzen Menschen pornographische Inhalte, weil sie unzufrieden mit ihren sexuellen Erfahrungen sind? Oder sind sie unzufrieden mit ihren sexuellen Erfahrungen, weil sie pornographische Inhalte nutzen?

  • …

  • Experimentaldesign ermöglicht Identifikation von kausalen Effekten

Herausforderungen

für kommunikationswissenschaftliche Experimente

  • Interne und externe Validität von Medienstimuli
  • Kontextabhängige Medienwirkungen und experimentelle Generalisierbarkeit
  • Umgang mit interaktiven Medienstimuli

Fragen?

Forschungsethik in sozialwissenschaftlichen Experimenten mit Menschen

Wiederholung

Vorlesung Wissenschaftstheoretische Grundlagen und Datenerhebung, Prof. Emmer

Aufgabe (7 Minuten)

Besprechen Sie sich mit Ihrer Sitznachbar:in.

  • Warum müssen forschungsethische Grundsätze in Experimentalstudien besonders bedacht werden? Wie können sie dem Erkenntnisinteresse entgegenstehen?
  • Wägen Sie forschungsethische Überlegungen und wissenschaftliches Erkenntnisinteresse für Experimentalstudien ab, die sich mit den oben genannten Beispielen (Wirkung von politischen Social-Media-Posts; Nutzung von pornographischen Inhalten) beschäftigen.
07:00

Empfehlungen

  • Standard: freiwillige Teilnahme, informierte Einwilligung; Abweichung nur, wenn unbedingt notwendig und verhältnismäßig zu Risiko für Versuchspersonen.

  • Keine Schädigung von Versuchspersonen

  • Möglichst keine nachhaltige Veränderung von Kognitionen, Emotionen, Verhalten

  • Debriefing: Nachträgliche Aufklärung über Vorgehensweise und Ziele

  • Daten anonym und vertraulich behandeln

  • “kasuistische” — am Einzelfall orientierte — Abwägung; Unterstützung und/oder Prüfung durch Ethikkommission

Fragen?

Aufgaben bis zur nächsten Woche

Aufgaben bis zur nächsten Woche

Aufgaben

  • Kennenlernen und Organisation in der Arbeitsgruppe
  • Thema und Vorbildstudie finden: Jede AG findet eine Studie mit Experimental-Design, an der sie sich in ihrem eigenen Projekt orientieren will.
  • Abstract mit Forschungsfrage und Hypothese(n) formulieren (Koch et al., 2019, Kapitel 3)

Organisation in der Arbeitsgruppe

Seminarplan

https://bachl.quarto.pub/experimentelles-forschungsdesign/#arbeitsgruppen

Organisation in der Arbeitsgruppe

Aufgaben zur Aktiven Teilnahme

Bitte tragen Sie die Aufteilung der Aufgaben ins Wiki auf Blackboard ein. Die Aufgabe umfasst jeweils Koordination und Präsentation des Arbeitsschritts. In Gruppen mit 6 Mitgliedern dürfen sich für eine Aufgabe zwei Studierende eintragen.

  1. Themenfindung, Abstract und Forschungsfrage(n) und Hypothese(n)

  2. Erstellen der Stimuli

  3. Messinstrumente für die abhängigen Variablen

  4. Präregistrierung und Pretest

  5. Datenanalyse und Ergebnispräsentation

Thema finden

Rahmenbedingungen

  • Thematisch offen: Wichtig ist, dass es Sie interessiert und motiviert
  • Zwei-Gruppen-Design (Treatment vs. Kontrolle oder Treatment vs. Treatment).
  • Art des Stimulus geeignet für gemeinsame Befragung mit 5 Experimenten
  • Messung der abhängigen Variablen auf max. 2 Befragungsseiten
  • Zielgruppe der Studie erreichbar bei gemeinsamer Rekrutierung durch Seminarteilnehmende

Thema finden

Tipps für eine realistische Themenwahl: Explanandum

  • Beschränken Sie sich auf ein zentrales Konstrukt Y, auf das das Treatment wirken soll.
    • \(Y\) sollte bereits in der Forschungsliteratur vorkommen. Im Idealfall gibt es bereits etablierte und für unseren Rahmen geeignete Messinstrumente.
    • \(Y\) sollte sich im Rahmen einer Online-Befragung messen lassen.
    • \(Y\) sollte realistischerweise durch eine einmalige Exposition mit dem Treatment innerhalb einer Online-Befragung veränderbar sein.

Thema finden

Tipps für eine realistische Themenwahl: Explanans, Stimulus, Manipulation

  • Überlegen Sie zuerst, welche theoretische Ursache \(X\) Sie für den Effekt auf \(Y\) untersuchen wollen.
  • Überlegen Sie dann, wie Sie \(X\) in einem Stimulus abbilden bzw. durch einen Stimulus manipulieren können.
    • Denken Sie daran, dass Sie den Stimulus selbst erstellen (oder finden) müssen.
    • Denken Sie an die oben genannten Rahmenbedingungen.
    • Beachten Sie die ethischen Richtlinien.

Abstract mit Forschungsfragen und Hypothesen formulieren

  • Maximaler Umfang: 1 DIN A4-Seite (ca. ½ Seite Text + Forschungsfragen und Hypothesen)
  • Fügen Sie das Abstract bitte unten auf der Wiki-Seite Ihrer Arbeitsgruppe ein. Frist: Montag, 9 Uhr.
  • Das Abstract umfasst eine kurze Relevanzbegründung, Nennen und kurze Erklärung der \(X\) und \(Y\), kurzer Bezug zu Theorien und Forschungsstand, erste Überlegungen zum Stimulus und zu den Versuchpersonen sowie die Forschungsfrage(n) und Hypothese(n).
  • Bereiten Sie eine maximal 10-minütige Präsentation zum Abstract vor. Die Präsentation soll so gestaltet sein, dass sie Feedback aus dem Seminar ermöglicht.

Fragen?

Bilden der Arbeitsgruppen

Bilden der Arbeitsgruppen

  • 5 Arbeitsgruppen

  • 28 Studierende

  • 3 Gruppe mit 6 Studierenden, 2 Gruppen mit 5 Studierenden

Fragen?

Aufgaben bis zur nächsten Woche

  • Wenn noch nicht erledigt: Konto auf Soscisurvey anlegen (falls noch nicht vorhanden) und benutzte E-Mail-Adresse an MB senden (für Einladung zum Befragungsprojekt)
  • Kennenlernen und Organisation in der Arbeitsgruppe
  • Thema finden
  • Abstract und Forschungsfrage(n) und Hypothese(n) formulieren

Fragen?

Vielen Dank — bis nächste Woche

Marko Bachl

Literatur

Klimmt, C., & Weber, R. (2013). Das Experiment in der Kommunikationswissenschaft. In W. Möhring & D. Schlütz (Hrsg.), Handbuch standardisierte Erhebungsverfahren in der Kommunikationswissenschaft (S. 125–144). Springer Fachmedien. https://doi.org/mqv9
Koch, T., Peter, C., & Müller, P. (2019). Das Experiment in der Kommunikations- und Medienwissenschaft: Grundlagen, Durchführung und Auswertung experimenteller Forschung. Springer VS. https://doi.org/mqwb