Experimentelles Forschungsdesign: S07

Seminar #28538 im Modul Methoden: Wissenschaftstheoretische Grundlagen, Datenerhebung und Statistik, Sommersemester 2024

Marko Bachl

Freie Universität Berlin

27. 05. 2024

Herzlich Willkommen

Agenda

  1. Check-in

  2. Gemessene Variablen im Experiment

  3. Wiederholung: Befragung (und Beobachtung)

  4. Umsetzung: Befragung in SoSci Survey

  5. Aufgaben bis zur nächsten Woche

Check-in

Folien der heutigen Sitzung

Gemessene Variablen im Experiment

Wiederholung: Definition

Ein Experiment ist eine Untersuchungsanordnung zur Überprüfung von Kausalannahmen, bei der unter kontrollierten Bedingungen mindestens eine unabhängige Variable aktiv variiert und deren Einfluss auf eine oder mehrere abhängige Variablen gemessen wird.

  • Heute: Was messen? Wann messen? Wie messen?

Gemessene Variablen im Experiment

  • abhängige Variablen (aV): Konstrukte, die von manipulierter unabhängiger Variable beeinflusst werden sollen

  • Kontrolle des experimentellen Designs und der Versuchspersonen: Manipulationscheck, technische Checks, Aufmerksamkeitschecks

  • Drittvariablen: Moderatoren, Mediatoren, Kovariaten

  • Weitere Messungen: Funktionsfragen (Filter, Verschleierung, Eisbrecher), Variablen zur Stichprobenbeschreibung, informierte Einwilligung, Kontakt der Versuchspersonen

Abhängige Variablen

  • Operationalisierung der in Forschungsfrage und Hypothesen formulierten Konstrukte

  • Fokus der Messung; Voraussetzung für Aussagekraft des Experiments

  • Manchmal Unterscheidung:
    • Primäre aV (primary outcome): Zentrales Konstrukt, das durch Manipulation beeinflusst werden soll
    • Sekundäre aV (secondary outcome): Weitere Konstrukte, die durch Manipulation beeinflusst werden (z.B. mögliche Prozesse)

Messungen zur Kontrolle des experimentellen Designs und der Versuchspersonen

  • Variablen zum Manipulationscheck: Konstrukte, die durch Stimulus-Versionen manipuliert werden sollen

  • Variablen zum technischen Check: z.B. Fragen zu Ton und Darstellung, Reaktions- bzw. Antwortzeiten

  • Variablen zum Aufmerksamkeitscheck: Verständnisfragen, selbstberichtete Aufmerksamkeit, Test-Items

Drittvariablen

  • Moderatoren: Bedingungen für Stärke oder Richtung des Einflusses einer uV auf eine aV

  • Mediatoren: Vermittlung des Einflusses einer uV auf eine aV

  • Kovariaten: Nicht manipulierte uV, die Varianz in aV erklären können

Gemessene Variablen in diesem Seminar

  • Fokus auf abhängige Variablen

  • Notwendige Variablen zu Kontrolle

  • Gemeinsame Fragen zur Stichprobenbeschreibung und zur informierten Einwilligung

Zeitpunkt der Messungen

  • Ideal: Alle Messungen außer aV vor der Manipulation
    • Aber: Gefahr der Beeinflussung der Stimulusrezeption?
  • Kontrovers: Mediatoren (Empfehlung: mehrere Studien oder komplexere Designs), Manipulationschecks (Empfehlung: in separater Studie), technische Checks, Aufmerksamkeitschecks (Empfehlung: Möglichst Treatment-neutral)
    • Müssen logischerweise nach Manipulation erfolgen
    • Können in Analyse Ergebnisse verzerren

Fragen?

Wiederholung: Befragung (und Beobachtung)

Wiederholung: Befragung (und Beobachtung)

Vorlesung Wissenschaftstheoretische Grundlagen und Datenerhebung, Prof. Emmer

Wiederholung: Befragung (und Beobachtung)

  • Wichtige Unterscheidung: Manifeste oder latente Konstrukte
    • Manifeste Konstrukte: (prinzipiell) direkt beobachtbar, z.B. Auswahl eines Artikels, Wahlverhalten bei der Europawahl; Messung mit einem Indikator (einer Frage)
    • Latente Konstrukte: Nicht direkt beobachtbar, z.B. Intelligenz, Einstellungen, Persönlichkeit; Messung mit mehreren Indikatoren (Fragen, Items)
  • Literatur
    • Kurzer Überblick: Koch et al. (2019), Kap. 8.2 und 8.3
    • Ausführlich: Material von GESIS, besonders Lenzner & Menold (2015)

Umsetzung: Befragung in SoSci Survey

Umsetzung: Befragung in SoSci Survey

Fragen?

Aufgaben bis zur nächsten Woche

Aufgaben bis zur nächsten Woche

Aufgaben

  • Erster Entwurf des Messinstruments in SoSci Survey
    • Fokus: zentrale abhängige Variablen
    • Notwendige Checks (Technik, Aufmerksamkeit, Manipulation)
    • Umsetzung in AG-Rubrik, noch nicht in Fragebogen einbauen

Aktive Teilnahme

  • Koordination der Frageentwicklung in der Arbeitsgruppe
  • Fertigstellen des Entwurfs in SoSci Survey bis Montag, 3. Juni, 9 Uhr.
  • Vorstellen der Fragen in max. 10 Minuten. Keine Präsentation, sondern Fragen (und Stimulus) direkt in SoSci Survey zeigen.

Fragen?

Vielen Dank — bis nächste Woche

Marko Bachl

Literatur

Koch, T., Peter, C., & Müller, P. (2019). Das Experiment in der Kommunikations- und Medienwissenschaft: Grundlagen, Durchführung und Auswertung experimenteller Forschung. Springer VS. https://doi.org/mqwb
Lenzner, T., & Menold, N. (2015). Frageformulierung (GESIS Survey Guidelines). GESIS - Leibniz Institute for the Social Sciences. https://doi.org/10.15465/GESIS-SG_017