Berechnung der Intercoder-Reliabilität

Autor:in

Zugehörigkeit

Marko Bachl

Freie Universität Berlin

Veröffentlichungsdatum

06. 06. 2024

Einführung

In diesem interaktivem Dokument können Sie die Berechnung der Intercoder-Reliabilität nachvollziehen und selbst durchführen. Der Code ist in R geschrieben und wird mit WebR im Browser ausgeführt. Das Format eignet sich gut zur Einführung, da sie nichts installieren müssen und die Ausführung auch auf (halbwegs aktuellen) Smartphones und Tablets möglich ist. Wenn Sie tiefer in die Datenanalyse mit R einsteigen möchten, empfehle ich Ihnen die Installation von R und RStudio auf einem lokalen Rechner. Dies ist sinnvoll, da Sie in der WebR-Anwendung lokale Dateien nicht direkt einlesen und den erstellten Code nicht direkt speichern können. Zum Einstieg finden Sie ein R-Skript mit den identischen Inhalten in Blackboard🔒.

Hinweise

Wenn Sie den vorgegebenen Code einfach ausführen möchten, klicken Sie auf den Play-Button (“Run Code”).
Die Code-Felder sind interaktiv, d.h. Sie können den Code verändern und erneut ausführen.
Die Schritte des vorgegebenen bauen aufeinander auf:
- Sie müssen die vorherigen Schritte durchführen, um die nachfolgenden Schritte ausführen zu können.
- Wenn Sie den Code in einem Schritt verändern, müssen Sie ggf. die nachfolgenden Schritte ebenfalls anpassen und erneut ausführen.

Pakete laden

{icr} berechnet Krippendorffs \(\alpha\) und als Zwischenschritt die Koinzidenzmatrix, die die Übereinstimmung der Codierungen zeigt und aus der wir die prozentuale Übereinstimmung (Holsti) berechnen können.

Daten einlesen und formatieren

Übliches Format

Allgemein: Jede Zeile eine Codiereinheit, jede Spalte ein:e Codierer:in
Beispiel: Kategorie Thema der Übung zu Reliabilitätstests aus der Vorlesung Wissenschaftstheoretische Grundlagen und Datenerhebung von Prof. Emmer. Drei Codierer:innen (Spalten) haben das Thema von 5 Artikeln (Zeilen) codiert.

Format für Krippendorffs \(\alpha\)

Transponierte Datei, d.h. jede Zeile ein:e Codierer:in, jede Spalte eine Codiereinheit
In R: Transponieren mit t()

Intercoder-Reliabilität berechnen

Reliabilitätstest berechnen

Das Ergebnis-Objekt enthält einige Zwischenergebnisse, die für uns interessant sind. Die anderen Elemente können wir hier ignorieren.
- alpha: Krippendorffs \(\alpha\)
- coincidence_matrix: Koinzidenzmatrix
- coding_values: Ausprägungen
- D_o: Beobachtete Abweichung (observed disagreement)
- D_e: Erwartete Abweichung (expected disagreement)

Koinzidenzmatrix

Die Koinzidenzmatrix zeigt die paarweisen Vergleiche aller Codierungen.
Die Diagonalelemente zeigen die Übereinstimmung der Codierungen.
Die Elemente außerhalb der Diagonalen zeigen die Abweichungen.
Mit dimnames() können wir die Beschriftung der Ausprägungen hinzufügen.

Prozentuale Übereinstimmung (Holsti)

Anteil übereinstimmende Codierungen = Summe der Diagonalelemente geteilt durch die Summe aller Elemente

Oder \(1 - D_o\) (\(D_o\): observed disagreement, beobachtete Abweichung)

Krippendorffs \(\alpha\)

\(\alpha = 1 - \frac{D_o}{D_e}\)
In Worten: 1 minus der beobachteten Übereinstimmung geteilt durch die erwartete Übereinstimmung
Erwartete Übereinstimmung: Anteil der Übereinstimmung, der durch Zufall zu erwarten ist
Zufall: Codier:innen ziehen Kategorien zufällig aus der empirisch beobachteten Verteilung der Kategorien