Inhaltsanalyse mit künstlicher Intelligenz: S09

Seminar #28535 im Modul Methoden: Wissenschaftstheoretische Grundlagen, Datenerhebung und Statistik, Sommersemester 2024

Marko Bachl

Freie Universität Berlin

10. 06. 2024

Herzlich Willkommen

Agenda

1. Check-in

2. Wiederholung: Gütekriterien in der Inhaltsanalyse

3. Validierung von Zero-Shot-Klassifikationen

4. Überblick über Tools für die praktische Umsetzung

5. Aufgaben bis zur nächsten Woche

Check-in

Folien der heutigen Sitzung

• Zum Abtippen: https://bachl.quarto.pub/inhaltsanalyse_mit_ki_s09/

• Link und PDF auf Blackboard

Wiederholung: Gütekriterien in der Inhaltsanalyse

Forschungsprozess der Inhaltsanalyse

(Rössler, 2017, Abb. 3.1)

Wiederholung: Datenqualität

Vorlesung Wissenschaftstheoretische Grundlagen und Datenerhebung, Prof. Emmer

Wiederholung: Reliabilität

Vorlesung Wissenschaftstheoretische Grundlagen und Datenerhebung, Prof. Emmer

Anwendung: Intercoder-Reliabilität

Vorlesung Wissenschaftstheoretische Grundlagen und Datenerhebung, Prof. Emmer

Anwendung: Intercoder-Reliabilität

• Umsetzung mit R und dem Paket icr

• Ohne eigene Installation: https://bachl.quarto.pub/intercoder-reliabilitaet

• Mit eigener Installation: Blackboard > Code > R-Code > reliabilitaet.R

• In unserem Seminar: Berechnung der Intercoder-Reliabilität innerhalb der AG als Indikator für Qualität des Gold-Standards

Fragen?

Validierung von Zero-Shot-Klassifikationen

Validierung von Zero-Shot-Klassifikationen

(Törnberg, 2024, Fig. 1)

Validierung von Zero-Shot-Klassifikationen

• Quantitative Validierung: Wie gut funktioniert der Zero-Shot-Klassifikator im Vergleich zum menschlichen Gold-Standard?

• Qualitative Validierung: Welche Muster lassen sich in den Abweichungen zwischen menschlichen und KI-Klassifikationen erkennen?

• (Stabilität der KI-Klassifikation: Wie verändert sich die Klassifikation bei wiederholter Durchführung?)

(Törnberg, 2024, S. 9–10)

Anwendung: Quantitative Validierungsstudie

• Beispiel: Explainable Detection of Online Sexism (EDOS) (Github, Paper)

• Umsetzung mit R und dem Paket yardstick

• Ohne eigene Installation: https://bachl.quarto.pub/validierung_zero_shot

• Mit eigener Installation: Blackboard > Code > R-Code > validierung.R

Anwendung: Qualitative Validierungsstudie

• Inspektion der Fehlklassifikationen:
  • Fehlerursachen: Welche Inhalte, Wörter oder Formulierungen führen zu Fehlklassifikationen?
• Modifikation der falsch klassifizierten Kommentare und erneute Klassifikation:
  • Überprüfen der Vermutung über Fehlerursache

Fragen?

Überblick über Tools für die praktische Umsetzung

Überblick über die Tools

• Klassifikation durch AG-Mitglieder in Excel, Google Sheets, o.ä.
  • Unabhängige Klassifikation in separaten Dateien ohne Kenntnis der Klassifikationen der anderen AG-Mitglieder
  • Beim Zusammenfügen der Klassifikationen auf Übertragungsfehler achten.
  • Nach Berechnen der Intercoder-Reliabilität: Einigen auf korrekte Ausprägung; neue Tabelle mit nur einer Gold-Standard-Klassifikation pro Kommentar
• Klassifikation durch KI-Modell
  • Modifizierte Version der Shiny App mit Datei-Input und -Download: Github, Web-App
  • Modifizierte Version des R-Skripts mit Datei-Input und -Output: Blackboard > Code > R-Code > zs_classifier_bb.zip
  • Wenn es nicht anders geht: Stichprobe und Prompt an MB senden, Datei mit Klassifikation zurück erhalten
• Auswertung der Validierungsstudie (Intercoder-Reliabilität und Validierung der KI-Klassifikation) mit R:
  • Mit interaktivem Dokument: Dateien im erforderlichen Format an MB senden und Link erhalten
  • Durch Modifikation der R-Skripte: Blackboard > Code > R-Code

Aufgaben bis zur nächsten Woche

Aufgaben bis zur nächsten Woche

Aufgaben

• Validierung des Zero-Shot-Klassifikators
  • Testdaten: ca. 50 Kommentare, die alle Ausprägungen der Kategorien in ähnlichem Umfang abdecken
  • Klassifikation durch alle AG-Mitglieder
  • Berechnung der Intercoder-Reliabilität; Bei Abweichungen: Diskussion und Einigen auf korrekte Ausprägung
  • Klassifikation der Testdaten durch KI-Modell
  • Quantitativer und qualitativer Vergleich der Klassifikationen von AG-Mitgliedern und KI-Modell

Aktive Teilnahme

• Koordination der Validierungsstudie in der Arbeitsgruppe
• Ggf. Koordination mit MB zur technischen Unterstützung
• Einreichen bis Montag, 17. Juni, 9 Uhr in Blackboard Aktive Teilnahme🔒
  • Datensätze der Klassifikationen durch AG-Mitglieder und KI-Modell
  • Ergebnispräsentation der Validierungsstudie
• Präsentation den zentralen Ergebnisse im Seminar (ca. 10 Minuten)

Fragen?

Vielen Dank — bis nächste Woche

Marko Bachl

marko.bachl@fu-berlin.de

Literatur

Rössler, P. (2017). Inhaltsanalyse (3. Aufl.). UVK. https://doi.org/mqx8

Törnberg, P. (2024). Best Practices for Text Annotation with Large Language Models. arXiv. https://doi.org/gtn9qf