Cohens Kappa

Cohens Kappa

  • 30. Oktober 2017
  • Posted by: Mika
Keine Kommentare

Cohens Kappa ist ein statistisches Maß für den Grad der Übereinstimmung zweier Beurteiler oder der Beurteilungen eines Raters zu verschiedenen Zeitpunkten, das auf „Ja-Nein-Urteilen“ beruht.

Angenommen, 20 Studenten bewerben sich für ein Stipendium. Die Entscheidung über Vergabe oder Nicht-Vergabe des Stipendiums erfolgt aufgrund der Beurteilungen zweier Professoren X und Y, die beide mit jedem Studenten ein Interview führen und sich anschließend für oder gegen den Studenten aussprechen.

Die Tabelle zeigt die Häufigkeiten der Beurteilungen: In a = 8 Fällen waren sich beide Interviewer einig, dass der Student ein Stipendium erhalten solle; in c=3 Fällen sprach sich Professor X gegen und Professor Y für die Vergabe des Stipendiums aus, usw.

Professor Y
Vergabe Nicht-Vergabe

Professor X Vergabe a = 8 b = 4
Nicht-Vergabe c = 3 d = 5

Daraus kannst Du die Häufigkeit der Übereinstimmung p_0 als Anzahl der übereinstimmenden Urteile (a+d) dividiert durch die Gesamtzahl der Urteile (n=a+b+c+d) errechnen:

    \begin{equation*} p_0 = \frac {a + d } {n } = \frac {13} {20}= 0,65 \end{equation*}

Vergleich mit theoretischen Häufigkeiten

Den hoffentlich begründeten Urteilen der beiden Professoren kannst Du theoretische Häufigkeiten gegenüberstellen, die sich ergäben, wenn beide sich zufällig entscheiden würden: Aus den Häufigkeiten, mit denen X und Y für bzw. gegen die Vergabe eines Stipendiums gestimmt haben, erhältst Du die entsprechenden Einzelwahrscheinlichkeiten zu

Professor X „ja“

    \begin{equation*} p_X^{ja} = \frac {a + b } { n } = \frac { 12} {20 } =0,6 \end{equation*}
„nein“

    \begin{equation*} p_X^{nein} = \frac {c + d } { n } = \frac { 8} {20 } =0,4 \end{equation*}
Professor Y „ja“

    \begin{equation*} p_Y^{ja} = \frac {a + c } { n } = \frac { 11} {20 } =0,55 \end{equation*}
„nein“

    \begin{equation*} p_Y^{nein} = \frac {b + d } { n } = \frac { 9} {20 } =0,45 \end{equation*}

Dann erhältst Du die Wahrscheinlichkeit, dass sich beide Professoren zufällig für die Vergabe eines Stipendiums aussprechen, zu

    \begin{equation*} p_{beide}^{ja} = p_X^{ja} \cdot p_Y^{ja} = 0,6 \cdot 0,55 = 0,33 \end{equation*}

und die Wahrscheinlichkeit, mit der sich beide zufällig gegen einen Kandidaten entscheiden, zu

    \begin{equation*} p_{beide}^{nein} = p_X^{nein} \cdot p_Y^{nein} = 0,4 \cdot 0,45 = 0,18 \end{equation*}

Zu zufälliger Übereinstimmung käme es demnach mit einer erwarteten Wahrscheinlichkeit von

    \begin{equation*} p_e = p_{beide}^{ja} + p_{beide}^{nein} = 0,33 + 0,18 = 0,51 \end{equation*}

Berechnung von Cohens Kappa

Cohens Kappa vergleicht nun die beobachtete Häufigkeit der Übereinstimmung p_0 mit der erwarteten Häufigkeit der zufälligen Übereinstimmung p_e und normiert deren Differenz mit der erwarteten Häufigkeit zufälliger Nicht-Übereinstimmung:

    \begin{equation*}\kappa = \frac {p_0 - p_e} { 1 - p_e} = \frac {0,65 - 0,51 } { 1 - 0,51} = \frac { 0,14} { 0,49} = 0,2857 \end{equation*}

Im Fall von völliger Übereinstimmung nimmt p_0 den Wert Eins an und Du erhältst ein \kappa von Eins; im Fall absoluter Unterschiedlichkeit gilt p_0 = 0 und \kappa = 0.

\kappa kann also als Grad der Übereinstimmung der Urteile beider Rater interpretiert werden.