Der 'Kappa Koeffizient' wird immer zwischen den Beobachtungen zweier Beobachter berechnet (repräsentiert durch zwei INTERACT Listen).
WICHTIG: Der durch INTERACT berechnete 'Kappa Koeffizient' berücksichtigt die Tatsache, dass ein Beobachter mehr als einen Code zu einem Zeitpunkt vergeben kann, wohingegen der Standard Cohen´s Kappa dies nicht tut (siehe die folgende Beschreibung).
INTERACT berücksichtigt auch die Fälle, in denen ein Beobachter ein bestimmtes Verhalten entdeckt hat, wohingegen der Andere nichts entdeckt hat. Auch dies wird in den meisten Programmen zur Kappa Berechnung nicht berücksichtigt.
Die Cohen´s Kappa Berechnung in INTERACT beruht auf folgender Formel:
K = (Pobs – Pexp) / (1 – Pexp) |
Wobei Pobs der Anteil der aktuell beobachteten Übereinstimmung ist. Pexp ist der zufällig erwartete Anteil. Pobs wird berechnet durch die Summe der Randsummenwerte, die für die Übereinstimmungen stehen (die Werte der grauen Diagonalen in der Ergebnismatrix), geteilt durch die Gesamtzahl der Randsummenwerte. Pexp wird berechnet durch die Summe der Erwartungswerte für jede Klasse. Ein praktisches Beispiel folgt.
Die zwei für dieses Beispiel verwendeten Listen finden Sie unter ..\Mangold INTERACT Data\Demo\Deutsch. (Kappa Liste 1.xiact und Kappa Liste 2.xiact)
Ergebnismatrix
Die Ergebnisse der beiden Beobachter, die in zwei Listen gesammelt wurden, werden in der folgenden Matrix angezeigt. Die Parameter wurden eingestellt auf 50% Überlappung und 5 Bilder Abweichung bei der Startzeit.
Alle Codes, die von beiden Beobachtern im selben Zeitintervall kodiert wurden, werden summiert. Die Werte der grauen diagonalen Felder heißen 'Übereinstimmungswerte'. Diese Werte werden mit Hilfe unsere Kappa-Paarfindungsroutine ermittelt.
Die "Summen", die in der letzten Reihe und der letzten Spalte der Matrix angezeigt werden, werden zur Berechnung der zu erwartenden Beobachterübereinstimmung verwendet.
•
In diesem Beispiel hat Beobachter A den Code "Gruppe" 17 Mal kodiert, wohingegen Beobachter B den Code "Gruppe" 15 Mal kodierte. Dabei wurde nur 14 Mal dieser Code von beiden Beobachtern im gleichen Zeitintervall erkannt! Während Beobachter A die Klasse "Gruppe" kodiert hat, wurde von Beobachter B zweimal "parallel" und einmal "gemeinsam" kodiert.
Der Anteil der Übereinstimmungen des tatsächlich Beobachteten heißt Pobs und wird wie folgt berechnet:
(Die Anzahl der übereinstimmenden Codes wird summiert und durch die Gesamtzahl der Randsummenwerte geteilt.)
Pobs = Summe der Übereinstimmungswerte / Gesamtzahl der vergebenen Codes |
Pobs = (8+20+14+27+24)/102 = 93/102 = 0,91176 |
Die zufällig erwartete Wahrscheinlichkeit heißt Pexp und wird wie folgt berechnet:
(Für jeden Code wird die Spaltensumme mit der Zeilensumme multipliziert. Diese Werte werden summiert und durch die Gesamtzahl der Randsummenwerte im Quadrat geteilt.)
Pexp = (8*9 + 25*21 + 15*17 + 29*30 + 25*25) / 102*102 = 2347/ 10404 = 0,22559 |
Wenn wir diese Zahlen in unserer Kappa Formel verwenden, erhalten wir folgendes Ergebnis:
K = (0,91176 – 0,22559) / (1 – 0,22559) = 0,68617 / 0,77441 = 0,88606 |
•
Werte pro Code
Die P Ergebnisse pro Code haben keine Relevanz zum Kappa Wert und basieren auf das, was Randsummen-Wahrscheinlichkeit genannt wird, weil für einen einzelnen Code andere Regeln gelten als für die gesamte Situation.
Deswegen werden die codebasierten 'Pexpected' und 'Pobserved' Werte anders berechnet:
Pobs = obsp/(rsum+csum-obsp) |
Pexp = (rsum*csum)/(rsum+csum-(rsum*csum)) |
csum = Spaltensumme / Gesamte Anzahl der Ereignisse
rsum = Zeilensumme / Gesamte Anzahl der Ereignisse
obsp = Anzahl der übereinstimmenden Codes / Gesamte Anzahl der Ereignisse
Beispiel für 'Gruppe':
Pobs = (14/102) / (15/102 + 17/102 - (14/102)) = 0,137 / (0,147 + 0,167 - 0,137) = 0,137/0,177 = 0,77401
Pexp = (0,147*0,167)/((0,147+0,167) - (0,147*0,167)) = 0,0245 / (0,314 - 0,0245) = 0,0245 / 0,2895 = 0,084629
Die Summer aller CSUM Ergebnisse = 1
Die Summer aller RSUM Ergebnisse = 1
•
•
•
•
•
• |
||||
• |
||||
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
•
• |
||||
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
•
•
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
• |
•