<< Click to Display Table of Contents >> Navigation:  Zuverlässigkeitsprüfungen > KAPPA - Inter-Rater-Reliability > Kappa-Ergebnisse > FAQ zu Kappa-Ergebnissen

Die Kappa-Berechnung führt oft zu mehr Fragen als Antworten. Gerade wenn Ihr Kodiersystem nicht sich gegenseitig ausschließend ist, enthalten Ihre Daten Lücken oder Sie haben nur ein oder zwei Codes in einer Klasse.

Negativer Kappa-Wert

Negative 'Kappas' treten auf, wenn die ausgewerteten Daten nicht für die Kappa-Formel geeignet sind.

Dies geschieht in der Regel, wenn eine Klasse nur 1 oder 2 Codes enthält.

Die Kappa-Formel basiert größtenteils auf Wahrscheinlichkeiten und dafür benötigen Sie einen Pool unterschiedlicher Codes pro Klasse. Klassen mit nur 1 oder 2 verschiedenen Codes funktionieren einfach nicht für Kappa, ebenso wie DatenSets mit nur 10 Ereignissen. Dies ist kein INTERACT-Problem, sondern liegt in der Natur der Kappa-Formel, die von Mr. Cohen entwickelt wurde.

Da viele unserer Kunden mit Kodiersystemen wie Ihrem arbeiten, haben wir den überlappenden Prozentwert in den Kappa-Ergebnissen implementiert. Dieser Prozentsatz berechnet die Anzahl der kodierten Codes und die Anzahl der gefundenen Paare, ohne die Wahrscheinlichkeit zu berücksichtigen.

Kappa-Wert = 0

Normalerweise geschieht dies, wenn eine Klasse nur 1 oder 2 Codes enthält.

oWenn Ihre Klasse 2 Codes und dazwischen Lücken enthält, verwenden Sie die Routine Lücken füllen, um einen dritten Code hinzuzufügen.

oWenn Ihre Klasse nur 1 Code enthält, verwenden Sie den Befehl Bewegen & Kombinieren, um die Codes so vieler Klassen wie möglich zu kombinieren, wie im  Abschnitt Overall-Kappa beschrieben.

oWenn Ihre Daten in Pexpected = Pobserved resultieren, ist der finale Kappa-Wert Null!
Das liegt daran, dass bei K = (Pobs – Pexp) / (1 – Pexp) das Ergebnis von Pobs – Pexp in diesem Fall Null ist.
Das macht nicht nur mathematisch Sinn, denn Pexp ist die durch Zufall erwartete Proportion. Das bedeutet, dass, wenn dieser Wert exakt mit Pobs übereinstimmt, der Kodierer rein zufällig die richtigen Codes getroffen hat...  

Gesamt-Kappa

Kappa wird aufgrund der von Mr. Cohen Kappa entworfenen Regeln pro Klasse berechnet. Wenn Ihre kodierten Daten jedoch immer nur einen Code pro Ereignis-Zeile enthalten, können Sie einen kleinen Trick anwenden, um ein Gesamt-Kappa zu erhalten:

▪Wählen Sie den Befehl Verschieben & Kombinieren.

▪Wählen Sie alle relevanten Klassen aus.

▪Wählen Sie die Option Klassen zusammenfassen.

▪Erstellen Sie eine neue Klasse, indem Sie einen Namen wie "ReliabilityCheck" oder ähnlich in das Feld Zielklasse eingeben.

▪Diese neue Klasse enthält nun alle Codes, die bisher über mehrere Klassen verteilt waren.

▪Führen Sie Kappa aus und achten Sie nur auf die Ergebnisse für die neue Klasse.

Hinweis:        Es gibt keinen Gesamt-Kappa für mehrere Klassen. Mr. Cohen entwickelte die Kappa-Formel für fortlaufende, vollständige Kodierungen. INTERACT-Daten sind üblicherweise weder fortlaufend noch vollständig, wenn sie über mehrere Klassen verteilt sind.    

Kappa nach Code

Es gibt keinen code-basierten Kappa. Das ist in der Natur der Original-Kappa-Routine begründet, wie sie von Mr. Cohen entwickelt wurde. Er entwickelte diese Routine für vollständige, fortlaufende Codes, die sich zeitlich nicht überlappen, zumindest pro Klasse. Das ist nicht anwendbar für einzelne Codes.  

Die Kappa-Routine hängt weitgehend von Wahrscheinlichkeiten ab und Wahrscheinlichkeiten sind nur in einem großen Datenpool belastbar.

Wir bieten Pobserved und Pexpected pro Code, aber diese Werte sind nicht wirklich Kappa-bezogen, daher können sie nicht für eine manuelle Kappa-Berechnung herangezogen werden.  

Die code-basierten Werte für Pobs und Pexp beruhen auf unserer eigenen Implementierung für die Berechnung einer marginal kumulativen Wahrscheinlichkeit.  

Unsere prozentuale Übereinstimmung ist pro Code aufgelistet. Dies ist eine ungewichtete Prozentberechnung, in der die Anzahl der Übereinstimmungen dividiert wird durch die Gesamtzahl der Vorkommen für diesen einen Code, wie beschrieben unter Ergebnisse (Kappa).  

Allgemeine Kappa-Schwächen

Die hier aufgelisteten Punkte sind generelle Kappa-Probleme, keine INTERACT-Probleme!

oEs gibt keine Gewichtung dafür, wie "schwierig ein Verhalten zu kodieren ist". Manches Verhalten ist einfach zu erkennen, was zu einer sehr zeitgenauen Übereinstimmungsberechnung führen sollte. Andere Verhaltensweisen sind sehr schwer zu erkennen, so dass die Übereinstimmungsberechnung weniger streng sein sollte.

oIntervallbasierte Skalenratings sind überhaupt nicht geeignet, da der Unterschied zwischen 1 und 2 genauso stark gewichtet wird wie zwischen 1 und 6.

oDie Semantik eines Codes findet keine Berücksichtigung in der Berechnung. Beispiel: Ein Hund bellt fünfmal in Folge. Beobachter 1 erfasst fünf Ereignisse, Beobachter 2 nur ein langes Ereignis. In diesem Fall haben Sie 4 Nichtübereinstimmungen (die Pausen zwischen den Codes von Beobachter 1). Abhängig davon, wie oft dies in Ihrer Studie vorkommt, können sich nun die Nichtübereinstimmungen schnell summieren, während sie vielleicht völlig irrelevant sind in Bezug auf die Bedeutung des Codes. Dies ist ein sehr einfaches Beispiel und es gibt viele Situationen, in denen die wirkliche Bedeutung (Semantik) eines Codes tatsächlich Auswirkungen auf die Übereinstimmungsberechnung haben sollte.

oDie Varianz der Dauern der Verhaltensweisen wird nicht berücksichtigt. Wir denken, dass die Länge eines aufgezeichneten Verhaltens bei jeder gefundenen Übereinstimmung/Nichtübereinstimmung gewichtet werden sollte.

oDie Verwendung eines 'Event'-basierten Algorithmus (INTERACT) oder eines auf Zeitsequenzen basierten Algorithmus (GSEQ) kann schnell zu völlig unterschiedlichen Ergebnissen führen. Vor allem, weil nicht definiert ist, wie lang jedes Intervall sein soll für den Fall, dass Sie Ihre eventbasiert kodierten Daten in zeitsequenzbasierte Intervalle zerlegen möchten. Plötzlich produziert so ein einzelnes Hundebellen in N Übereinstimmungen/Nichtübereinstimmungen, obwohl es in der Realität nur ein Ereignis war. Daher sollte die Intervallweite für verschiedene Verhalten variieren, siehe auch die obigen Punkte.      

Datei-Auswahl Reihenfolge

Wenn sich Ihr Kappa-Ergebnis ändert, sobald Sie die Reihenfolge Ihrer Dateien ändern:

Dieses Verhalten ist ein direktes Resultat Ihrer Daten.

Beispiel: Ein Code "A" in der Masterdatei hat eine Dauer von 4 Sekunden. Die zweite Datei enthält den gleichen Code "A" etwa zur gleichen Zeit, aber mit einer Dauer von 8 Sekunden und zeitlich leicht versetzt.

Wenn Sie die Kappa-Routine mit einer erforderlichen Überlappung von 80% durchführen, sind 80% der 4 Sekunden leicht abgedeckt vom 8-Sekunden-Ereignis.

In umgekehrter Reihenfolge könnte sein, dass diese Kombination nicht als Übereinstimmung betrachtet wird! Das liegt einfach daran, dass 80% von 8 Sekunden = 6,4 Sekunden sind, daher kann ein 4-Sekunden-Ereignis diese Kriterien nicht erfüllen. Wenn es aber kein anderes übereinstimmendes oder nicht übereinstimmendes Ereignis gibt und das 4-Sekunden-Ereignis innerhalb des als zweiter Parameter festgelegten Zeitrahmens beginnt, ausgehend vom Beginn des 8-Sekunden-Ereignisses, wird es wiederum als Übereinstimmung angesehen.