|
<< Click to Display Table of Contents >> Navigation: Zuverlässigkeitsprüfungen > KAPPA - Inter-Rater-Reliability > Kappa-Ergebnisse |
Die Kappa-Grafik visualisiert die Ergebnisse der Kappa-Paar-Suchroutine, aber um die Zahlen zu den gefundenen Paaren zu erhalten, müssen Sie die Ergebnisse öffnen.
▪Klicken Sie auf die Schaltfläche Kappa-Berechnung in der Symbolleiste der INTERACT Kappa-Grafik, um die über alle DataSets hinweg summierte Werten zu erhalten.
In der Ergebnismatrix ist die Summe aller gefundenen Paare in den grünen Feldern zu finden, die eine diagonale Linie bilden.
Die Ergebnisse der Analyse werden dargestellt im Ergebnisse-Dialog:

Die Information in den Kappa-Ergebnissen liest sich wie folgt:
oJede Klasse wird auf einem eigenen Reiter dargestellt.
oDie Matrix gibt Ihnen eine Übersicht über die gefundenen Paare sowie darüber, wie oft Codes nicht übereingestimmt haben.
oAlle Einträge in den diagonalen grauen Feldern sind die gefundenen passenden Paare.
o'% Match' zeigt den Prozentsatz der Übereinstimmung pro Code.
oP(exp) listet den Anteil der Übereinstimmung auf, der zufällig pro Code erwartet wird.
oP(obs) listet den Anteil der Übereinstimmung auf, die tatsächlich beobachtet wurde.
Wenn die Beobachter unterschiedliches Verhalten im gleichen Zeitintervall kodiert haben, werden diese Codes in den übrigen weißen Feldern gezählt:
Tabellen-Orientierung
oIn den Zeilen finden Sie die Beobachtungen aus der 'Master'-Datei (die im Kappa-Diagramm zuerst angezeigte Datei - in diesem Beispiel Bakeman_Observer1b.xiact ), die den Codes in der ersten Spalte entsprechen.
Die Gesamtzahl der in einer Zeile gefundenen Verbindungen wird in der Spalte " Summe" zusammengefasst.
oIn den Spalten werden die identifizierten Ergebnisse der zweiten Datei (in diesem Fall Bakeman_Observer2b.xiact ) aufgeführt.
Die Gesamtzahl der gefundenen Verbindungen wird in der Summenzeile am unteren Ende der Tabelle eingetragen.
WICHTIG: Die Gesamtzahl im Feld " Summe" gibt die Anzahl der Verbindungen wieder und stimmt nicht unbedingt mit der Anzahl der Ereignisse für diesen Code in der Datendatei überein!
Wenn Sie beispielsweise rosa Ereignisse im Kappa-Diagramm sehen, sind diese Codes mit mehreren Ereignissen in der anderen Datei verknüpft, wodurch Übereinstimmungen und Nichtübereinstimmungen identifiziert werden. Alle Verbindungen zählen!
Ein Beispiel: Wenn wir Code "1" von Klasse "a" betrachten, sehen wir zwei Ereignisse für die erste Datei und fünf Ereignisse für die zweite Datei.
Für die erste Datei gibt es nur zwei Verbindungen. Für die zweite Datei gibt es acht Verbindungen:
Die Zahlen werden pro DatenSet berechnet und dann für alle Sets in der Ergebnistabelle zusammengefasst.
Im unteren Teil des Ergebnisfensters finden Sie:
oDer Kappa-Wert pro Klasse.
oDie Gesamtzahl der Kodierungen (Ereignisse)
oDie Gesamtwerte P(exp) = P(erwartet) und P(obs) = P(beobachtet),
odie genauen Dateinamen der verglichenen Datendateien
oDie Kappa-Parameter, die verwendet wurden, um diese Ergebnisse zu erhalten.
Die Auswahl Reihenfolge kann die Berechnung des Kappa-Koeffizienten beeinflussen!
Hinweis: Sie können im Kappa-Grafik Fenster jetzt die Reihenfolge der Dateien bestimmen!
Prozentualer Vergleich
Die zusätzlichen Vergleichsdaten in Form von prozentualer Übereinstimmung pro Code haben wir implementiert für all diejenigen, die sich aufgrund ihres Kodiersystems nicht auf den Kappa-Wert verlassen können.
Unabhängig von einer Wahrscheinlichkeitsberechnung wird die Summe der gefundenen Paare (in den grauen Feldern) einmal geteilt durch die Summe pro Zeile und einmal durch die Summe pro Spalte. Das bedeutet, dass für das erste Ergebnisset die Anzahl der gefundenen Paare durch die Summe der entsprechenden Spalte geteilt wird (z.B. für Code 'Group' : 15 / 17 *100 = 88,24%), während im zweiten Ergebnisset die Nummer der gefundenen Paare durch die Summe jeder Zeile geteilt wird (z.B. für Code 'Group' : 15 / 15 * 100 = 100,00%).
Dies resultiert in einem Prozentwert von identischen Kodierungen je Code. So können Sie z.B. die Ergebnisse eines Trainers mit denen von Studenten vergleichen.
Hinweis: Die Ergebnisse hängen weitgehend von den angegebenen Parametern ab. Eine detaillierte Beschreibung dieser Parameter finden Sie unter Kappa-Parameter.
Ergebnisse exportieren
▪Klicken Sie auf das Symbol Nach Excel exportieren, um alle Daten auf einmal in eine Excel-Datei zu exportieren, in der für jede Klasse eine eigene Registerkarte mit der Ergebnismatrix pro Klasse erstellt wird.
▪Klicken Sie auf das Symbol Speichern unter, um die Ergebnisse für die aktuelle Klasse als *.txt, *.csv oder *.xls Datei zu speichern. In diesem Fall müssen Sie das Suffix explizit angeben, sonst wird eine *.csv-Datei erzeugt.
▪Klicken Sie auf das Symbol Kopieren
, um die Ergebnisse für ALLE Klassen in die Windows-Zwischenablage zu übertragen.
▪Fügen Sie diese Ergebnisse in Ihre bevorzugte Zielanwendung ein (z.B. Notepad, Excel, Word,...).
▪
Parameter anpassen
Wenn die Ergebnisse nicht Ihren Erwartungen entsprechen, d.h. es werden Fehler angezeigt für Überlappungen die Sie noch als richtig werten würden, kann eine Anpassung der Ausgangsparameter die Situation verbessern.
▪Klicken Sie auf Parameter definieren, um zum Dialogfeld Kappa-Parameter zurückzukehren.