<< Click to Display Table of Contents >> Navigation: Zuverlässigkeitsprüfungen > KAPPA - Inter-Rater-Reliability > Kappa-Ergebnisse |
Die Kappa-Grafik visualisiert die Ergebnisse der Kappa-Paar-Suchroutine, aber um die Zahlen zu den gefundenen Paaren zu erhalten, müssen Sie die Ergebnisse öffnen.
▪Klicken Sie auf die Schaltfläche Kappa-Berechnung in der Symbolleiste der INTERACT Kappa-Grafik, um die über alle DataSets hinweg summierte Werten zu erhalten.
In der Ergebnismatrix ist die Summe aller gefundenen Paare in den grünen Feldern zu finden, die eine diagonale Linie bilden.
Die Ergebnisse der Analyse werden dargestellt im Ergebnisse-Dialog:
Die Information in den Kappa-Ergebnissen liest sich wie folgt:
oJede Klasse wird auf einem eigenen Reiter dargestellt.
oDie Matrix gibt Ihnen eine Übersicht über die gefundenen Paare sowie darüber, wie oft Codes nicht übereingestimmt haben.
oAlle Einträge in den diagonalen grauen Feldern sind die gefundenen passenden Paare.
o'% Match' zeigt den Prozentsatz der Übereinstimmung pro Code.
oP(exp) listet den Anteil der Übereinstimmung auf, der zufällig pro Code erwartet wird.
oP(obs) listet den Anteil der Übereinstimmung auf, die tatsächlich beobachtet wurde.
oWenn die Beobachter unterschiedliches Verhalten im gleichen Zeitintervall kodiert haben, werden diese Codes in den übrigen weißen Feldern gezählt:
In den Spalten finden Sie die Beobachtungen aus der 'Master'-Datei (in diesem Fall die aktuell ausgewählte Datei Bakeman_Observer2.xiact), entsprechend den Codes in den Spaltenüberschriften. In Zeilen sind die Ergebnisse der zweiten Datei aufgelistet (in diesem Fall Bakeman_Observer1.xiact)
Im unteren Teil des Ergebnisfensters finden Sie:
oDer Kappa-Wert pro Klasse.
oDie Gesamtzahl der Kodierungen (Ereignisse)
oDie Gesamtwerte P(exp) = P(erwartet) und P(obs) = P(beobachtet),
odie genauen Dateinamen der verglichenen Datendateien
oDie Kappa-Parameter, die verwendet wurden, um diese Ergebnisse zu erhalten.
Die Auswahl Reihenfolge kann die Berechnung des Kappa-Koeffizienten beeinflussen!
Hinweis: Sie können im Kappa-Grafik Fenster jetzt die Reihenfolge der Dateien bestimmen!
Prozentualer Vergleich
Die zusätzlichen Vergleichsdaten in Form von prozentualer Übereinstimmung pro Code haben wir implementiert für all diejenigen, die sich aufgrund ihres Kodiersystems nicht auf den Kappa-Wert verlassen können.
Unabhängig von einer Wahrscheinlichkeitsberechnung wird die Summe der gefundenen Paare (in den grauen Feldern) einmal geteilt durch die Summe pro Zeile und einmal durch die Summe pro Spalte. Das bedeutet, dass für das erste Ergebnisset die Anzahl der gefundenen Paare durch die Summe der entsprechenden Spalte geteilt wird (z.B. für Code 'Group' : 15 / 17 *100 = 88,24%), während im zweiten Ergebnisset die Nummer der gefundenen Paare durch die Summe jeder Zeile geteilt wird (z.B. für Code 'Group' : 15 / 15 * 100 = 100,00%).
Dies resultiert in einem Prozentwert von identischen Kodierungen je Code. So können Sie z.B. die Ergebnisse eines Trainers mit denen von Studenten vergleichen.
Hinweis: Die Ergebnisse hängen weitgehend von den angegebenen Parametern ab. Eine detaillierte Beschreibung dieser Parameter finden Sie unter Kappa-Parameter.
Ergebnisse exportieren
▪Klicken Sie auf das Symbol Nach Excel exportieren, um alle Daten auf einmal in eine Excel-Datei zu exportieren, in der für jede Klasse eine eigene Registerkarte mit der Ergebnismatrix pro Klasse erstellt wird.
▪Klicken Sie auf das Symbol Speichern unter, um die Ergebnisse für die aktuelle Klasse als *.txt, *.csv oder *.xls Datei zu speichern. In diesem Fall müssen Sie das Suffix explizit angeben, sonst wird eine *.csv-Datei erzeugt.
▪Klicken Sie auf das Symbol Kopieren , um die Ergebnisse für ALLE Klassen in die Windows-Zwischenablage zu übertragen.
▪Fügen Sie diese Ergebnisse in Ihre bevorzugte Zielanwendung ein (z.B. Notepad, Excel, Word,...).
▪
Parameter anpassen
Wenn die Ergebnisse nicht Ihren Erwartungen entsprechen, d.h. es werden Fehler angezeigt für Überlappungen die Sie noch als richtig werten würden, kann eine Anpassung der Ausgangsparameter die Situation verbessern.
▪Klicken Sie auf Parameter definieren, um zum Dialogfeld Kappa-Parameter zurückzukehren.