<< Click to Display Table of Contents >> Navigation: Zuverlässigkeitsprüfungen > KAPPA - Inter-Rater-Reliability > Kappa-Grafik |
Nach dem Start der Cohen's Kappa-Analyse und der Festlegung der Parameter beginnt INTERACT mit dem Vergleich der Dateien.
Dies bedeutet im Wesentlichen, dass versucht wird, übereinstimmende Paare zu finden, basierend auf den Parametern, die Sie im ersten Dialog eingegeben haben.
Eine detaillierte Übersicht darüber, wie INTERACT Ihre Regeln anwendet, finden Sie unter Kappa-Paarfindungsroutine.
Wenn die Routine durchgelaufen ist, erscheint die Kappa-Grafik .
Diese grafische Ansicht visualisiert die mit der Kappa-Routine gefundenen Paare (siehe auch Kappa-Paarfindungsroutine). Dies dient dem besseren Verständnis der resultierenden Kappa-Werte.
Die Kappa-Grafik zeigt Ihnen sowohl die Übereinstimmungen als auch die Fehler, die durch INTERACT gefunden wurden.
Das Diagramm zeigt alle Codes aus der ersten Klasse und das erste DatenSet der beiden Dokumente, wie folgt:
In diesem Beispiel ist der Name der Klasse einfach 'a' und die Zahlen 1,2,3,4,5 stellen verschiedene Codes dar. Basierend auf der beschriebenen Paarfindungsroutine zeigt diese Darstellung das Ergebnis aller Übereinstimmungen und Nicht-Übereinstimmungen recht bunt an:
oAlle gefundenen Paare werden in grün gezeichnet.
oAlle Fehler (= anderer Code) sind rot.
oCodes, die sowohl mit einem passenden als auch mit einem fehlerhaften Code verknüpft werden können, werden in pink dargestellt.
oCodes, die mit keinem anderen Code verknüpft werden können (kein Paar), werden in einem kaum sichtbaren hellen grau-blau dargestellt.
Hinweis: Auch wenn Ihr Kodiersystem nicht für die Berechnung von Kappa geeignet ist, können Sie diese Grafik verwenden, um einen grafischen Vergleich zwischen zwei Bewertern darzustellen!
Ansicht Ändern
Standardmäßig werden die Ereignisse pro DatenSet gruppiert, wie in der ersten Abbildung gezeigt. Es ist auch möglich, sie nach Code zu gruppieren:
Sie können diese Art der Visualisierung in den Kappa Parametereinstellungen auf der zweiten Registerkarte "Ansicht" auswählen:
▪Wählen Sie die Option Zeichne Daten von A und B direkt nebeneinander , um die Grafik nach Code zu gruppieren.
▪Deaktivieren Sie die Option Zeichne Daten von A und B direkt nebeneinander, um die Grafik nach Set zu gruppieren.
Parameter anpassen
Wenn die Ergebnisse nicht Ihren Erwartungen entsprechen, d.h. es werden Fehler angezeigt für Überlappungen die Sie noch als richtig werten würden, kann eine Anpassung der Ausgangsparameter die Situation verbessern.
▪Klicken Sie auf Parameter definieren, um zum Dialogfeld Kappa-Parameter zurückzukehren.
Kappa-Ergebnis
▪Klicken Sie auf Kappa-Berechnung , um den Ergebnisdialog zu öffnen.
▪Lesen Sie Kappa Ergebnisse für weitere Details.
Angezeigte Daten
Diese Darstellung ist ein einzigartiges Werkzeug, das Ihnen die Möglichkeit bietet, die Ergebnisse der Paarfindungsroutine zwischen zwei ausgewählte Dateien visuell zu überprüfen:
oUm das Ergebnis übersichtlich zu machen, wird automatisch immer nur eine Klasse aus einem DatenSet angezeigt, ausgewählt über die oberen Felder für Gruppe/Set und Klasse.
oSie können sich andere Klassen und/oder DatenSets anzeigen lassen, indem Sie die Auswahl in den Auswahlmenüs im oberen Teil des Fensters nutzen.
oWenn Sie die Maus über bestimmte Bereiche der Grafik bewegen, können Sie in diesem Bereich zoomen, um die Ergebnisse besser zu erkennen.
oVerwenden Sie das Symbol , um zur Vollansicht zurückzukehren.
oIm unteren Bereich des Fensters finden Sie Angaben zum genauen Dateinamen und den verglichenen Daten.
Zeitinformation
oWenn Sie die Maus über die Daten bewegen wird Ihnen die entsprechende Zeitinformation in der rechten oberen Ecke angezeigt.
oIm unteren Bereich des Fensters sehen Sie den niedrigsten Zeitcodewert sowie den höchsten Zeitcodewert, die in den beiden Dokumenten gefunden wurden. Diese Information dient dazu, die von der Grafik abgedeckte Dauer darzustellen.
oDoppelklicken Sie auf ein farbiges Ereignis, um die ausgewählte Sequenz im aktuell geöffneten Video abzuspielen. So können Sie die Ergebnisse ganz leicht überprüfen.
oDoppelklicken Sie auf ein farbiges Ereignis, um zu dem entsprechenden Ereignis in der Originaldatei zu springen, so dass Sie leicht überprüfen können, was richtig ist