<< Click to Display Table of Contents >> Navigation: Zuverlässigkeitsprüfungen > KAPPA - Inter-Rater-Reliability > Kappa-Parameter |
Nach Aufrufen des Kappa-Befehls Auswerten - Zuverlässigkeit - Kappa und der Festlegung der Daten für den Datenvergleich, erscheint der Dialog zur Festlegung der Parameter zur Kappa-Berechnung:
oSie können die Routine mit den Standardeinstellungen starten, aber wahrscheinlich müssen Sie diese Parameter an Ihre Bedürfnisse anpassen. Diese Einstellungen können die resultierenden Kappa-Werte enorm beeinflussen!
Hinweis: Es gibt keine allgemein 'beste' Einstellung, da diese von der Art der Codes, der Länge Ihrer Ereignisse, der erforderlichen Genauigkeit usw. abhängen.
Um zu verstehen, was diese Einstellungen bedeuten, lesen Sie das Thema Kappa-Paarfindungsroutine.
Kriterien für Übereinstimmungen
oFür alle Codes mit einer Dauer können Sie mit dem Schieberegler die Anzahl der Überlappungen festlegen, die Sie benötigen. Sind Ihre Codes alle relativ kurz, müssen Sie den Überschneidungsfaktor reduzieren, um brauchbare Ergebnisse zu erhalten.
oBei sehr kurzen Ereignissen kann es sein, dass sich Ihre Codes dennoch nicht überschneiden. Über das Feld Zeitwert können Sie das Intervall definieren, in dem der übereinstimmende Code kodiert sein soll, um als Übereinstimmung gezählt zu werden. Auch hier ist es wichtig, die Art Ihrer Daten zu berücksichtigen. Passiert sehr viel in einem kurzen Zeitraum, sollten Sie diesen Wert verringern, um Ihre Ergebnisse nicht zu verzerren.
Beim Ablauf der Routine versucht INTERACT zunächst, Paare basierend auf dem ersten Übereinstimmungsparameter zu finden und alle gefundenen Paare zu kennzeichnen. Wenn keine weiteren Paare auf Basis der Toleranzeinstellungen gebildet werden können, wird die zweite Einstellung angewendet und alle verbliebenen Codes werden dementsprechend überprüft um zusätzliche Paare zu bilden. Eine detailliertere Beschreibung gibt es unter Kappa-Paar-Such-Routine.
Wenn nach diesem Durchlauf immer noch Codes übrig sind, die nicht als Paar gekennzeichnet sind, werden diese Nichtübereinstimmungen (Fehler) entsprechend gekennzeichnet. Codes ohne Gegenstück erscheinen in der Spalte/Zeile Keine Paare und sind in der Kappa-Grafik blau dargestellt.
Kriterien für Nichtübereinstimmungen
Grundsätzlich die gleiche Routine ist anwendbar, um 'Nichtübereinstimmungen' zu kennzeichnen. Das hilft, die "Nicht-Paare" zu reduzieren.
Vergleichsmethode
Sie können nun auswählen, welche Dokumente berechnet werden können:
oVergleiche Dokument 1 mit Dokument 2 - Klassische Art der Berechnung von Kappa
oVergleiche Dokument 1 mit allen anderen - Vergleicht automatisch die im Kappa-Diagramm als Dokument A ausgewählte Datei mit jedem der aktuell geöffneten Dokumenten. Alle gefundenen Codes und Paare werden in der Ergebnistabelle gesammelt und zur Berechnung von Kappa verwendet.
oVergleiche alle Dokumente gegeneinander - Wenn es kein "führendes" Dokument gibt, können Sie INTERACT einen Quervergleich veranlassen, in dem alle Dokumente miteinander verglichen werden.
Starten Sie die PaAr-SUCH-Routine
▪Bestätigen Sie Ihre Einstellung mit OK, um die Paarsuchroutine zu starten.
Wenn Sie fertig sind, sehen Sie als erstes eine Visualisierung aller gefundenen Paare: Der Kappa-Graph
▪Lesen Sie das Thema Kappa-Graph für weitere Details.