Анализа за съгласуваност (Каппа)

Анализ на съгласуваност на експертни оценки

Двама или повече оператори оценяват визуално определен брой обекти. Представлява интерес доколко съвпадат оценките на операторите. За целта от менюто се извиква програмата за Базова статистика и се използва опцията „Дискретни величини: Анализ на съгласуваност (Kappa)“

За оценяване на съгласуваността на оценките се използва величината капа (kappa):

където Po е наблюдаваната пропорция на еднаквите оценки, Рe e очакваната пропорция на еднаквите оценки. Приети са следните критерии за стойността на kappa ():

< 0	Неслучайно разминаване на оценките
< 0.4	Лошо съгласуване на оценките
< 0.7	Измервателната система не е добра
0.7 - 0.9	Добро съгласуване на оценките
> 0.9	Отлична измервателна система

В тази задача има два варианта. Единият е когато оценителите класифицират всеки от обектите в една от две категории (годно, негодно), а вторият е когато те ги подреждат в групи в съответствие с някаква скала (1,2,3 4 и т.н.)

Първи вариант (анализ на измервателна система с атрибути). В този случай всички обекти се отнасят към една от две категории. В тази програма резултатите могат да се записват с думи или цифри, например:

ОK или NOK

Да или Не

Годно или Негодно

Go или No Go

Pass или Fail

1 или 0

Например двама оценители проверяват 10 обекта и дават следните оценки (файл Attributes-Go-noGo.qsl - директория Primeri):

За да проведем анализа извикваме опцията „Дискретни величини: Анализ на съгласуваност (Kappa)“, Избираме двете колони:

След кликване на бутона „Приеми“ се получава следният резултат:

Проверени са 10 обекта, броят на съвпаденията е 7 (70 %), величината Kaпa = 0,3939. Това показва лошо съгласуване на оценките на оценителите. В този пример може да се съди само за възпроизводимостта на оценките (дали оценките на двамата оценители съвпадат). Програмата позволява да се проверява и повтаряемост, но за това е необходимо всеки оценител да оценява независимо всеки обект най-малко два пъти. Във файл „Attributes-Go-noGO.qsl" са показани данни за следния пример:

Трима оценители A,B и C оценяват 50 детайла, като ги отнасят към една от категориите Годно (1) или Негодно (0). Всеки извършва оценяването по 3 пъти без да знае, че това са едни и същи детайли. За тези 50 детайла се знае и истинското им състояние, което е означено като „Еталон“ (не е задължително да се задава „Еталон“). Фрагмент от данните е показан по-долу:

Съблюдават се следните правила:

1. Данните от всеки опит (в примера: първи, втори или трети) на даден оператор се записват в отделна колона

2. Името на всички колони за един и същи оператор е еднакво (например А$ или B$ или C$). Знакът $ означава, че колоните с еднакви имена се разглеждат от програмата като една обща колона

3. Данните за Еталона се записват еднократно в отделна колона.

Извикването на данните става по същия начин както в описания по-рано пример за атрибути. След кликване на бутона „Дискретни величини: Анализ на съгласуваност (Kappa)“ се въвеждат данните както следва:

След кликване ба бутона „Приеми“ се получава сленият резултат:

За същия пример има втори начин за подреждаен на данните. Данните могат да бъдат подредени и в отделни колони за всеки оценител. Ако има повторни оценки те се записват непосредствено след първите в същите колони и в същия порядък. За разглеждания пример се получават 3х50=150 реда. Еталонът се записва в отделна колона в същия ред толкова пъти, колкото са повторенията на оценките. Фрагмент от таблицата е даден по-долу:

При втория начин на подреждане се използват същите команди за извикване на програмата и данните, както и при първия. Тъй като повторенията са в записани в същите колони, общият брой оценки (150) ще се приеме за брой на обектите, което е неверно. Необходимо е допълнително да се даде информация колко са повторенията. Това става с бутона „Настройки“ в долния ляв ъгъл на екрана:

Появява се таблица, в която трябва да се посочи броя на оценките за всеки оценител. След кликване на бутона “Приеми“ се получават същите резултати, както и при първия начин на подреждане.

Втори вариант (дискретни данни с подредени категории). Когато дискретните данни са с 3 или повече подредени категории (ранжирани) за оценяване на измервателната система също може да се използва kappa. Подредените дискретни данни се различават от атрибутите по това, че при тях редът на данните има значение. Например, ако студентите се оценяват с 2,3,4,5 и 6 то е ясно, че 3 е повече от 2, 4 е повече от 2 и 3, а 5 е повече от 2,3,4, както и 6 е повече от 2,3,4,5.

Пример: Разглеждаме случай в който 5 експерта: Спас, Милка, Христо, Димо и Елена визуално оценяват качеството на детайлите. Искаме да проверим дали различните оценители ранжират 15 детайла по един и същи начин. Експертите дават оценки на качеството както следва:

• Лошо = 2

• Средно = 3

• Добро = 4

• Много добро = 5

• Отлично = 6

Всеки експерт оценява по един път всеки детайл.

Данните са във файл Attributes-MSA-Multiple_categories.qsl. Те са подредени както е показано по-долу. Там се вижда и начинът на извикване на колоните.

Извикването на файла става както в случая с две категории:

Като се кликне „Приеми“ се получават следните резултати от изчисленията:

Най-добро съвпадение със стандарта показват оценките на Милка и Христо (100 %), следва Спас (93.3 %), Елена (86.7 %), Димо (53.3 %). Съвпадението на оценките на Милка и Христо е отлично (Kaпa =1), на Спас – между отлично и много добро (Kaпa = 0,916), на Елена е добро (Kaпa = 0.83), a на Димо не е добро (Kaпa=0.41).

Изчисленията дават и следната информация за всички оценители взети заедно:

Съгласуваността на оценките за всички оценители помежду им не е добра (Kaпa = 0.673). Най-голями различия има при оценката 3 (за нея Kaпa = 0.603). Общото съвпадение на всички оценки със стандарта е добро (Kaпa = 0.83).

Обратно към Статистически методи