诊断试验的一致性检验，这么多方法，全都搞清楚了吗？
作者：李延龙
聊起诊断试验那可是应用相当广泛：评价两种方法或仪器诊断结果是否一致，得用到诊断试验；看看两个大夫对同一群病人诊断是否一致，要用诊断试验；评价同一组患者前后两次诊断结果的一致性，还得用到诊断试验，等等......
简而言之，诊断试验关注的重点是“一致性”，也就是说同一个体用两种仪器（方法/评价者）或前后两次时间进行观测，其结果在误差允许范围内是一致的。评价一致性程度的方法很多，比如说Kappa值、Kendall一致性系数、组内相关系数（ICC）等等，但是选对合适的方法却不容易，接下来就帮大家梳理一番！
配对χ2检验 vs. 一致性检验
配对χ2检验（McNemar检验）和Kappa一致性检验都可以用于配对设计的列联表分析（表1），例如，比较超声和CT平扫对于急性阑尾炎的诊断价值，但是两者却各有侧重。
(1) 两者计算方法不同
由①②③可知在计算Kappa过程中，会利用到四格表中全部的数据（a、b、c、d），而公式④表明配对χ2检验只利用了四格表中“不一致”的数据（b和c）。
(2) 两者提供的信息不同
一致性检验不仅可以明确两种方法是否存在一致，更重要的是可以计算Kappa值，进而评价一致性的程度。目前认为，Kappa<0，一致性强度极差（实际情况下发生可能性较低）；0-0.20，微弱；0.21-0.40，弱；0.41-0.60，中度；0.61-0.80，高度；0.81-1.00，极强。
配对χ2检验只能给出两种方法阳性（或阴性）检出率的差异是否具有统计学意义，但配对卡方检验掩盖了一个问题，即它对两种方法阳性（或阴性）检出率不区分真阳性（真阴性）和假阳性（假阴性）。事实上我们更想知道两种方法都检出真正病人或者非病人一致性如何，这里就凸显了Kappa的重要性。
详细操作戳以下链接： SPSS详细操作：一致性检验和配对卡方检验 / SPSS操作：一致性检验，如何计算kappa值？
加权Kappa系数和Kendall协同系数
除了上面提到的无序分类变量，实际过程中我们还会遇到一些有序分类资料（等级资料）的结果（表2），比如化验结果的“-、±、+、++、+++”，这时候就需要用到加权Kappa系数和Kendall协同系数来评价诊断试验的一致性。
加权Kappa系数是简单Kappa系数的推广，是用加权的方法对两个评价结果进行量化。较早的时候推送过一篇介绍加权Kappa的文章： SPSS操作：有序分类变量的一致性检验——加权kappa，还不熟悉的伙伴，可以再回去温习一下。
这里着重聊聊Kendall协同系数[1]，它是一种非参数检验方法，可实现对评判者的评判标准或结果是否一致的分析。一个比较经典的应用场景：不同研究者会对研究对象的某些特征（比如影像学检查结果）进行评估或者排序，观察这些评估结果的一致性。W的取值为0~1，数值越大，表明评估结果的一致性越高。这还是以“ 加权Kappa的SPSS操作”的例子介绍一下如何计算Kendall协同系数。
某医院拟分析不同放射科医生对疾病严重程度诊断的一致性。现招募两位放射医生（Radiologist 1和Radiologist 2）分别判断50位受试者的MRI检查结果，并给予Grade I（最轻）到Grade V（最重）五个等级的临床诊断（数据库中Grade I→Grade V分别赋值为1~5）。部分数据如下：
不同于加权kappa的计算，Kendall协同系数需要一个“水平数据库”，即每一列代表一位受试者的MRI检查结果，而每一行分别代表不同放射科医生评估结果，部分数据如下图。
SPSS中依次选择Analyze→Nonparametric Tests→Legacy Dialogs→K Related Samples→显示“Tests for Several Related Samples”主对话框（如下图）→将所有受试者拖入“Test Variables”→“Test Type”框中勾选“Kendall’s W”→OK
原文内容较长，本篇文章仅摘录了部分内容，感兴趣的伙伴，可以去医咖会官网查看全文。