타당도와 신뢰도 평가

진단 및 선별검사의 타당도와 신뢰도 평가

- 합리적인 결정을 위해 새롭게 도입한 선별검사와 진단검사의 질을 평가하는 방법

 

◇ 인구집단의 생물학적 변이 Biologic Variation of Human Populations

- 일반적으로 사람의 대부분 특성들은 두 봉우리로 분포하지 않고 한 봉우리 곡선(unimodal curve)으로 하나의 정점을 보여줌

- 대상자를 선별할 때 분할기준(cutoff)을 통계학적으로 선택할 수 있지만, 이상적으로는 생물학적 정보를 바탕으로 선택하는 것이 좋음

- 대개 비정상과 정상의 극단 값을 구별하기는 쉬우나, 경계역에 속하는 사례들에 대해서는 불확실성이 남음

 

◇ 선별검사의 타당도 Validity of Screening Tests

: 질병의 유무를 판별할 수 있는 능력. 민감도(sensitivity)와 특이도(specificity) 두 가지 요소를 가짐

두 가지 결과만을 가진(이분법적, 양성 또는 음성)검사[Tests with Dichotomous Results(Positive or Negative)]

검사가 얼마나 적절한가?

- 이 검사가 질병에 이환된 사람을 얼마나 정확히 선별했는가? - 검사는 질병이 없는 사람을 얼마나 정확히 선별했는가?

- 민감도와 특이도를 계산하기 위해서는 “실제” 질병이 있는지 없는지 미리 알고 있어야 함

→ 검사의 민감도와 특이도의 양적 평가를 위해서는 그 검사결과와 비교 가능한 참값을 제시할 수 있는 다른 검사방법을 가지고 있어야 함

- 거짓양성에 대한 문제 : 양성자에게 하는 복잡하고 비용이 드는 검사, 불필요한 침습적 시술까지도 할 수 있음

→ 보건의료체계에 대한 부담, 걱정과 불안의 야기(양성 후 음성 진단은 완전히 음성으로 받아들이지 않음), 검사 결과를 잘못 이해한 경우 고용과 보험에 대해 제한받을 수 있음

- 거짓음성에 대한 문제 : 효과적 중재가 필요한 심각한 질병일 겨우 매우 치명적(ex. 초기에만 치료가능한 암)

→ 현재 가능한 치료방법이 효과적인지 또는 초기단계에서 효과가 큰지에 따라 중요성이 달라짐

 

연속변수의 검사(Tests of Continuous Variables)

- 결과가 양·음성으로 명확히 나타나지 않는 혈압이나 혈당수치 같은 연속변수에 대한 검사는 절단점을 확립하여 절단점을 기준으로 그 이상의 검사결과는 양성으로 그 아래는 음성으로 간주하도록 결정

높은 기준점	비당뇨병환자들이 정확히 음성으로 확인 높은 특이도, 낮은 민감도
낮은 기준점	비당뇨병환자의 많은 부분이 양성으로 확인 낮은 특이도, 높은 민감도

→ 민감도와 특이도는 서로 상쇄되는(trade-off)관계

→ 분할기준점의 선택은 ‘질병의 거짓양성과 거짓음성 중 상대적으로 어느 것이 더 중요한가’와 관계됨

 

◇ 여러 검사방법의 사용 Use of Multiple Tests

- 몇 가지 선별검사가 동일한 대상자에게 순차적 또는 동시에 적용되는 경우

 

순차적(2단계) 검사[Sequential (Two-stage) Testing]

- 일반적으로 싸고 덜 위험하고 덜 불편한 검사가 먼저 수행되고, 검사결과에서 양성인 사람들에게 보다 비싸고, 침습적이며, 불편한 검사를 실시 → 높은 민감도와 특이도

- 추가검사를 통하여 1차 검사 결과로 인한 거짓양성의 문제를 줄일 수 있을 것이라고 기대

 

동시에 수행하는 검사(Simultaneous Testing)

동시에 두 가지 검사를 사용한 경우의 총 민감도(Net Sensitivity Using Two Simultaneous Tests)

동시에 두 가지 검사를 사용한 경우의 총 특이도(Net Specificity Using Two Simultaneous Tests)

- 두 개의 검사가 동시에 사용되었을 때는 민감도 총량이 증가

- 특이도는 각각을 따로 사용한 것에 비해 감소

 

동시적 검사와 순차적 검사의 비교(Comparison of Simultaneous and Sequential Testing)

- 순차적 검사에서 처음 검사가 양성인 사람들을 추가 검사할 때, 총 민감도는 감소하고 총 특이도는 증가함

- 동시검사는 그 어떤 하나의 검사나 여러 검사에서 양성 반응인 대상자를 양성으로 간주하기 때문에, 총 민감도의 증가가 있지만 음성으로 간주하기 위해서는 수행된 모든 검사가 음성 결과를 가져야만 함 → 총 특이도 감소

- 순차적 검사를 사용하고 첫 검사에서 양성인 사람들이 두 번째 검사를 수행하였을 때, 총 민감도의 감소가 있으나 총 특이도는 증가

- 동시에 하였을 때, 총 민감도는 증가하고 총 특이도는 감소

- 결국 검사의 목적과 검사가 수행되는 환경에 따라 달라짐

 

◇ 검사의 예측도 Predictive Value of a Test

양성예측도(positive predictive value) - 검사결과 양성으로 나온 사람 중 몇 명이 실제 질환을 갖고 있는가

음성예측도(negative predictive value) - 검사결과 음성으로 나온 사람 중 몇 명이 실제 질환이 없는가

- 민감도와 특이도는 사용된 검사 자체의 특성을 반영

- 예측도는 검사를 수행하는 인구집단의 질병유병률과 질병이 드물 때, 검사의 특이도에 영향을 받음

 

예측도와 질병유병률의 관계(Relationship between Predictive Value and Disease Prevalence)

- 같은 검사를 사용해도 선별된 집단의 유병률이 높은 경우에는 양성예측도가 급격히 증가

→ 결국 고위험군을 대상으로 한다면 선별 프로그램은 가장 생산적이고 보다 비용-효과적(게다가 고위험군은 이러한 선별 프로그램에 보다 적극적으로 참여할 것이며, 결과가 양성일 경우 권고된 행동을 보다 잘 수행할 것)

 

검사의 양성예측도와 특이도의 관계(Relationship between Positive Predictive Value and Specificity of the Test)

- 양성예측도에 있어 민감도보다 특이도가 더 큰 영향을 주는 것인가

- 비교적 드문 질병을 다루기 때문에, 인구의 대부분은 수직선의 오른쪽에 속하게 됨. 그 결과 수직선 오른쪽으로의 그 어떤 변화가 수직선 왼쪽에서의 동일한 변화에 비해 대상자에게 보다 많은 영향을 미침(만약 높은 유병률을 가진 질병을 다룬다면 상황은 달라질 것)

 

◇ 검사의 신뢰도(반복성) Reliability(Repeatability) of Tests

- 검사를 반복적으로 수행한다면 결과도 같은 결과를 얻을 수 있을까

개체 내 변이(Intrasubject Variation)

- 언제, 어디에서 측정했는지에 따라 다른 결과를 보일 수 있는 것(ex. 혈압, 혈당)

관찰자 내 변이(Intraobserver Variation)

- 같은 관찰자가 수행한 두 개의 관찰 사이에서 변이(판독을 하는 주관적 요소가 클수록 관찰자 내 변이 가능성이 높음)

관찰자 간 변이(Interobserver Variation)

- 두 검사자의 검사결과가 동일하지 못할 경우 얼마나 관찰자들이 동의하는지 않는지의 정도가 중요

→ 일치의 정도를 양적 크기로 표현할 필요가 있음

일치백분율(Percent Agreement)

카파 통계량(Kappa Statistic)

- 관찰자의 일치백분율이 전적으로 진료의 질에만 의존하지는 않음(우연의 일치가 있을 수 있음)

- 두 사람 사이의 일치 정도가 우연에 의한 일치보다 얼마나 더 큰가

- 관찰자들 간의 결과가 단지 우연에 의해 기대된 것보다 얼마나 더 일치하는가 → 분자

- 두 관찰자가 최대의 일치를 보이려면 우연에 의한 일치로부터 얼마나 더 일치해야 하는가 → 분모

다범주 결과의 검사 타당도(Validity of Tests With Multicategorical Results)

- 타당도 개념은 어떤 검사에나 최적기준(gold standard)에 대조하여 적용할 수 있음

 

자가보고의 타당도(Validity of Self-Reports)

 

◇ 타당도와 신뢰도의 관계 Relationship between Validity and Reliability

- 한 집단에 대해 타당하다는 것은 임상에서 개인에게 적용할 때는 타당하지 않을 수 있다는 것을 기억

- 진단과 선별검사의 질을 평가할 때 집단의 타당도와 개인의 타당도 간의 차이를 염두해 두는 것이 중요

 

레퍼런스. David D.Celentano 외, [고디스 역학 6th edition], ELSEVIER, 2019.