아는 만큼 보인다

두 방법의 일치도 평가(Method comparison)을 위한 통계 기법의 필요성 임상 연구를 할 때 두 측정 방법의 일치도를 평가해야하는 경우가 있다. 예를 들어 A 기기로 측정한 결과와 B 기기로 측정한 결과가 있을 때, 두 결과가 일치함/비슷함/동등함을 보여주어야 하는 것이다. 일반적으로는 A 기기가 일종의 'gold standard'이자 전통적인 기기, B 기기가 우리가 도입하고픈 새로운 기기일 경우가 많아서, 이 새로운 기기가 전통적인 기기와 비슷한 결과를 낸다는 것을 주장하기 위해 사용되기도 한다. 이를 위해 일반적인 t-test 나 상관관계 분석을 해서는 안된다. 즉 t-test를 통해 두 측정값이 차이가 없다는 것을 보여주는 방법도 안되고, 높고 유의한 상관계수를 보여주어서도 안된다는 것..

의학 논문을 보다보면 Youden's Index를 이용해 cut-off 를 정했다는 말을 종종 볼 수 있다. 머신러닝/딥러닝을 이용한 의학 논문 뿐 아니라 의학 논문 전반에 걸쳐서 볼 수 있는데, Youden's Index는 이분법적 진단 검사에서 ROC 분석을 할 때 특정 cut-off에 따른 진단 검사의 성능을 보여주는 값으로, cut-off를 정하기 위한 성능을 평가하는 데에 이용되는 보편적인 방법이기 때문이다. 흥미로운 부분은, 다른 머신러닝/딥러닝 응용 분야는 잘 모르겠지만 의학 쪽 머신러닝/딥러닝 응용 분야에서는 이 Youden's Index를 꽤 심심치 않게 볼 수 있다는 사실이다. 특히 의학+머신러닝/딥러닝 분야에서 아무런 고려 없이 그냥 0.5를 cut-off로 쓰게 되면 지적을 받게 될..