통계적 도구를 이용한 결과를 해석할 때의 유의할 점

2005/10/09

ABX 더블블라인드 테스트 사이트에 가보면 여러 컴포넌트를 대상으로 한 비교청취 실험 결과들이 나열되어 있습니다. 
http://www.provide.net/~djcarlst/abx_data.htm 

이들 비교 제품들과 결과는 통계적으로 same이었냐 different였냐로 정리해 볼 수 있겠는데요... 
그러나 이것은 단지 그 당시 ABX테스트했었던 비교제품 간에서의 통계적으로 의미 있는 결과일 뿐입니다. 

이것을 확대해석해서 트랜지스터 앰프 간에는 들어서 차이가 안 난다 라던지 16비트 이상의 CDP에서는 들어서 차이가 안 난다 든지 이런 식으로 독해하면 틀리는 겁니다. 

왜냐하면 지금 시점에서 제품이나 시스템을 의도적으로 선정해서 ABX 더블블라인드 테스트를 하면 그 당시에 same으로 나왔던 것도 일부는 different로 될 수 있고, 그 당시에 different로 나왔던 결과도 일부는 same으로 나오게 할 수도 있기 때문이지요. 

어떻게 이렇게 될 수 있느냐 하면 ABX는 단지 통계적인 방법론일 뿐이기 때문입니다. 

이 ABX란 도구에서는 테스트 대상 제품을 고르는 사람의 의도가 잘못되었는지 미숙한 점이 있었는지를 밝혀낼 수 없습니다. 그저 그 둘이 same이냐 different이냐만 나오는 것입니다. 의도가 잘 되었는지 선정이 잘 되었는지에 대한 판단은 도구에서 보장해 주지 않습니다. 

잠시 ABX란 도구 말고 저에게 익숙한 실험 계획이란 도구로 치환시켜서 통계적인 메서드를 사용할 때의 지켜줘야 할 점과 한계점이 무엇인지 설명해 보겠습니다. 
실험 계획이란 통계적 메서드가 파워풀하기는 하지만 실험에 사용할 엘레먼트의 선정이나 파라미터의 변량이 적절하지 않으면 실험 결과를 가지고 통계적인 처리를 한다고 하더라도 의미 있는 결과를 얻을 수 없기도 합니다. 
이런 경우는 실험자의 대상에 대한 경험이 부족하여 파라미터나 변량을 잘못 선정한 경우가 되겠습니다. 예를 들어 온도에 따라 변성이 일어나는 물건이라면 그 점을 주목하여 파라미터를 조절했어야 합니다. 학교에서라면 교수님이 이런 것에 문제가 있는지 검토해 주셨을 것이고 회사에서라면 전문 교육을 이수한 선임사원이 검토해 줄 수 있습니다. 
통계적 도구란 것이 파워풀하기는 하지만 항상 전제조건이 따릅니다. 언제나 한계 안에서만 파워풀합니다. 그리고 통계적 도구를 사용하는 사람은 의미 있는 결과 도출을 위해서 실험 계획을 짤 때 불가피하게 경험을 필요로 하게 됩니다. 그리고 이런 전제조건에 미흡한 상태여서 미숙하게 설정해 놓은 실험을 한다면 그런 결과가 그대로 결과로 반영되게 마련입니다. 

만약에 비교시청 테스트를 설계하는 사람이 특정한 목적을 가졌다고 한다던지 그런 특정 목표를 가지지 않았더라도 경험이 부족하여 미처 고려하지 않은 미숙한 점이 있었다고 한다면 그것은 결과에 그대로 반영이 되게 마련입니다. 이런 결과는 껍데기는 과학적으로 치장이 되어 의심의 여지가 없는 것처럼 보일지 모르겠으나 실물에 대한 경험이 많은 사람에게는 의문 투성이로 남게 됩니다. 황우석 교수의 가짜 논문도 그런 의심을 가진 사람들에 의해서 까발려진 거지요. 

부연하자면 통계적인 방법을 사용하더라도 청취 비교 제품을 고르는 사람의 의도에 따라 의도된 결과가 나오게 한다거나 본의 아닌 실수가 있다고 하더라도 그 결과가 드러나게 하는 게 어려운 것이 아닙니다. 그러므로 ABX테스트에서 제품을 고르는 사람의 의도를 알 수 없거나, 의도와는 달리 우연히 두 제품의 음질적 수준이 모두 별 볼 일 없는 경우이거나 하는 경험 미숙이 들어갔을지도 모르는 특정 시점에서 나왔던 그 결과를 신봉하면 곤란합니다. 더더욱이나 이것을 확대해석하면 안 되는 거고요(일반화의 오류). 그리고 남에게 ABX테스트로 실증된 자료가 아니면 믿을 수 없다는 식으로 말하거나 자료를 강요해서도 안되지요. 

오디오에 대해서 실전 경험이 풍부한 사람은 ABX테스트에 실제로 참여해서 특정 명제를 증명한다거나 반증할 필요가 없고 오히려 테스트에 사용한 시료라거나 대상이 어떤지를 검토하고 조언해 보는 게 (교수님이나 선임자들의 역할처럼) 더 적합한 임무부여가 아닌가 싶습니다. 제아무리 오디오 경험이 풍부하다고 하더라도 애초부터 어설픈 장치라거나 시스템 셋업에서라면 일반인과 통계적으로 다른 결과를 낼 수 없을 테니까요.

그런데 저라면 굳이 통계적인 도구를 사용한다는 면에서나 오디오 경험 면에서 어설픈 비전문가들에게 아까운 시간을 내줄 필요가 없다는 생각이 듭니다. 이게 잘못하면 양측 간에 계속 입장차이만 있고 헛돌게 되어 있는 거라서 말이죠. 어설프게 아는 비전문가와 전문가 간에는 서로 말이 통하지 않습니다.