사실은 의견일 뿐이다 - 옌스 포엘

1️⃣ 사실은 정말 의견일 뿐일까: 과학적 판단의 함정을 해부하다
2️⃣ 우리는 왜 틀린 사실을 믿는가: 옌스 포엘이 제시한 16가지 오류
3️⃣ 가짜 뉴스 시대의 과학적 사고법: 무엇을 믿고 어떻게 의심할 것인가
4️⃣ 확신보다 검증이 중요하다: 사실과 의견 사이에서 길을 찾는 법
? 서론 | “Facts Need Methods” — 사실은 어떻게 의견의 안개를 통과하는가?
? 저자 소개
Jens Foell은 인간의 뇌와 행동, 지각과 판단의 관계를 연구해온 신경과학자이자 심리학 연구자다. 그는 뇌 영상 연구와 신경심리학을 중심으로 활동하면서 불안, 공격성, 사이코패스적 특성, 성적 행동처럼 인간의 내면을 객관적으로 측정하기 어려운 주제들을 다루어왔다. 이러한 연구 경험은 그에게 과학적 측정이 인간의 주관성을 완전히 제거해주는 투명한 도구가 아니라는 사실을 깨닫게 했다. 무엇을 연구 대상으로 선택하는지, 어떤 사람을 표본에 포함하는지, 어떤 측정 도구를 사용하는지, 결과를 어떤 언어로 설명하는지에 따라 동일한 현실에서도 서로 다른 사실이 만들어질 수 있기 때문이다.
Foell은 과학을 불신하거나 상대화하려는 인물이 아니다. 오히려 그는 과학이 신뢰를 유지하려면 자신의 한계와 오류 가능성을 숨기지 않아야 한다고 주장한다. 과학적 사실은 개인적 신념보다 강력하지만, 그 사실에 도달하는 과정에는 관찰의 누락, 기억의 왜곡, 표본의 편향, 측정의 한계, 가설에 대한 집착, 통계적 불확실성, 해석의 차이, 전달 과정의 과장이 개입한다. 따라서 그의 관점은 과학적 회의주의라기보다 과학적 자기비판에 가깝다. 과학을 믿기 위해서는 과학의 결과만이 아니라 그 결과가 만들어진 방법까지 이해해야 한다는 것이 그의 기본 입장이다.
? 집필 의도와 주제
《사실은 의견일 뿐이다》라는 제목은 사실과 의견의 차이를 부정하는 선언이 아니라, 우리가 의견을 너무 쉽게 사실로 받아들이는 현실을 풍자한 반어적 표현이다. Foell이 주장하는 것은 사실이 의견과 다르지 않다는 상대주의가 아니다. 오히려 사실은 의견과 달라야 하며, 그 차이를 지키기 위해서는 사실이 형성되는 과정을 지속적으로 검증해야 한다는 것이다.
오늘날 우리는 정보가 부족해서 판단하지 못하는 시대가 아니라, 너무 많은 정보 속에서 어떤 자료를 믿어야 할지 알기 어려운 시대를 살아간다. 정치인, 언론인, 과학자, 기업, 사회관계망 서비스 이용자는 모두 자신이 사실을 말한다고 주장한다. 그러나 서로 모순되는 주장이 동시에 과학적 근거를 내세우고, 연구 결과가 언론을 거치며 단순화되며, 개인의 기존 신념에 맞는 정보만 선택적으로 확산된다. 이때 사람들은 특정 주장의 진위를 따져보기보다 자신이 신뢰하는 집단과 출처를 따라 의견을 형성하게 된다.
Foell이 특히 우려하는 것은 단순한 거짓 정보의 증가가 아니다. 더 근본적인 위험은 사람들이 진실이라는 개념 자체를 포기하는 것이다. 서로 다른 출처가 서로 다른 사실을 제시할 때, 사람들은 어느 한쪽이 잘못되었을 가능성을 검토하기보다 모든 진실이 상대적이라고 결론 내리기 쉽다. 이 태도는 거짓말과 오류를 비판할 기준을 무너뜨리고, 결국 가장 자극적이고 반복적으로 전달되는 주장이 사실의 자리를 차지하게 만든다.
저자는 이러한 혼란에서 벗어나기 위해 과학적 사실의 결과뿐 아니라 그 사실이 생산되는 과정을 이해해야 한다고 주장한다. 관찰이 무엇을 놓쳤는지, 측정 가능한 것과 측정되지 않은 것이 무엇인지, 가설이 반박 가능한지, 통계가 어느 정도의 불확실성을 포함하는지, 연구자가 어떤 전제를 가지고 데이터를 분류했는지, 논문이 언론과 대중에게 어떻게 전달되었는지를 살펴보아야 한다. 이 책의 목적은 독자를 전문 과학자로 만드는 데 있지 않다. 과학의 언어를 무조건 신뢰하거나 무조건 거부하지 않고, 근거의 질과 추론의 과정을 스스로 평가할 수 있는 판단력을 기르는 데 있다.
? 구성과 전개
책은 프롤로그와 네 개의 본문 부, 보다 나은 판단을 위한 지침, 에필로그로 구성된다. 전체 구조는 과학적 사실이 형성되고 사회에 전달되는 과정을 따라 관찰, 가설 검증, 해석, 전달의 네 단계로 전개된다. 각 장의 제목은 모두 “우리는”으로 시작한다. 이는 과학의 오류가 일부 무능하거나 부정직한 사람들에게만 나타나는 예외적 문제가 아니라, 인간이라면 누구나 반복해서 빠지는 인지적이고 제도적인 한계임을 강조한다.
제1부 “살펴보기”는 사실 형성의 출발점인 관찰과 측정의 한계를 다룬다. “우리는 많은 것을 놓친다”에서는 인간이 세계의 일부만을 감지하면서도 자신이 전체를 보았다고 생각하는 문제를 설명한다. “우리는 관찰도 기억도 잘 하지 못한다”에서는 목격자 진술, 기억 왜곡, 유도 질문의 사례를 통해 기억이 기록된 자료가 아니라 끊임없이 재구성되는 과정임을 보여준다. “우리는 우리에게 있는 것만 측정할 수 있다”에서는 연구에 참여하지 않는 사람, 살아남지 못한 사례, 발견되지 않은 자료가 통계에서 사라지는 선택 편향과 생존 편향을 분석한다. “우리는 자신의 방법을 의심하지 않는다”에서는 DNA 검사, 지문 분석, 거짓말탐지기처럼 객관적으로 보이는 도구도 오염과 전제 오류, 과신으로 인해 잘못된 결론을 낳을 수 있음을 설명한다.
제2부 “가설 검증하기”는 관찰된 자료를 설명하기 위해 세운 가설을 어떻게 시험해야 하는지를 살펴본다. “우리는 반박할 수 없는 가정을 좋아한다”에서는 어떤 증거가 나타나도 유지되는 주장은 과학적 가설이 될 수 없다고 지적한다. “우리는 모든 것을 확실히 알지는 못한다”에서는 과학적 결론이 절대적 확실성보다 확률과 불확실성 위에 놓여 있음을 설명한다. “우리는 때때로 설명할 수 없는 것을 관찰한다”에서는 기존 이론에 맞지 않는 예외적 결과를 오류로 제거할 것인지 새로운 발견의 단서로 볼 것인지 질문한다. “우리는 어떤 가정에 지나치게 집착한다”에서는 연구자들이 자신이 선호하는 가설을 지키기 위해 반대 증거를 축소하거나 다른 설명을 충분히 검토하지 않는 확증편향을 다룬다.
제3부 “해석하기”는 측정된 데이터가 그 자체로 의미를 말해주지 않는다는 사실을 보여준다. “우리는 우리가 측정한다고 생각하는 것을 측정하지 않는다”에서는 하나의 수치가 실제로 어떤 개념을 나타내는지 검토한다. 지능, 공격성, 우울, 행복, 성격과 같은 복잡한 개념은 단일한 검사 결과로 완전히 환원되지 않는다. “우리는 어떤 설명이 옳은지 알 수 없다”에서는 동일한 결과를 설명하는 여러 이론이 동시에 가능할 수 있음을 보여준다. “우리는 기대에 따라 분류한다”에서는 분류 기준이 자연에서 그대로 발견되는 것이 아니라 연구자의 목적과 사회적 규범에 따라 만들어진다는 점을 분석한다. “우리는 기대 없이 관찰할 수 없다”에서는 관찰 이전에 이미 존재하는 이론과 기대가 무엇을 보고 무엇을 무시할지를 결정한다는 사실을 설명한다.
제4부 “친구에게 말 걸기”는 연구 결과가 전문가 집단을 벗어나 언론과 대중에게 전달되는 과정에서 발생하는 왜곡을 다룬다. “우리는 서로를 이해하지 못한다”에서는 전문 용어, 통계적 표현, 일상 언어 사이의 차이가 오해를 만드는 과정을 살펴본다. “우리는 연구 자료를 읽는 방법을 모른다”에서는 논문의 결론만 보는 것이 아니라 연구 설계, 표본, 비교 집단, 효과의 크기, 연구의 한계를 읽어야 한다고 설명한다. “우리는 가짜 연구에 속는다”에서는 외형상 학술 논문의 형식을 갖추었지만 검증 절차가 부실한 연구와 허위 정보를 구별하는 기준을 제시한다. “우리는 모든 연구를 똑같이 신뢰할 수 있다고 여긴다”에서는 단일 연구, 반복 연구, 체계적 문헌 검토, 종합 분석이 서로 다른 증거의 무게를 가진다는 점을 강조한다.
마지막의 “보다 나은 판단을 위한 지침”은 앞선 논의를 실천적 기준으로 정리한다. 출처를 확인하고, 반박 가능한 주장을 찾으며, 표본과 측정 방법을 살피고, 불확실성을 인정하며, 하나의 연구보다 누적된 연구를 중시하고, 자신의 신념과 일치하는 증거일수록 더 엄격하게 검토하라는 원칙이 제시된다. 이처럼 책은 사실을 단순히 발견되는 대상이 아니라 관찰, 측정, 가설 검증, 해석, 전달이라는 연속된 과정을 통해 잠정적으로 확립되는 지식으로 설명한다.
✒️ 핵심 발췌
? “과학 분야만이 아니라, 우리는 대개 사실과 의견의 경계에 대해 정확하게 이해하지 못한다. 이러한 오해를 바로잡으려면, 사실과 의견의 구분이 어디에서 끝나고 어디에서 시작되는지, 또 어떤 지점에서 과학조차도 이 둘을 더 이상 구분할 수 없게 되는지 보다 정확하게 이야기해야만 한다.”
✍️ “사실과 의견은 단순히 객관과 주관이라는 두 영역으로 완전히 분리되지 않는다. 중요한 것은 그 경계가 흐려지는 지점과 그 이유를 정확히 이해하는 것이다.”
➡️ 이 대목은 책의 출발점을 보여준다. Foell은 사실과 의견의 구분을 폐기하지 않는다. 그는 오히려 그 구분을 지키기 위해 두 영역이 뒤섞이는 과정을 더 세밀하게 살펴보아야 한다고 주장한다.
✒️ 핵심 발췌
? “사실이 의견의 근거가 되는 것이 옳지만, 때로 의견이 사실을 다루는 방법을 결정하기도 한다. 만약 이 둘을 완전히 분리하는 것이 불가능하다면, 유일하게 바람직한 방법은 공세적인 태도를 취하는 것이다. 과학적 사실과 의견을 구별하기가 왜 그토록 어려우며, 때로 불가능하기도 한지에 대해 솔직한 토론이 필요하다는 것이다.”
✍️ “우리는 사실을 바탕으로 의견을 만들어야 하지만, 실제로는 기존 의견이 어떤 사실을 찾고 받아들일지를 결정한다. 따라서 자신의 관점이 사실 판단에 미치는 영향을 숨기지 않고 공개적으로 검토해야 한다.”
➡️ 저자는 인간이 완전히 중립적인 관찰자가 될 수 있다는 환상을 경계한다. 객관성은 편견이 전혀 없는 상태가 아니라, 편견과 전제를 드러내고 다른 사람의 반박에 개방하는 절차를 통해 가까워지는 목표다.
✒️ 핵심 발췌
? “과학적 사실의 결과뿐만 아니라, 그것이 도출된 방식까지도 깊이 이해하고, 그 신뢰성을 판단할 수 있어야 한다. 하지만 이런 종류의 탐구 능력은 학교에서도, 어떤 직장에서도 배울 수 없다. 바로 그 빈틈을 채우기 위해 나는 이 책을 썼다.”
✍️ “과학적 결론을 제대로 평가하려면 결과만이 아니라 연구 방법과 증거가 만들어진 과정까지 살펴보아야 한다. 이 책은 독자가 그 과정을 스스로 검토할 수 있도록 돕기 위해 쓰였다.”
➡️ 이 문장은 책의 교육적 목적을 분명히 한다. Foell이 제안하는 과학적 문해력은 전문 용어를 많이 아는 능력이 아니라, 주장이 어떤 증거와 방법을 통해 도출되었는지를 질문하는 능력이다.
? 시대적·지적 배경
이 책은 가짜 뉴스, 정치적 양극화, 전문가 불신, 사회관계망 서비스의 정보 과잉이 동시에 심화된 시대를 배경으로 한다. 정치적 논쟁에서는 상대의 주장에 반대 증거를 제시하기보다 그 출처 전체를 가짜라고 규정하는 방식이 널리 사용된다. 이러한 환경에서는 특정 사실의 진위를 둘러싼 논쟁보다 누가 진실을 말할 권리를 가지고 있는지를 둘러싼 권력 투쟁이 더 중요해진다.
특히 코로나 팬데믹은 과학적 사실이 만들어지고 수정되며 정치화되는 과정을 대중이 실시간으로 경험하게 한 사건이었다. 마스크 착용, 감염 경로, 백신의 효과, 사회적 거리두기와 관련한 권고는 연구 결과가 축적됨에 따라 변화했다. 과학의 관점에서 권고의 수정은 새로운 증거를 반영하는 정상적인 과정이지만, 대중의 관점에서는 전문가가 말을 바꾸거나 진실을 숨긴다는 인상을 줄 수 있었다. 불확실성을 솔직하게 설명하지 못한 과학 커뮤니케이션과, 잠정적인 연구 결과를 확정적 사실처럼 전달한 언론 보도는 전문가에 대한 불신을 키웠다.
Foell은 과학이 정치와 완전히 분리될 수 있다는 생각도 비판한다. 연구 주제의 선택, 연구비의 배분, 위험의 허용 범위, 정책적 적용은 사회적 가치와 무관하지 않다. 마스크가 바이러스의 이동을 줄이는지에 관한 질문은 과학적으로 연구할 수 있지만, 마스크 착용을 법적으로 의무화할 것인지의 문제는 윤리적 판단과 정치적 결정을 포함한다. 과학은 정책 결정을 위한 중요한 근거를 제공할 수 있지만, 사회가 어떤 가치를 우선해야 하는지를 단독으로 결정하지는 못한다.
이 책의 지적 배경에는 과학철학의 오래된 문제도 자리한다. 관찰은 이론과 무관하게 이루어질 수 있는가, 가설은 어떤 조건에서 과학적인가, 반복되지 않는 연구를 얼마나 신뢰해야 하는가, 통계적 유의성은 실제 중요성과 같은가, 연구자의 기대가 결과 해석에 어떻게 개입하는가와 같은 질문이다. Foell은 이를 추상적 철학 논쟁에 머물게 하지 않고, 목격자 기억, 커피 연구, 마스크 착용, DNA 분석, 지문 감식, 뇌 영상, 중성미자 탐지, 생존 편향 등 구체적인 사례를 통해 설명한다.
따라서 이 책은 과학을 공격하는 반과학적 저작도 아니고, 전문가의 권위를 무조건 옹호하는 과학 예찬서도 아니다. 그것은 과학이 가장 신뢰할 만한 지식 생산 방식으로 남기 위해 무엇을 경계해야 하는지를 묻는 자기성찰적 과학론이다. 과학의 권위는 오류가 없다는 주장으로 유지되는 것이 아니라, 오류를 발견하고 수정할 수 있는 절차를 공개함으로써 유지된다는 것이 이 책의 핵심적인 시대 인식이다.
? 핵심 문제의식
Foell의 핵심 문제의식은 사실이 인간의 해석과 완전히 분리된 채 존재하지는 않지만, 그렇다고 모든 주장이 동등한 의견으로 환원되는 것도 아니라는 데 있다. 사실은 관찰과 측정, 반박 가능한 가설, 반복 검증, 공개적인 비판을 통해 의견보다 높은 신뢰성을 얻는다. 그러나 그 과정의 어느 단계에서든 인간의 한계와 제도적 오류가 개입할 수 있다.
첫째, 우리는 세계 전체를 관찰하지 못한다. 인간의 감각과 주의력은 제한되어 있으며, 연구 도구 역시 측정 가능한 것만을 보여준다. 관찰되지 않은 대상과 연구에 포함되지 않은 사람들은 데이터에서 사라진다. 따라서 자료가 없다는 사실을 대상이 존재하지 않는다는 증거로 해석해서는 안 된다.
둘째, 우리는 관찰한 것을 그대로 기억하지 않는다. 기억은 저장된 영상을 다시 재생하는 과정이 아니라 현재의 정보와 기대를 이용해 과거를 재구성하는 과정이다. 그러므로 목격자의 확신과 진술의 정확성은 동일하지 않으며, 객관적 기록 역시 어떤 관점과 방법으로 만들어졌는지 검토해야 한다.
셋째, 측정과 분석 도구는 자동적으로 객관성을 보장하지 않는다. DNA 검사, 지문, 뇌 영상, 통계 분석처럼 과학적으로 보이는 방법도 오염, 표본 부족, 잘못된 분류 기준, 분석자의 기대에 의해 오류를 낳을 수 있다. 중요한 것은 도구의 권위가 아니라 그 도구가 어떤 조건에서 얼마나 신뢰할 수 있는지를 확인하는 일이다.
넷째, 과학적 지식은 확실성과 불확실성이 함께 존재하는 잠정적 지식이다. 하나의 연구 결과는 최종 판결이 아니라 반복과 반박을 기다리는 주장이다. 불확실성을 인정하는 태도는 과학의 약점이 아니라, 잘못된 확신으로부터 지식을 보호하는 장치다.
다섯째, 우리는 자신과 일치하는 사실에는 관대하고 불편한 사실에는 엄격한 기준을 적용하는 경향이 있다. 이 때문에 비판적 사고는 타인의 오류를 찾아내는 기술만으로 완성되지 않는다. 자신이 믿고 싶은 결론일수록 더 강한 반증을 요구하고, 자신의 방법과 전제를 먼저 의심하는 태도가 필요하다.
결국 이 책이 말하는 더 나은 판단은 모든 것을 의심하는 냉소주의가 아니다. 모든 자료가 조작되었고 모든 전문가는 믿을 수 없다고 생각하는 태도는 비판적 사고가 아니라 판단의 포기다. Foell이 요구하는 것은 증거의 질을 구별하는 능력이다. 불완전한 연구와 조작된 연구, 잠정적 결론과 근거 없는 주장, 전문가의 정직한 불확실성과 의도적인 기만을 같은 수준에 놓지 않는 것이다. 사실은 의견일 뿐인 것이 아니라, 의견과 구별되기 위해 끊임없이 검증되어야 하는 지식이다.
? 서론 요약
• 《사실은 의견일 뿐이다》라는 제목은 모든 사실이 상대적이라는 주장이 아니라, 의견이 사실처럼 유통되는 현실을 비판하는 반어적 표현이다.
• Foell은 관찰, 측정, 가설 검증, 해석, 전달이라는 과학적 사실 형성의 전 과정에 인간의 인지적 한계와 제도적 오류가 개입한다고 설명한다.
• 책은 살펴보기, 가설 검증하기, 해석하기, 친구에게 말 걸기의 네 부분을 통해 사실이 만들어지고 사회적으로 전달되는 과정을 단계적으로 분석한다.
• 과학적 객관성은 편견이 전혀 없는 상태가 아니라, 방법과 전제를 공개하고 반박과 반복 검증을 허용하는 절차에서 형성된다.
• 더 나은 판단을 위해서는 과학을 맹목적으로 신뢰하거나 거부하는 대신, 출처와 표본, 측정 방법, 불확실성, 반증 가능성, 연구의 누적 정도를 함께 살펴보아야 한다.
? Chapter 1. We Miss Many Things | 우리는 많은 것을 놓친다
✅ 장 개요
이 장은 과학적 사실이 만들어지는 가장 첫 단계인 관찰을 다룬다. 우리는 흔히 사실이 세상 어딘가에 완성된 형태로 존재하고, 인간은 눈과 귀를 통해 그것을 그대로 받아들이기만 한다고 생각한다. 그러나 Jens Foell은 관찰이 결코 수동적이고 완전한 과정이 아니라고 지적한다. 인간이 접하는 현실은 감각기관이 받아들일 수 있는 범위, 주의를 기울인 대상, 사용할 수 있는 측정 장치, 이미 알고 있는 개념에 의해 제한된다. 우리가 보지 못한 것이 존재하지 않는 것은 아니며, 설명하지 못하는 현상이 무의미한 것도 아니다.
저자는 자궁 속 쌍둥이 태아가 출생 이후의 세계가 존재하는지를 논쟁하는 우화에서 출발한다. 한 태아는 자궁 밖의 삶을 믿고, 다른 태아는 그곳에서 돌아온 사람이 없다는 이유로 외부 세계를 부정한다. 이 이야기는 종교적 믿음과 무신론의 대립을 비유하는 데 자주 사용되지만, Foell은 두 태아 모두 중요한 가능성을 놓치고 있다고 본다. 그들은 서로의 의견을 반복해서 주장할 뿐, 자신들이 실제로 관찰할 수 있는 신호를 조사하지 않는다. 복부의 움직임, 외부에서 들려오는 목소리, 빛과 영양 공급의 변화, 반복되는 수면 리듬은 자궁 바깥에 또 다른 환경이 존재한다는 가설을 세우게 하는 간접적 증거가 될 수 있다.
이 사례는 책 전체의 출발점이 되는 문제를 드러낸다. 사실과 의견을 구별하려면 먼저 현실에서 어떤 패턴을 관찰할 수 있는지 살펴보아야 한다. 그러나 인간은 세계에 존재하는 모든 신호를 감지하지 못하며, 감지한 신호조차 자동으로 의미 있는 자료로 바꾸지 못한다. 과학은 이러한 인간의 한계를 보완하기 위해 관찰을 기록하고, 반복하며, 측정 장치를 개발하고, 서로 다른 관찰자의 결과를 비교하는 체계를 발전시켰다. 이 장은 과학의 위대함이 인간의 관찰 능력이 뛰어나다는 데 있는 것이 아니라, 인간이 자신의 관찰 능력이 불완전하다는 사실을 인정하고 그것을 보완하는 방법을 만들어왔다는 데 있음을 보여준다.
? 상세 설명
Foell은 자궁 속 두 태아의 대화를 통해 우리가 얼마나 쉽게 관찰을 건너뛰고 신념의 대립으로 이동하는지를 보여준다. 바깥세상을 믿는 태아는 출생 이후에 빛과 춤과 음식이 기다리고 있을 것이라고 주장한다. 반대편 태아는 탯줄을 통해 영양을 얻고 있으며 밖에 나갔다가 돌아온 존재가 없다는 이유로 그러한 주장을 터무니없는 상상이라고 일축한다. 두 태아는 각각 신앙과 회의주의를 상징하는 듯 보이지만, 저자가 보기에 더 근본적인 문제는 어느 쪽도 자신의 환경에서 얻을 수 있는 증거를 적극적으로 검토하지 않는다는 데 있다.
자궁은 완전히 밀폐된 세계가 아니다. 태아는 바깥의 모습을 직접 볼 수 없지만, 외부에서 전달되는 움직임과 진동, 소리와 빛의 변화, 영양 공급의 리듬을 경험할 수 있다. 특히 일정한 시간이 되면 움직임과 소리가 줄어드는 반복적 패턴을 관찰한다면, 자신들이 속한 세계 바깥에 규칙적으로 활동하고 휴식하는 어떤 존재가 있다고 추론할 수 있다. 서로 다른 목소리가 들리고 그중 하나가 유난히 크고 또렷하게 전달된다면, 자신들을 둘러싼 환경과 특별히 가까운 존재가 있다는 가설도 세울 수 있다.
중요한 것은 이러한 관찰이 외부 세계의 모든 세부 사항을 알려주지는 않는다는 점이다. 태아는 자신이 듣는 소리의 의미를 해석할 수 없고, 소리가 누구에게서 나오는지 직접 확인할 수도 없다. 그럼에도 반복되는 신호와 규칙성은 외부 세계가 존재할 가능성을 높인다. 과학은 바로 이처럼 직접 확인할 수 없는 대상을 간접적인 흔적과 반복되는 패턴을 통해 추론한다. 관찰은 모든 것을 한 번에 증명하는 마법이 아니라, 가능한 설명의 범위를 점차 좁혀가는 과정이다.
✒️ 핵심 발췌
? “이 둘은 아마 말소리의 내용도 이해할 길이 없었을 것이다. 하지만 소리의 내용에 대한 정보가 없더라도 몇 가지 사항은 알아차릴 수 있다. 서로 다른 시간에 다른 목소리들이 다른 크기로 들린다는 사실이다.”
✍️ “태아는 외부의 말이 무엇을 뜻하는지는 알 수 없지만, 목소리의 수와 크기, 나타나는 시간의 차이는 관찰할 수 있다. 의미를 모른다고 해서 관찰할 수 있는 정보까지 사라지는 것은 아니다.”
➡️ 이 대목은 과학적 관찰과 해석을 구별하는 출발점이다. 우리는 현상의 의미를 완전히 이해하지 못하더라도 변화의 규칙성과 차이를 기록할 수 있다. 좋은 관찰은 즉시 결론을 내리는 것이 아니라, 설명해야 할 패턴을 먼저 발견하는 일이다.
태아의 우화는 인간이 직접 경험하지 못한 세계를 어떻게 추론할 수 있는지를 보여주는 축소된 과학철학의 모형이다. 인간은 우주의 대부분을 직접 볼 수 없고, 원자와 중성미자 같은 미세한 입자를 맨눈으로 관찰할 수도 없다. 과거에 일어난 사건 역시 현재의 감각으로 직접 확인할 수 없다. 그러나 우리는 빛, 진동, 에너지 변화, 화석, 기록, 물질의 흔적과 같은 간접적인 증거를 통해 보이지 않는 현상을 추론한다. 따라서 직접 보지 못했다는 이유만으로 어떤 대상의 존재를 부정하는 것은 과학적 회의주의가 아니다. 과학적 회의주의는 어떤 증거가 존재하며, 그 증거가 어떤 설명을 지지하거나 반박하는지를 따지는 태도다.
저자는 바깥세상을 믿지 않는 태아의 태도를 무조건 어리석다고 평가하지 않는다. 다른 사람의 말을 그대로 받아들이지 않고 증거를 요구한다는 점에서는 오히려 과학적 태도에 가깝다. 문제는 그 태아가 자신이 관찰할 수 있는 증거를 충분히 찾지 않은 채 외부 세계의 부재를 단정한다는 데 있다. 믿는 태아 역시 자신의 믿음을 뒷받침할 관찰을 제시하지 않는다. 한쪽은 증거 없는 믿음에 머물고, 다른 한쪽은 불완전한 관찰을 존재의 부재로 오해한다.
✒️ 핵심 발췌
? “그렇다면 바깥세상을 믿는 태아와 믿지 않는 태아 중 어느 쪽이 옳을까? 과학자로서 나는 믿지 않는 태아의 판단력이 더 낫다고 생각할 수밖에 없다. 다른 사람의 이야기를 그대로 받아들이지 않고 비판적으로 질문하며, 오로지 사실에 의해서만 설득되리라고 짐작 가능하기 때문이다.”
✍️ “저자는 증거를 요구하는 회의적 태아의 자세를 더 과학적이라고 평가한다. 그러나 비판적으로 질문한다는 것은 가능성을 무조건 부정하는 일이 아니라, 관찰 가능한 근거를 적극적으로 찾는 일이어야 한다.”
➡️ 회의주의는 결론이 아니라 방법이다. 아무것도 믿지 않는 태도는 과학적 사고가 아니며, 어떤 주장을 받아들이거나 거부할 조건을 명확히 세우는 태도가 과학적 사고에 가깝다.
두 태아가 자신의 환경을 조사한다면 논쟁은 신념의 충돌에서 공동 탐구로 바뀔 수 있다. 움직임이 언제 줄어드는지 기록하고, 목소리가 들리는 빈도와 크기를 비교하며, 영양 공급과 외부 자극 사이의 관계를 조사할 수 있다. 관찰 결과는 외부 세계의 존재를 완전히 확정하지 못하더라도, 단순한 상상과 근거 있는 가설을 구별하게 해준다. Foell에게 과학적 사고란 바로 이 전환이다. 자신의 의견을 방어하는 데 몰두하는 대신, 서로 확인할 수 있는 자료를 찾고 그 자료가 어떤 결론을 허용하는지를 함께 검토하는 것이다.
저자는 관찰을 현대 자연과학의 기원과 연결한다. 고대의 사람들은 밤하늘의 별들이 일정한 경로를 따라 움직이는 가운데 몇몇 천체가 다른 방식으로 이동한다는 사실을 발견했다. 이 예외적인 천체들은 고정된 별들 사이를 돌아다니는 것처럼 보였기 때문에 방랑자라는 의미의 행성으로 불리게 되었다. 여기서 중요한 것은 고대의 관찰자들이 하늘을 단순히 바라보는 데 그치지 않고, 반복되는 움직임과 예외적인 움직임을 구별해 기록했다는 점이다.
관찰은 어떤 대상이 존재한다는 사실을 알아차리는 것만이 아니다. 그것이 언제, 어디에서, 어떤 조건으로, 얼마나 자주 발생하는지를 비교하는 과정이다. 별의 위치를 한 번 본 것만으로는 규칙을 찾을 수 없다. 여러 날과 계절에 걸쳐 변화를 기록해야 하며, 다른 별들의 움직임과 비교해야 한다. 과학적 관찰은 순간적인 인상을 반복 가능한 자료로 바꾸는 행위다.
✒️ 핵심 발췌
? “사실 ‘보고 듣는’ 이 단순한 행위는 오늘날 자연과학의 기원이라 볼 수 있다. 고대 서양의 기록에서는 과거 그리스 철학자들이 밤하늘을 올려다보며 모든 별들이 고르게 하늘을 가로지르는 모습을 보고 기뻐했다는 이야기가 전해진다. 단, 몇 개의 예외적인 별들이 있는데, 이들은 규칙적인 궤도를 가졌지만 다른 별들과 궤도가 일치하지 않았다.”
✍️ “자연과학은 특별한 장비보다 먼저 반복되는 현상과 예외를 주의 깊게 살피는 데서 시작되었다. 하늘의 움직임을 비교하고 기록하는 과정에서 사람들은 자연이 일정한 규칙을 가진다는 사실을 발견했다.”
➡️ 과학은 예외를 제거하지 않고 설명의 대상으로 삼는다. 대부분의 별과 다른 방식으로 움직이는 천체는 관찰의 실패가 아니라 새로운 질문의 시작이었다. 사실의 발전은 익숙한 규칙보다 규칙에서 벗어난 현상을 제대로 바라볼 때 시작되는 경우가 많다.
저자는 과학적 관찰의 역사를 고대 그리스에서만 시작하는 서술에도 거리를 둔다. 자연의 패턴을 인식하고 활용하는 능력은 기록된 철학보다 훨씬 오래되었다. 신석기 시대 농부는 계절과 강수량, 토양과 식물의 변화를 읽어야 했고, 수렵과 채집을 하던 사람들은 동물의 이동, 식물의 성장, 날씨의 변화를 구별해야 했다. 이러한 지식은 학술 논문이나 수학 공식으로 표현되지 않았지만, 반복되는 관찰과 경험의 축적에 기초했다.
농부가 씨앗을 뿌릴 시기를 선택하거나 사냥꾼이 동물의 흔적을 따라가는 행위는 모두 관찰된 패턴을 미래의 행동에 적용하는 과정이다. 특정 계절에 특정 식물이 자라고, 특정한 발자국이 특정 동물의 이동을 의미한다는 판단은 자연의 규칙성에 대한 가설을 포함한다. 인간은 생존을 위해 오래전부터 이러한 추론을 사용했다. 현대 과학은 이 능력을 발명한 것이 아니라 기록, 측정, 검증, 공유가 가능한 체계로 발전시켰다.
그러나 오랜 진화와 경험에도 불구하고 인간은 여전히 관찰에 능숙하지 않다. 생존에 유리하도록 형성된 감각기관은 세계의 모든 정보를 객관적으로 기록하도록 만들어진 장치가 아니다. 우리는 생존과 행동에 중요하다고 판단되는 자극을 우선적으로 받아들이고 나머지는 배경으로 밀어낸다. 어떤 대상에 주의를 기울이는 동안 다른 변화는 보지 못하며, 기대하지 않은 현상은 눈앞에 있어도 알아차리지 못할 수 있다.
이 점에서 “우리는 많은 것을 놓친다”라는 장의 제목은 단순한 부주의를 뜻하지 않는다. 인간의 관찰은 구조적으로 선택적이다. 우리가 보는 세계는 현실 전체가 아니라 감각기관과 주의 체계가 걸러낸 일부다. 따라서 직접 보았다는 말은 강한 확신을 제공할 수 있지만, 그 자체로 완전한 사실을 보장하지는 않는다. 과학은 개인의 확신보다 기록과 반복, 여러 관찰자의 비교를 중시함으로써 이러한 한계를 보완한다.
✒️ 핵심 발췌
? “우리 인간은 아주 오래전부터 이러한 관찰이 본질적으로 중요하다는 것을 알고 있었다. 하지만 오랜 시간이 지난 지금도 우리는 여전히 제대로 관찰하는 데 서투르다. 다시 말해, 자신이 속한 환경과 세상을 있는 그대로 인식하기란 어려운 것이다.”
✍️ “인간은 관찰의 중요성을 오랫동안 알고 있었지만, 현실을 편견과 기대 없이 그대로 받아들이는 능력은 여전히 제한적이다. 관찰은 자연스럽게 주어지는 능력이라기보다 훈련하고 보완해야 하는 기술이다.”
➡️ 저자가 강조하는 것은 인간의 무능이 아니라 인간 능력의 조건이다. 관찰이 불완전하다는 사실을 인정할 때 기록과 측정, 반복 검증의 필요성이 분명해진다.
관찰의 한계를 이해하려면 보이는 것과 존재하는 것을 구별해야 한다. 어떤 현상을 보지 못했다고 해서 그것이 존재하지 않는다고 결론 내릴 수는 없다. 단지 사용한 감각이나 도구로 그것을 감지하지 못했을 수 있다. 소리는 인간이 들을 수 있는 범위를 벗어날 수 있고, 빛은 눈에 보이지 않는 파장으로 존재할 수 있다. 미세한 입자는 물질과 거의 반응하지 않기 때문에 직접 탐지하기 어렵다. 인간 경험의 영역에서도 연구 대상이 응답하지 않거나 자신의 상태를 공개하지 않으면 자료에서 누락된다.
따라서 관찰의 부재와 대상의 부재는 다르다. 관찰되지 않았다는 말은 우선 사용한 방법과 조건에 관한 진술이다. 어떤 도구로, 어느 범위에서, 얼마 동안 살펴보았지만 발견하지 못했다는 의미다. 이를 대상이 존재하지 않는다는 보편적 결론으로 확대하려면 훨씬 더 강한 근거가 필요하다. Foell은 과학적 사실을 평가할 때 무엇이 관찰되었는지만이 아니라 무엇이 관찰될 수 없었는지를 함께 살펴보아야 한다고 강조한다.
이 문제는 사회적 현실을 연구할 때 더욱 중요하다. 연구에 쉽게 참여할 수 있는 사람, 자신의 경험을 말할 의사가 있는 사람, 의료기관이나 연구기관에 접근할 수 있는 사람의 자료는 수집하기 쉽다. 반면 낙인과 처벌을 두려워하는 사람, 제도와 접촉하지 않는 사람, 언어와 경제적 장벽을 가진 사람은 연구에서 사라질 가능성이 크다. 그 결과 연구자는 실제 세계가 아니라 접근 가능한 세계의 일부만을 관찰하면서도 전체에 대한 결론을 내릴 위험이 있다.
저자는 과학이 이러한 한계를 완전히 제거한다고 말하지 않는다. 오히려 과학은 관찰의 빈틈을 공개적으로 다루고, 새로운 기술과 연구 설계를 통해 그 범위를 넓히는 과정이다. 현미경과 망원경, 감지기와 뇌 영상 장비는 인간의 감각을 확장한다. 실험실 기록과 영상 자료는 기억의 한계를 보완한다. 반복 연구와 여러 연구자의 협력은 한 사람의 관찰이 가진 편향을 줄인다. 그러나 장비와 절차가 있다고 해서 관찰이 자동으로 완전해지는 것은 아니다. 어떤 도구를 선택했고 무엇을 측정하도록 설계했는지에 따라 여전히 다른 현실이 보일 수 있다.
✒️ 핵심 발췌
? “여기에서 이 두 태아는 관찰이라는 수단을 간과하고 있다. 이들의 세계에는 사실과 의견을 구별하기 위해 인식해야 할 패턴들이 있는데, 바로 그것을 무시하고 있는 것이다. 그저 의견만을 교환하는 대신, 사실들을 확인해보는 것은 어떨까?”
✍️ “두 태아의 가장 큰 문제는 서로 다른 믿음을 가졌다는 데 있지 않다. 자신의 환경에 존재하는 신호와 반복되는 패턴을 확인하지 않은 채 의견만 주고받았다는 데 있다.”
➡️ 이 질문은 책 전체를 관통하는 실천적 원칙이다. 논쟁이 막혔을 때 더 강한 확신을 표현하기보다, 서로 확인할 수 있는 사실과 관찰 방법을 먼저 합의해야 한다.
이 장에서 Foell이 제시하는 관찰의 원리는 세 가지로 정리할 수 있다. 첫째, 직접 보이지 않는 현상도 간접적인 흔적을 통해 추론할 수 있다. 둘째, 관찰은 한 번의 인상이 아니라 반복되는 패턴과 차이를 기록하는 과정이다. 셋째, 관찰되지 않은 대상은 존재하지 않는 것이 아니라 사용한 방법의 범위 밖에 있을 수 있다. 이 원리들은 이후 장에서 다루는 기억, 측정, 가설 검증, 해석의 문제를 위한 토대가 된다.
관찰의 중요성을 강조한다고 해서 관찰만으로 사실이 완성되는 것은 아니다. 동일한 현상을 보고도 사람들은 서로 다른 설명을 제시할 수 있다. 관찰된 패턴이 우연인지 규칙인지 판단하려면 반복과 비교가 필요하고, 그 원인을 설명하려면 가설을 세워야 한다. 또한 관찰자가 기대한 것이 실제 관찰에 어떤 영향을 미쳤는지도 검토해야 한다. 이 장은 결론을 제공하기보다 더 나은 질문의 출발점을 제공한다. 우리는 실제로 무엇을 보았는가, 무엇을 보지 못했는가, 그리고 보지 못한 것을 존재하지 않는다고 착각하고 있지는 않은가.
✨ 해설과 통찰
이 장의 철학적 핵심은 인간이 현실에 직접 접근한다는 순진한 믿음을 해체하는 데 있다. 우리는 세계 그 자체를 있는 그대로 받아들이는 것이 아니라 감각과 개념, 관심과 도구를 통해 제한적으로 접한다. 그러나 이 사실이 곧 객관적 현실이 존재하지 않는다는 뜻은 아니다. 오히려 우리가 현실에 제한적으로 접근한다는 점을 인정하기 때문에, 개인의 경험을 넘어서는 공동의 검증 절차가 필요해진다.
이 관점은 Immanuel Kant의 인식론과 연결된다. Kant는 인간이 대상을 있는 그대로 인식하는 것이 아니라 시간과 공간, 인과성과 같은 인식의 형식을 통해 경험한다고 보았다. Foell의 논의는 이를 과학적 실천의 차원에서 구체화한다. 인간은 감각과 인지의 구조를 벗어날 수 없지만, 기록과 측정 장치, 반복 관찰과 상호 검증을 통해 자신의 한계를 부분적으로 보완할 수 있다.
Karl Popper의 비판적 합리주의와도 연결된다. Popper에게 과학은 완전한 진리를 직접 확인하는 체계라기보다 잘못된 설명을 반박하면서 더 나은 설명으로 이동하는 과정이다. 자궁 속 태아가 외부 세계의 세부 모습을 완전히 알 수 없더라도, 외부 세계가 없다는 주장과 있다는 주장 중 어느 쪽이 관찰된 패턴을 더 잘 설명하는지는 비교할 수 있다. 과학의 진전은 완전한 시야가 아니라 경쟁하는 설명에 대한 비판적 검토에서 이루어진다.
심리학적으로 이 장은 선택적 주의의 문제를 예고한다. 인간의 뇌는 들어오는 모든 정보를 동일하게 처리하지 않는다. 현재의 목표와 위험, 욕구에 따라 일부 정보는 강조되고 다른 정보는 사라진다. 따라서 사람들은 같은 장소에 있으면서도 서로 다른 것을 볼 수 있다. 이는 누군가 거짓말을 해서가 아니라, 관찰 자체가 선택적으로 이루어지기 때문이다.
사회적으로 이 통찰은 공적 논쟁의 방식을 바꾸도록 요구한다. 사람들은 자신이 직접 경험한 것을 가장 강력한 사실로 여기지만, 개인의 경험은 현실의 일부일 뿐이다. 특정 집단의 고통을 자신이 보지 못했다는 이유로 부정하거나, 자신의 주변에서는 일어나지 않았다는 이유로 사회적 현상의 존재를 부정하는 것은 관찰의 한계를 존재의 부재로 오해하는 태도다.
과학적 태도는 자신의 경험을 버리는 것이 아니라 그것이 차지하는 범위를 정확히 이해하는 데서 시작된다. 내가 보지 못한 것이 있을 수 있고, 내가 관찰한 패턴에도 다른 설명이 있을 수 있으며, 나의 감각을 넘어서는 현상을 탐지하려면 다른 사람의 기록과 측정 도구가 필요할 수 있다. 객관성은 자신의 관점을 지우는 것이 아니라, 자신의 관점이 가진 사각지대를 인정하고 다른 관점과 방법을 통해 보완하는 과정이다.
? 핵심 요약
1️⃣ 인간은 세계 전체를 관찰하지 못하며, 감각과 주의가 선택한 일부만을 현실로 경험한다.
2️⃣ 직접 볼 수 없는 대상도 반복되는 변화와 간접적인 흔적을 통해 존재 가능성을 추론할 수 있다.
3️⃣ 과학적 관찰은 한 번의 인상이 아니라 현상의 빈도와 조건, 변화와 예외를 기록하고 비교하는 과정이다.
4️⃣ 어떤 현상이 관찰되지 않았다는 사실은 그것이 존재하지 않는다는 뜻이 아니라, 사용한 방법으로 감지하지 못했다는 뜻일 수 있다.
? 비교·확장
Foell의 관찰론은 Thomas Kuhn이 말한 과학적 패러다임의 문제와도 연결된다. Kuhn에 따르면 과학자는 아무런 전제 없이 세계를 바라보지 않는다. 특정 시대의 이론과 개념, 연구 관행은 무엇이 중요한 문제이고 무엇이 유의미한 관찰인지를 결정한다. 기존 패러다임에서 중요하지 않은 잡음으로 취급된 현상이 새로운 패러다임에서는 결정적인 증거가 될 수 있다.
Norwood Russell Hanson 역시 관찰은 이론을 포함한다고 주장했다. 동일한 하늘을 보더라도 천문학적 지식을 가진 사람과 그렇지 않은 사람은 서로 다른 것을 본다. 감각기관에 들어온 빛은 같을 수 있지만, 그것을 행성의 운동이나 계절의 변화로 인식하는 방식은 기존 지식에 의존한다. Foell이 말하는 패턴의 인식 역시 단순한 시각적 수용이 아니라 개념적 해석을 포함한다.
현대의 대규모 자료 분석에서도 관찰의 한계는 반복된다. 자료가 많다고 해서 현실 전체를 본다는 뜻은 아니다. 온라인 활동을 분석한 자료는 인터넷을 사용하지 않는 사람을 충분히 반영하지 못할 수 있고, 병원 기록은 의료기관에 접근하지 못한 사람을 포함하지 않는다. 측정 가능한 자료의 규모가 커질수록 연구자는 그것이 대표하는 세계의 범위를 더욱 주의해서 물어야 한다.
언론과 정치의 영역에서도 같은 문제가 나타난다. 특정 사건의 영상이 존재하지 않는다고 해서 사건이 일어나지 않은 것은 아니며, 영상이 존재한다고 해서 사건의 전체 맥락이 담긴 것도 아니다. 화면의 바깥, 촬영 이전과 이후, 촬영자가 선택한 각도와 편집 과정은 보이는 사실의 범위를 결정한다. 관찰 자료를 신뢰하되 그것이 보여주지 않는 부분까지 함께 생각하는 태도가 필요하다.
? 연결 독서 제안
✔️ Immanuel Kant, Critique of Pure Reason
✔️ Karl Popper, The Logic of Scientific Discovery
✔️ Thomas Kuhn, The Structure of Scientific Revolutions
✔️ Norwood Russell Hanson, Patterns of Discovery
? 사유를 여는 질문
❓ 내가 직접 보지 못했다는 사실을 어떤 대상이 존재하지 않는다는 증거로 사용하고 있지는 않은가?
❓ 동일한 현상을 관찰한 사람들이 서로 다른 사실을 말할 때, 우리는 어떤 기록과 비교 방법을 사용해야 하는가?
❓ 관찰 장치와 자료의 범위가 현실의 경계를 결정한다면, 과학은 자신의 사각지대를 어떻게 발견할 수 있는가?
? Chapter 2. We Are Not Good at Observing or Remembering | 우리는 관찰도 기억도 잘 하지 못한다
✅ 장 개요
이 장은 인간의 관찰과 기억이 현실을 정확하게 저장하고 재생하는 장치가 아니라는 사실을 설명한다. 우리는 어떤 장면을 직접 보거나 이야기를 주의 깊게 들었다면, 나중에도 그 내용을 비교적 정확하게 기억할 수 있다고 믿는다. 특히 법정에서 이루어지는 목격자 진술처럼 중요한 상황에서는 기억이 객관적 사실을 전달한다고 기대한다. 그러나 Jens Foell은 인간의 기억이 고정된 기록이 아니라, 이미 알고 있는 정보와 이후에 접한 정보, 질문자의 표현, 당시의 감정과 기대를 결합해 과거를 다시 구성하는 능동적 과정이라고 말한다.
저자는 식당에서 볼로네즈 스파게티를 주문했다는 짧은 이야기, Elizabeth Loftus의 자동차 사고 사진 실험, 미국의 무죄 프로젝트, 강도 사건을 겪은 지인의 기억을 차례로 제시한다. 이러한 사례들은 우리가 실제로 관찰한 내용과 나중에 기억한다고 믿는 내용 사이에 상당한 차이가 있음을 보여준다. 우리는 이야기에서 직접 언급되지 않은 부분을 상식적인 기대를 이용해 채우고, 질문 속에 포함된 잘못된 정보까지 원래 기억의 일부로 받아들인다. 또한 위협적인 상황에서는 전체 장면을 균형 있게 관찰하지 못하고 생존과 직접 관련된 대상에만 주의를 집중한다.
그렇다고 저자가 목격자 진술이나 인간의 기억을 전부 무가치하다고 주장하는 것은 아니다. 기억은 불완전하지만 여전히 인간의 삶과 사법제도에서 필수적인 정보원이다. 중요한 것은 기억의 오류 가능성을 인정하고, 유도 질문을 피하며, 사건 직후 가능한 한 정확한 기록을 남기고, 물리적 증거와 다른 사람의 진술을 함께 검토하는 것이다. 이 장은 사실을 판단할 때 개인의 확신과 기억의 정확성을 동일시해서는 안 된다는 교훈을 제시한다.
? 상세 설명
Foell은 독자에게 자신이 지난주 화요일 저녁에 무엇을 했는지 들려주는 짧은 이야기로 장을 시작한다. 그는 집에서 멀지 않은 이탈리아 식당에 오후 7시에 도착했고, 그날의 특별 메뉴인 볼로네즈 스파게티를 주문했으며, 제로 콜라 두 잔을 마셨다고 말한다. 오후 9시 30분쯤 계산을 마치고 넉넉한 팁을 준 뒤 집으로 돌아왔다고 덧붙인다. 이야기는 단순하고 구체적이므로 독자는 내용을 정확히 이해했다고 생각하기 쉽다.
이후 독자에게 그날 저자가 무엇을 먹었는지 묻는다면, 대부분은 볼로네즈 스파게티라고 대답할 것이다. 이야기에서 언급된 유일한 음식이기 때문이다. 그러나 저자는 자신이 스파게티를 주문했다고만 말했을 뿐, 실제로 먹었다고 말하지 않았다. 음식이 마음에 들지 않아 돌려보냈을 수도 있고, 다른 사람을 위해 주문했을 수도 있으며, 전혀 다른 음식을 먹었을 가능성도 있다. 독자는 식당에서 음식을 주문하면 대개 그것을 먹는다는 일상적 경험을 이용해 이야기 속 빈칸을 자동으로 채운다.
이러한 오류는 단순한 기억력 부족에서만 발생하지 않는다. 우리는 정보를 받아들이는 순간부터 이미 해석을 시작한다. 뇌는 직접 제시된 사실과 그 사실에서 자연스럽게 예상되는 내용을 하나의 이야기로 결합한다. 시간이 지나면 실제로 들은 내용과 스스로 추론한 내용을 구별하기 어려워진다. 결국 우리는 자신이 만들어낸 연결을 원래부터 존재했던 사실로 기억한다.
✒️ 핵심 발췌
? “당신은 대답은 무엇일까? 아마도 당신은 볼로네즈 스파게티라고 말할 것이다. 그 이야기에서 언급된 유일한 요리가 볼로네즈 스파게티였으니까 말이다. 하지만 나는 실제로 먹었다고 말하지 않았고, 주문했다고만 말했다.”
✍️ “독자는 주문했다는 정보를 먹었다는 사실로 자연스럽게 바꾸어 기억한다. 실제로 들은 내용과 일상적 기대를 통해 보충한 내용이 기억 속에서 하나로 합쳐지기 때문이다.”
➡️ 이 사례는 기억의 오류가 단순한 망각이 아니라 능동적인 의미 구성에서 발생한다는 사실을 보여준다. 인간은 불완전한 정보를 그대로 두기보다 자신이 알고 있는 인과관계와 상식을 사용해 완결된 이야기로 만들려 한다.
저자는 이러한 기억의 재구성 문제를 설명하기 위해 미국의 심리학자 Elizabeth Loftus의 연구를 소개한다. Loftus는 기억이 사건 이후에 제공된 정보에 의해 바뀔 수 있다는 사실을 실험적으로 보여준 연구자다. 그녀는 참가자들에게 빨간색 자동차가 교통 표지판 앞에 정차한 뒤 보행자 구역으로 이동하는 사진들을 보여주었다. 그다음 참가자들에게 사진의 내용을 묻는 설문을 실시하면서, 일부 질문에 실제 사진과 다른 종류의 교통 표지판을 포함했다.
예를 들어 사진에는 정지 표지판이 있었지만 질문에는 일시 정지 표지판이 있었다고 암시했다. 이후 참가자들에게 처음 보았던 표지판이 무엇이었는지를 다시 물었을 때, 절반 이상의 참가자가 질문 속에서 잘못 제시된 표지판을 원래 사진에서 보았다고 기억했다. 사건 이후에 제공된 정보가 기존 기억에 들어가 원래 관찰 내용을 바꾼 것이다.
이 실험의 핵심은 참가자들이 단순히 정답을 잊었다는 데 있지 않다. 그들은 잘못된 정보를 자신의 기억으로 받아들였다. 질문자가 제시한 단어와 이미지가 기억을 다시 구성하는 과정에 들어가면서, 실제로 보았던 장면과 이후에 들은 정보 사이의 경계가 흐려졌다. 기억은 저장된 사진을 다시 꺼내는 방식으로 작동하지 않고, 과거의 흔적과 현재의 정보를 이용해 매번 새롭게 조립된다.
✒️ 핵심 발췌
? “이후에도 이런저런 질문을 던졌다. 그중 하나는 사진에 있는 표지판이 정지 표지판인지, 아니면 일시 정지 표지판인지 선택하라는 질문이었다. 결과는 예상한 대로였다. 절반 이상의 사람들이 잘못된 표지판을 기억하도록 하는 속임수에 넘어갔다.”
✍️ “사건 이후의 질문에 포함된 잘못된 정보는 참가자들의 기억을 실제로 변화시켰다. 사람들은 자신이 처음 보았던 장면보다 나중에 제시된 표현을 기억 속에 포함시켰다.”
➡️ 기억은 외부 정보로부터 보호된 개인적 기록이 아니다. 질문의 표현, 반복되는 설명, 다른 사람의 증언은 과거에 대한 기억을 수정할 수 있으며, 수정된 기억도 당사자에게는 진실처럼 느껴진다.
Loftus의 연구는 법정에서 이루어지는 목격자 심문에 중대한 함의를 갖는다. 사건을 목격한 사람이 오랜 시간이 지난 뒤 수사관과 변호사의 질문을 반복해서 받으면, 질문 속에 포함된 정보가 원래 기억에 섞일 가능성이 커진다. “범인이 검은 장갑을 끼고 있었습니까?”라는 질문은 장갑이 있었다는 전제를 포함한다. 목격자가 처음에는 장갑을 보지 못했더라도, 반복되는 질문을 통해 나중에는 검은 장갑을 보았다고 기억할 수 있다.
사건과 진술 사이의 시간도 중요하다. Loftus의 실험에서는 사건을 본 직후보다 며칠이나 일주일이 지난 뒤 질문을 받은 사람들이 더 많은 오류를 범했다. 기억이 희미해질수록 이후에 제공되는 정보가 빈자리를 채우기 쉬워지기 때문이다. 특히 인터뷰 직전에 잘못된 정보를 접한 경우 혼란이 크게 증가했다. 현실의 재판은 사건 직후가 아니라 상당한 시간이 지난 후 열리는 경우가 많으므로 이러한 위험에 더욱 취약하다.
저자는 기억을 하드 디스크의 자료 검색보다 레고 모형을 조립하는 과정에 비유한다. 하드 디스크에서는 저장된 자료가 원래 형태 그대로 남아 있지만, 인간의 기억은 여러 뇌 영역에 흩어진 정보 조각을 현재의 질문에 맞춰 다시 결합한다. 자동차의 색, 표지판의 형태, 사건의 분위기, 이후에 들은 이야기가 각각 하나의 조각처럼 모여 기억을 구성한다. 이 과정에서 다른 사람이 잘못된 조각을 건네면, 그 조각도 완성된 기억에 포함될 수 있다.
✒️ 핵심 발췌
? “기억은 뇌의 여러 부분이 관여하는 능동적인 과정이다. 빨간색 닷선 자동차가 실제로 어떤 모습인지 또는 앞서 언급한 영화 제목이 무엇인지 묻는 질문을 받으면, 우리의 뇌는 먼저 그것과 관련이 없는 부분을 수집한다. 그런 다음 최종적으로 완성된 기억은 개별 부품으로 구성되고 최대한 형태를 갖춘 레고 세트와 같게 된다.”
✍️ “기억은 저장된 장면을 그대로 재생하는 일이 아니라 여러 정보 조각을 현재의 상황에 맞게 다시 조립하는 과정이다. 이 때문에 관련 없는 정보나 나중에 접한 잘못된 정보도 완성된 기억에 들어갈 수 있다.”
➡️ 이 비유는 기억이 유연하면서도 취약한 이유를 잘 보여준다. 재구성 능력은 과거 경험을 새로운 상황에 적용하게 하지만, 동시에 실제 경험과 추론, 외부 정보를 혼동하게 만든다.
기억의 오류가 사법제도에서 얼마나 심각한 결과를 낳을 수 있는지는 미국의 무죄 프로젝트 사례에서 드러난다. 이 단체는 유죄판결을 받은 사람들의 사건을 다시 검토하고, 보관된 DNA 증거를 현대적 기술로 재분석해 오판을 밝히는 일을 수행해왔다. 과거에는 분석 기술이 부족하거나 비용이 많이 들어 사용하지 못했던 머리카락과 체액 등의 자료를 다시 검사하면서, 유죄판결을 받은 사람이 실제 범인이 아니었음이 확인된 사례가 수백 건 발견되었다.
이러한 오판의 상당수에는 잘못된 목격자 진술이 관여했다. 목격자는 거짓말을 하려는 의도가 없었고 자신이 지목한 사람을 진짜 범인이라고 확신했을 수 있다. 그러나 범인의 얼굴을 본 시간이 짧거나, 스트레스가 심하거나, 사건 이후 오랜 시간이 지났거나, 수사 과정에서 특정 인물을 암시하는 질문을 받았다면 기억은 쉽게 변할 수 있다. 개인의 확신이 강하다는 사실은 그 기억이 정확하다는 증거가 아니다.
DNA 분석은 이러한 경우 주관적 기억을 물리적 자료로 검증하게 해주었다. 그러나 Foell은 여기서도 단순히 목격자 진술은 나쁘고 DNA 증거는 완벽하다고 결론 내리지 않는다. DNA 자료 역시 채취와 보관, 분석 과정에서 오염되거나 잘못 해석될 수 있다. 중요한 것은 하나의 증거에 절대적 권위를 부여하는 것이 아니라 서로 다른 종류의 증거가 얼마나 신뢰할 만한지를 평가하고, 서로 일치하는지 검토하는 것이다.
✒️ 핵심 발췌
? “잘못된 유죄판결의 일부는 정보 제공자의 거짓 자백이나 거짓 진술 때문이기도 했지만, 3분의 2 이상의 사건에서 실제로는 목격자 증언이 문제였다. 다만, 좋은 소식은 앞으로 이런 문제가 더 나아질 전망이 보인다는 것이다. 목격자 증언은 신뢰도가 낮다고 볼 수 있지만, 이를 올바른 상식으로 사용한다면 실제로 매우 신뢰할 수 있는 자료로 삼을 수 있다.”
✍️ “많은 오판에서 목격자 진술의 오류가 중요한 역할을 했지만, 그렇다고 모든 진술을 폐기해야 하는 것은 아니다. 질문 방식과 기록 절차를 개선하고 진술의 확신 정도를 구별하면 목격자 정보의 신뢰성을 높일 수 있다.”
➡️ 저자는 기억의 한계를 인정하는 일이 인간의 증언을 무가치하게 만드는 결론으로 이어져서는 안 된다고 본다. 오류 가능성을 이해하는 목적은 증언을 제거하는 것이 아니라 더 안전하게 사용하는 방법을 마련하는 데 있다.
목격자 진술의 신뢰성을 높이려면 질문자는 자신이 원하는 답을 암시하지 않아야 한다. 여러 인물 가운데 특정 인물을 고르도록 압박하거나, 이미 범인이 확인된 것처럼 질문해서는 안 된다. 증인이 확실히 기억하는 부분과 추측하는 부분도 분리해야 한다. 사건 직후의 최초 진술을 정확하게 기록하고, 이후의 인터뷰 과정에서 기억이 어떻게 달라졌는지를 확인하는 절차도 필요하다.
Foell은 Loftus의 연구가 법정에서 사용되는 방식에 대한 윤리적 문제도 제기한다. 기억이 왜곡될 수 있다는 연구 결과는 무고한 피고인을 보호하는 데 기여할 수 있지만, 동시에 성폭력이나 폭력 피해자의 진술을 무조건 의심하는 근거로 악용될 수도 있다. 피해자의 기억이 완벽하지 않다는 사실과 피해 사실 자체가 거짓이라는 주장은 전혀 다르다. 기억 연구가 모든 증언을 불신하는 도구로 사용된다면, 과학적 지식이 오히려 가해자의 책임을 회피시키는 결과를 낳을 수 있다.
따라서 기억의 불완전성은 증언을 자동으로 배제할 이유가 아니라 증언을 더 신중하게 평가해야 할 이유다. 사건의 핵심 부분과 주변적 세부 사항을 구별하고, 다른 물리적 증거와 일치하는지를 검토하며, 질문 과정에서 잘못된 정보가 유입되었을 가능성을 살펴보아야 한다. 과학은 목격자에게 기억이 틀렸다고 선언하는 권위가 아니라, 어떤 조건에서 기억이 더 정확하거나 덜 정확한지를 알려주는 도구여야 한다.
저자는 관찰과 기억이 현재의 관심과 감정에 따라 선택적으로 작동한다는 사실도 강조한다. 그의 지인은 보석 가게에서 강도의 칼에 위협받은 경험이 있었다. 사건 직후 경찰은 범인이 장갑을 끼고 있었는지 물었지만, 피해자는 전혀 기억하지 못했다. 자신이 중요한 부분을 보지 못했다는 사실에 수치심을 느꼈지만, Foell은 그것이 자연스러운 반응이라고 설명했다.
그 순간 피해자의 모든 주의는 자신을 해칠 수 있는 칼에 집중되어 있었다. 칼의 형태와 움직임은 생존에 직접 관련된 정보였기 때문에 자세히 기억했지만, 범인의 장갑이나 옷차림은 상대적으로 중요하지 않았다. 인간의 뇌는 위기 상황에서 주변 정보를 균등하게 기록하지 않는다. 가장 위협적인 대상에 주의 자원을 집중하고 나머지를 배경으로 밀어낸다.
✒️ 핵심 발췌
? “나는 그녀에게 칼에 대한 세부 사항을 기억할 수 있는지 물어보았다. 친구는 칼에 대해서는 모든 것을 기억하고 있었다. 왜냐하면 당시 친구의 모든 감각은 그 칼에 집중돼 있었기 때문이다. 그 순간에 그 칼은 치명적인 무기였기 때문에, 누가 그것을 들고 있는지, 칼을 든 사람이 장갑을 끼고 있는지는 상관이 없었다.”
✍️ “극심한 위험 속에서 피해자의 주의는 생존에 가장 중요한 칼에 집중되었다. 그 결과 칼은 자세히 기억했지만 범인의 장갑이나 외모에 관한 정보는 충분히 관찰하지 못했다.”
➡️ 기억의 공백은 무관심이나 무능력의 증거가 아니다. 뇌가 위협에 대응하기 위해 정보를 선택적으로 처리한 결과일 수 있으며, 특히 충격적인 사건의 증언을 평가할 때 이 점을 고려해야 한다.
이 사례는 인간의 관찰과 기억이 목적에 따라 작동한다는 사실을 보여준다. 우리의 인지 체계는 모든 정보를 정확히 보관하도록 진화한 것이 아니라, 생존과 행동에 필요한 정보를 빠르게 선택하도록 발달했다. 배가 고플 때 길거리의 음식점이 더 잘 보이고, 위험한 상황에서는 위협의 원인이 되는 물체가 더 강하게 기억된다. 이러한 선택적 주의는 일상생활에서는 효율적이지만 객관적 증언이 필요한 상황에서는 정보의 공백을 만든다.
사회적으로 충격적인 사건에 대한 기억도 시간이 지나면서 변화한다. Foell은 9월 11일 테러와 우주왕복선 사고처럼 많은 사람이 강렬하게 기억한다고 생각하는 사건을 언급한다. 사람들은 사건이 일어났을 때 자신이 어디에 있었고 무엇을 느꼈는지 매우 생생하게 기억한다고 확신한다. 그러나 시간이 지난 뒤 처음의 진술과 비교하면 장소와 대화 내용, 감정의 세부 사항이 달라지는 경우가 많다.
미디어 보도는 이러한 집단 기억에 큰 영향을 미친다. 사건 이후 반복해서 방송된 영상과 해설, 다른 사람의 이야기는 개인의 기억에 들어가 자신이 직접 경험한 내용처럼 느껴질 수 있다. 보도가 줄어들면 사건에 대한 세부 기억도 감소한다. 우리는 사회적 사건을 함께 경험할 뿐 아니라, 언론과 공동체의 서사를 통해 함께 기억하고 함께 잊는다.
오늘날에는 휴대전화 영상과 메시지, 사진과 전자 기록이 기억의 한계를 보완할 수 있다. 사건 당시 촬영된 영상은 개인의 회상보다 더 안정적인 자료를 제공하고, 시간 정보가 남아 있는 메시지는 당시의 감정과 행동을 확인하게 해준다. 과학에서 실험실 노트를 중시하는 이유도 같다. 연구자가 무엇을 했고 어떤 조건에서 결과가 나왔는지를 즉시 기록하면, 나중에 기억에 의존해 실험 과정을 재구성하는 오류를 줄일 수 있다.
그러나 기록 역시 현실 전체를 담는 것은 아니다. 휴대전화 영상에는 촬영자의 시선과 각도만 들어가며, 녹화가 시작되기 전과 끝난 뒤의 상황은 제외된다. 실험실 노트도 기록자가 중요하다고 생각한 내용만 포함한다. 기록은 기억보다 안정적이지만, 기록되지 않은 부분과 기록 방식의 한계를 함께 살펴야 한다.
결국 Foell은 인간의 관찰과 기억을 전면적으로 불신하라고 요구하지 않는다. 우리는 기억 없이 일상을 살 수 없고, 모든 경험을 영상이나 문서로 남길 수도 없다. 다만 사실을 확립해야 하는 중요한 상황에서는 개인의 기억을 유일한 증거로 사용하지 말아야 한다. 사건 직후 기록을 남기고, 질문의 표현을 중립적으로 만들며, 다른 자료와 비교하고, 기억의 확신과 정확성을 구별해야 한다.
✨ 해설과 통찰
이 장은 인간이 자신의 경험에 대해 갖는 확신이 얼마나 불안정한 토대 위에 놓여 있는지를 보여준다. 우리는 보통 거짓말과 진실을 의도에 따라 구분한다. 사실과 다른 말을 하더라도 고의가 아니라면 단순한 실수라고 생각한다. 그러나 기억 연구는 사람이 완전히 정직하면서도 잘못된 사실을 확신할 수 있음을 보여준다. 진실을 말하려는 의지와 진실을 정확히 기억하는 능력은 서로 다른 문제다.
철학적으로 이 문제는 개인적 경험을 지식의 최종 근거로 삼을 수 있는지 묻게 한다. 직접 보았다는 진술은 강한 설득력을 갖지만, 관찰 순간의 주의 편향과 이후의 기억 재구성을 고려하면 절대적 근거가 될 수 없다. 그렇다고 개인의 경험을 무시할 수도 없다. 필요한 것은 경험을 다른 증거와 연결하고, 어떤 조건에서 형성된 기억인지를 검토하는 절차다.
법철학의 관점에서 이 장은 증언의 신뢰성과 무죄 추정의 원칙을 동시에 생각하게 한다. 잘못된 목격자 지목은 무고한 사람을 처벌할 수 있지만, 기억의 불완전성을 이유로 피해자의 모든 진술을 배제하면 실제 범죄를 밝히기 어려워진다. 공정한 사법제도는 증언을 무조건 믿거나 무조건 의심하는 두 극단 사이에서, 진술이 형성된 조건과 다른 증거와의 일치 정도를 평가해야 한다.
심리학적으로 기억의 재구성은 결함인 동시에 인간 지능의 특징이다. 우리는 과거의 모든 세부 정보를 그대로 저장하지 않고 의미와 관계를 중심으로 압축한다. 덕분에 제한된 인지 자원으로 새로운 상황에 빠르게 대응할 수 있다. 그러나 의미 중심의 기억은 실제로 제시된 정보와 추론한 정보를 혼동하게 만든다. 효율적인 인지 체계가 정확한 사실 기록에는 취약할 수 있다는 역설이다.
이 장의 통찰은 온라인 정보 환경에도 적용된다. 사람들은 어떤 기사를 읽은 뒤 구체적인 근거나 표현보다 자신이 받은 전체적인 인상만 기억하기 쉽다. 이후 다른 사람이 과장된 내용을 반복하면, 원래 기사에 실제로 그런 주장이 있었다고 믿을 수 있다. 제목만 본 정보, 짧은 영상, 반복되는 댓글이 원래 사건의 기억을 대체하면서 집단적 오해가 만들어질 수 있다.
따라서 비판적 사고는 기억을 많이 하는 능력만을 의미하지 않는다. 자신이 정확히 무엇을 보았는지, 무엇을 추론했는지, 나중에 어떤 정보를 접했는지를 구별하려는 태도가 더 중요하다. 확신이 강할수록 기록을 확인하고 다른 증거와 비교하는 습관이 필요하다. 기억에 대한 겸손은 자신을 불신하는 태도가 아니라 사실을 더 안전하게 다루는 태도다.
? 핵심 요약
1️⃣ 인간의 기억은 과거를 그대로 재생하는 기록 장치가 아니라 여러 정보와 기대를 결합해 과거를 다시 구성하는 과정이다.
2️⃣ 사건 이후에 제시된 잘못된 정보와 유도 질문은 원래의 기억에 들어가 실제로 관찰한 내용을 바꿀 수 있다.
3️⃣ 극심한 스트레스 상황에서는 주의가 가장 위협적인 대상에 집중되므로 주변 인물과 세부 상황에 대한 기억이 약해질 수 있다.
4️⃣ 목격자 진술은 불완전하지만 중립적인 질문과 신속한 기록, 다른 증거와의 비교를 통해 신뢰성을 높일 수 있다.
? 비교·확장
Foell의 설명은 Elizabeth Loftus가 확립한 오정보 효과와 직접 연결된다. 오정보 효과는 사건 이후에 접한 잘못된 정보가 원래 사건에 대한 기억을 변화시키는 현상이다. 이 개념은 기억이 시간이 지나며 단순히 약해지는 것이 아니라, 새로운 정보에 의해 내용 자체가 달라질 수 있음을 보여준다.
Daniel Kahneman의 인지 이론과 비교하면, 볼로네즈 스파게티 사례는 빠르고 자동적인 사고가 이야기의 빈틈을 채우는 과정으로 이해할 수 있다. 우리는 식당에서 음식을 주문하면 그것을 먹는다는 익숙한 규칙을 즉시 적용한다. 이러한 판단은 대부분의 일상 상황에서는 유용하지만, 정확한 문장의 의미를 확인해야 할 때는 오류를 낳는다.
Frederic Bartlett의 기억 연구도 이 장의 논지와 맞닿아 있다. Bartlett은 사람들이 낯선 이야기를 기억할 때 자신의 문화와 지식에 맞도록 내용을 바꾸어 회상한다는 사실을 보여주었다. 기억은 원본의 복제가 아니라 기존 도식에 맞춘 재구성이다. Foell의 식당 이야기는 이러한 도식이 얼마나 빠르게 작동하는지를 보여주는 일상적인 사례다.
법심리학에서는 목격자의 확신을 진술의 정확성과 분리해 평가해야 한다는 논의가 중요하다. 자신감 있는 증언이 배심원에게 더 큰 설득력을 주지만, 확신은 반복되는 질문이나 수사관의 반응을 통해 강화될 수 있다. 처음의 불확실한 기억이 주변의 긍정적인 피드백을 받으면서 확고한 확신으로 변할 수도 있다.
현대 사회에서는 디지털 기록이 기억의 외부 저장소 역할을 한다. 사진과 메시지, 위치 기록은 과거 행동을 확인하는 데 도움을 주지만, 기록에 지나치게 의존하면 촬영되지 않은 경험이나 문서화되지 않은 사람의 증언이 과소평가될 수 있다. 기록이 없다는 사실과 사건이 없었다는 결론을 구별해야 한다는 점에서, 이 장은 앞 장의 관찰 문제와 이어진다.
? 연결 독서 제안
✔️ Elizabeth Loftus, Eyewitness Testimony
✔️ Daniel Kahneman, Thinking, Fast and Slow
✔️ Frederic Bartlett, Remembering
✔️ Julia Shaw, The Memory Illusion
? 사유를 여는 질문
❓ 내가 확실하게 기억한다고 믿는 사건에는 실제 관찰과 이후의 해석이 어느 정도 섞여 있는가?
❓ 목격자 진술의 오류 가능성과 피해자의 증언을 존중해야 한다는 원칙은 어떻게 함께 지켜질 수 있는가?
❓ 사진과 영상이 기억을 보완하는 시대에도 기록되지 않은 경험을 사실로 인정할 기준은 무엇이어야 하는가?
? Chapter 3. We Can Only Measure What We Have | 우리는 우리에게 있는 것만 측정할 수 있다
✅ 장 개요
이 장은 과학적 측정이 현실 전체를 자동으로 보여주는 과정이 아니라, 연구자가 접근할 수 있는 대상과 확보할 수 있는 자료만을 다루는 제한된 작업이라는 사실을 설명한다. 우리는 측정 장비가 정교하고 통계 분석이 정확하다면 연구 결과도 객관적이라고 생각하기 쉽다. 그러나 Jens Foell은 측정 이전에 이미 중요한 선택이 이루어진다고 지적한다. 누가 연구에 참여하는가, 어떤 사례가 살아남아 기록되는가, 어떤 행동이 실험실에서 재현될 수 있는가, 어떤 유물이 현재까지 보존되어 발견되는가에 따라 연구자가 보는 현실의 모습이 달라진다.
저자는 연구하기 어려운 성적 성향과 신경심리학의 사례에서 출발한다. 사회적 낙인이 강한 성향을 가진 사람들은 연구 참여를 꺼릴 가능성이 높고, 범죄로 적발된 극단적인 사례만 자료에 포함되기 쉽다. 이때 연구자는 전체 집단이 아니라 가장 눈에 띄고 접근하기 쉬운 일부를 연구하면서도, 그 결과를 전체 집단의 특징으로 해석할 위험이 있다. 측정 기술이 아무리 정교해도 표본 자체가 현실을 제대로 대표하지 못한다면, 결론 역시 제한적일 수밖에 없다.
이어지는 자기공명영상 장치 속 성행동 연구는 실험 환경이 연구 대상을 어떻게 바꾸는지를 보여준다. 좁고 차갑고 시끄러운 장치 안에서 성행동을 수행할 수 있는 참가자는 일상적인 환경의 사람들을 대표하기 어렵다. 연구자는 자연스러운 행동을 측정하려 하지만, 실제로는 극단적인 실험 조건에 적응할 수 있는 특별한 참가자의 행동을 측정하게 된다.
이 장의 핵심 개념은 생존 편향이다. 제2차 세계대전 중 귀환한 폭격기의 탄흔만 분석하면, 피격되고도 돌아올 수 있었던 부위만 보게 된다. 정작 치명적인 부위를 맞은 항공기는 귀환하지 못했기 때문에 자료에서 사라진다. 강철 헬멧 도입 이후 머리 부상자가 늘어난 사례도 같은 구조를 보여준다. 부상자가 늘어난 것이 헬멧이 위험했기 때문이 아니라, 과거에는 사망했을 병사들이 살아남아 부상자로 기록되었기 때문이다.
Foell은 이러한 문제를 가로등 아래에서 열쇠를 찾는 취객의 비유로 압축한다. 취객은 열쇠를 가로등 아래에서 잃어버린 것이 아니라 그곳이 밝기 때문에 그곳만 찾는다. 과학 역시 현실에서 중요한 대상을 연구하는 것이 아니라, 접근과 측정이 쉬운 대상만 반복해서 연구할 수 있다. 이 장은 자료가 존재한다는 이유만으로 그것이 현실 전체를 대표한다고 믿어서는 안 되며, 측정되지 않은 대상과 사라진 사례를 항상 함께 고려해야 한다고 주장한다.
? 상세 설명
Foell은 자신이 뇌 연구에 집중하던 시기의 경험을 통해 이 문제를 설명한다. 당시 그의 연구실은 사이코패스적 특성, 불안, 공격성과 같은 인간 행동과 성격의 신경심리학적 기반을 연구하고 있었다. 외부에서는 사이코패스 연구가 연쇄살인범의 뇌를 조사하는 자극적인 분야처럼 보일 수 있지만, 실제 연구 대상은 일반 인구에 속한 사람들의 성격 특성과 행동 경향인 경우가 많았다. 사이코패스라는 개념 자체도 냉담함, 충동성, 공감 부족과 같은 다양한 특성이 결합된 것으로, 특정 범죄 유형과 단순하게 동일시할 수 없다.
이 과정에서 저자는 시체에 성적 매력을 느끼는 성향의 신경심리학을 다루는 연구에 참여하게 된다. 당시 이 주제에 관한 뇌 영상 연구나 심리생리학적 연구는 사실상 존재하지 않았다. 연구자는 직접 자료가 없는 상황에서 다른 비정형적 성적 관심에 관한 연구를 참고하고, 서로 유사할 가능성이 있는 신경심리학적 기제를 추론해야 했다. 이러한 작업은 새로운 연구 가설을 세우는 데 의미가 있지만, 실제로 해당 성향을 가진 사람들을 조사하지 않은 상태에서는 어디까지나 잠정적인 모형에 불과하다.
문제는 이 가설을 직접 검증하기가 매우 어렵다는 데 있다. 연구를 수행하려면 해당 성향을 가진 사람들이 자발적으로 자신의 경험을 밝히고, 연구실을 방문해 면담과 검사를 받으며, 뇌 영상 촬영에 참여해야 한다. 그러나 사회적으로 심한 낙인이 붙은 성적 성향을 가진 사람은 자신이 노출될 위험을 감수하면서 연구에 참여할 이유가 거의 없다. 연구소를 방문하는 모습을 지인에게 보이거나, 개인 정보가 유출되거나, 연구 결과가 자신에게 불리하게 사용될 가능성을 걱정할 수 있기 때문이다.
따라서 연구자가 실제로 접근할 수 있는 사람은 범죄로 적발되어 수사나 재판을 받는 사람, 치료기관에 도움을 요청한 사람, 공개적인 온라인 공동체에 참여한 사람처럼 이미 사회 제도와 접촉한 일부에 한정될 가능성이 높다. 그러나 이들은 해당 성향을 가진 전체 사람들을 대표하지 않는다. 실제 행동으로 옮기지 않고 자신의 상상 속에서만 성향을 경험하는 사람, 타인에게 피해를 주지 않는 방식으로 욕구를 조절하는 사람, 평생 누구에게도 알리지 않는 사람은 자료에 거의 나타나지 않는다.
✒️ 핵심 발췌
? “하지만 나는 이 연구가 나의 생전에는 이루어지지 않으리라고 장담한다. 연구가 이루어지기 위해서는 시체성애 경향이 있거나 없는 사람들이 심리학자나 뇌 연구자들이 게재한 광고에 자발적으로 응답해 인터뷰와 검사를 받고 소정의 수당을 받는 식으로 연구에 참여해야 하기 때문이다. 우리 사회에서 시체성애에 대한 낙인이 얼마나 큰지를 고려한다면, 과연 이에 응할 사람이 있을지 나는 매우 회의적이다.”
✍️ “이 성향을 실제로 연구하려면 당사자들이 자발적으로 자신의 경험을 공개하고 검사에 참여해야 한다. 그러나 심각한 낙인과 신원 노출의 위험 때문에 연구에 참여할 사람을 확보하기는 매우 어렵다.”
➡️ 이 대목은 연구 표본이 단순히 모집 공고를 통해 중립적으로 만들어지는 것이 아님을 보여준다. 사회적 낙인과 처벌 가능성은 누가 연구에 들어오고 누가 자료 밖에 남는지를 결정하며, 결국 측정 결과의 범위를 제한한다.
이 사례에서 가장 중요한 문제는 연구 대상의 선택이 우연하지 않다는 점이다. 연구에 참여한 사람과 참여하지 않은 사람 사이에는 체계적인 차이가 있을 수 있다. 자신의 성향을 비교적 편안하게 받아들이거나 연구 참여의 위험을 감수할 수 있는 사람이 더 많이 응할 수 있고, 반대로 심각한 불안과 수치심을 느끼는 사람은 숨어 있을 가능성이 높다. 범죄자만 연구한다면 범죄 행동과 성적 성향을 분리하기 어렵고, 치료를 요청한 사람만 연구한다면 고통을 느끼지 않는 사람은 제외된다.
이러한 선택 편향은 단순히 표본의 숫자가 적다는 문제와 다르다. 참가자 수를 늘려도 모집 방식이 동일하다면 같은 종류의 편향이 반복될 수 있다. 수백 명을 조사했더라도 모두 특정 기관을 이용하거나 특정 광고에 응답한 사람이라면, 연구 결과는 여전히 그 조건에 맞는 사람들만 설명한다. 표본의 크기는 중요하지만, 표본이 어떤 과정을 통해 만들어졌는지는 그보다 더 근본적인 문제일 수 있다.
저자는 이를 중성미자를 탐지하는 물리학과 비교한다. 중성미자는 거의 모든 물질을 통과하며 다른 물질과 반응하는 경우가 드물기 때문에 직접 관찰하기가 어렵다. 과학자는 중성미자 자체를 일상적으로 붙잡아 보는 대신, 드물게 물질과 반응할 때 생기는 간접적인 흔적을 측정한다. 연구에 나타나지 않는 사람들도 이와 비슷하다. 이들이 존재하지 않는 것이 아니라, 연구 장치와 거의 접촉하지 않기 때문에 자료에 모습을 드러내지 않는 것이다.
그러나 물리학과 인간 연구 사이에는 중요한 차이가 있다. 중성미자가 측정 장치를 피하는 데에는 사회적 의미가 없지만, 인간이 연구를 피하는 데에는 낙인, 두려움, 경제적 조건, 제도에 대한 불신이 작용한다. 따라서 인간 연구에서 보이지 않는 표본은 단순한 기술적 문제가 아니라 사회적 구조가 만든 결과일 수 있다. 어떤 경험이 과학적으로 잘 알려지지 않은 이유가 그 경험이 드물기 때문인지, 아니면 당사자가 말할 수 없는 환경에 놓여 있기 때문인지 구별해야 한다.
✒️ 핵심 발췌
? “성도착증의 예는, 세상에는 우리가 관찰하거나 측정하고자 하지만 접근이 너무 어려운 영역도 때로 존재함을 보여준다. 이들은 연구 실험에 참여해달라는 우리의 요청에 응답하지 않거나, 우주 속 중성미자처럼 그 어떤 것에도 전혀 반응하지 않는다. 따라서 우리의 연구 결과는 매우 제한적인 측정 능력으로 인해 편향될 수밖에 없다.”
✍️ “어떤 대상은 존재하지 않아서가 아니라 연구자가 접근할 수 없기 때문에 자료에 나타나지 않는다. 측정이 어려운 대상이 빠지면 연구 결과는 자연스럽게 접근 가능한 사례 쪽으로 기울어진다.”
➡️ 자료의 공백은 현실의 공백이 아닐 수 있다. 연구자는 보이는 사례만으로 전체를 설명하기 전에, 누가 어떤 이유로 자료에 포함되지 않았는지를 질문해야 한다.
이 문제는 신경심리학적 측정의 한계로 이어진다. 사람들은 뇌 영상 장치를 이용하면 인간의 성격이나 성적 취향, 정신질환을 객관적으로 분류할 수 있다고 기대한다. 특정한 뇌 활동이 나타나면 그 사람의 성향이나 진단을 알아낼 수 있을 것이라고 생각하는 것이다. 그러나 Foell은 신경심리학적 측정을 통해 기본적으로 이미 알고 있는 특성과 관련된 차이를 더 자세히 조사할 수 있을 뿐이라고 설명한다.
이를 설명하기 위해 그는 사람의 키와 성별을 예로 든다. 평균적으로 남성이 여성보다 키가 크다는 통계적 차이는 분명히 존재한다. 그러나 한 사람의 키가 171센티미터라는 정보만으로 그 사람의 성별을 확실하게 판단할 수는 없다. 집단 평균의 차이는 개별 사례를 정확히 분류하는 기준과 같지 않다. 남성과 여성의 키 분포는 넓게 겹치기 때문에 중간 영역에서는 키만으로 의미 있는 결론을 내리기 어렵다.
뇌 활동도 이와 마찬가지다. 특정 집단에서 평균적인 뇌 활동의 차이가 발견되더라도, 그 차이를 이용해 한 개인을 진단하거나 분류하는 일은 훨씬 어렵다. 자폐증 집단과 비자폐증 집단 사이에서 평균적인 차이가 나타날 수 있지만, 실제 개인들의 뇌 활동은 크게 겹칠 수 있다. 집단 수준의 상관관계를 개인 수준의 예측으로 곧바로 바꾸면 심각한 오류가 발생한다.
특히 법정에서는 이러한 오류가 중대한 결과를 낳을 수 있다. 뇌 영상이나 신경과학적 검사가 객관적인 과학 자료로 제시되면 판사와 배심원은 그것을 강한 증거로 받아들이기 쉽다. 그러나 참가자 수가 적거나, 서로 다른 집단의 차이가 충분히 반복 검증되지 않았거나, 반대 결과를 보인 연구가 제외되었다면 그 결론은 불안정하다. 과학적인 이미지와 전문 용어가 신뢰성을 보장하는 것은 아니다.
✒️ 핵심 발췌
? “신경심리학적 측정을 통해 우리는 기본적으로 이미 알고 있는 것에 대해서만 더 많은 것을 알아낼 수 있다. 다양한 자폐증 환자들의 뇌 활동에 대한 수많은 데이터가 있다고 해도, 측정된 뇌 활동을 바탕으로 자폐증을 진단하는 것은 극도로 조심스럽다. 실제로 현실 세계에서 심각한 결과를 초래할 수 있기 때문이다.”
✍️ “뇌 측정은 이미 구분된 집단 사이의 차이를 연구하는 데에는 도움을 줄 수 있지만, 그 차이를 이용해 개인을 자동으로 진단할 수 있다는 뜻은 아니다. 집단 평균을 개인의 정체성이나 상태로 곧바로 적용하면 위험한 오판이 생길 수 있다.”
➡️ 이 대목은 통계적 관계와 개인 예측의 차이를 강조한다. 연구 결과가 집단 수준에서 유효하더라도 실제 한 사람을 판단하는 근거로 사용할 때에는 훨씬 더 엄격한 기준이 필요하다.
Foell은 신경과학 연구가 법정에서 활용되려면 하나의 연구에만 의존해서는 안 된다고 말한다. 동일한 주제와 방법을 사용하면서도 독립적으로 수행된 연구가 최소 두 개 이상 있어야 하고, 각 연구의 참가자 수도 통계적으로 충분해야 한다. 또한 원하는 결론과 일치하는 연구만 찾는 것이 아니라, 동일한 방법으로 다른 결론에 도달한 연구까지 검색하고 인용해야 한다.
이 기준은 과학적 결론이 자료의 양보다 자료의 구조에 의존한다는 사실을 보여준다. 연구가 여러 번 반복되었는지, 서로 다른 연구진이 같은 결과를 얻었는지, 반대 결과가 공개되었는지, 결과가 특정 표본에만 적용되는지를 확인해야 한다. 특히 측정 가능한 자료만 존재할 때 연구자는 그 자료가 전체 현실을 대표한다고 착각하기 쉽다.
이어 저자는 자기공명영상 장치 안에서 성행동을 관찰한 연구를 소개한다. 1990년대의 한 연구진은 삽입 성행동과 오르가슴 과정에서 여성의 신체가 어떻게 변화하는지 확인하기 위해 자기공명영상 장치를 사용했다. 연구 목적은 기존의 해부학적 설명이 실제 관찰에 근거한 것인지 확인하는 것이었다. 그러나 실험 환경은 일상적인 성행동과 매우 달랐다.
자기공명영상 장치 내부는 좁고 차가우며 소음이 크다. 편안한 침대를 넣을 공간도 없고, 참가자는 제한된 자세를 유지해야 한다. 선명한 영상을 얻기 위해서는 특정한 상태를 일정 시간 유지해야 한다. 이러한 환경에서 자연스럽게 성행동을 수행할 수 있는 커플은 많지 않았다. 일부 참가자는 약물의 도움을 받아야 했고, 별다른 어려움 없이 실험을 마친 커플은 거리 공연을 하는 사람들이었다. 연구진은 이들이 불편한 환경과 다른 사람의 시선 속에서도 몸을 통제하는 데 익숙했기 때문일 수 있다고 추측했다.
✒️ 핵심 발췌
? “대부분의 커플에게 이러한 조건은 섹스와 관련된 낭만적인 이상과 거리가 멀다. 그 결과, 대부분의 참가자들은 문제를 겪을 수밖에 없었다. 무엇보다 남성은 명확한 자기공명영상을 얻기 위해 필요한 정도의 발기를 유지하는 데 어려움을 겪었다.”
✍️ “좁고 차갑고 시끄러운 실험 장치는 일상적인 성행동과 전혀 다른 환경이었다. 연구자는 자연스러운 행동을 측정하려 했지만, 실제로는 극단적인 조건에서 행동할 수 있는 참가자의 반응을 측정하게 되었다.”
➡️ 실험 장치는 대상을 관찰하는 중립적 창문이 아니다. 장치의 조건이 참가자의 행동을 변화시키면, 측정된 결과가 자연환경에서도 동일하게 나타나는지 별도로 검토해야 한다.
이 연구의 해부학적 결과는 어느 정도 의미가 있을 수 있다. 실험에 성공한 참가자의 기본적인 신체 구조가 다른 건강한 사람들과 크게 다를 가능성은 낮기 때문이다. 그러나 연구의 초점이 심리적 흥분, 친밀감, 불안, 만족감이었다면 결과를 일반화하기 훨씬 어려웠을 것이다. 불편한 장치 안에서 관찰된 심리 반응은 일상적인 침실 환경의 반응과 다를 수 있다.
이 사례는 측정 가능한 행동과 연구하려는 실제 현상 사이에 차이가 있음을 보여준다. 연구자는 성행동을 측정한다고 생각하지만, 실제로는 실험 장치 안에서 가능한 성행동을 측정한다. 마찬가지로 학교 시험은 지능 전체가 아니라 정해진 시간과 문항 형식 안에서 표현된 능력을 측정하며, 병원 설문은 환자의 고통 전체가 아니라 질문에 응답할 수 있는 형태로 표현된 경험을 측정한다.
측정은 대상을 수동적으로 받아들이지 않는다. 무엇을 질문하고 어떤 장치를 사용하며 어떤 환경을 만드는지에 따라 나타나는 현상도 달라진다. 연구 대상이 장치에 적응해야 한다면, 적응할 수 없는 사람은 탈락한다. 연구 결과는 장치와 대상의 상호작용을 포함하는 자료가 된다.
Foell은 이러한 문제를 생존 편향의 사례로 확장한다. 생존 편향은 관찰 가능한 사례가 어떤 선택 과정을 통과한 결과라는 사실을 무시할 때 발생한다. 가장 유명한 예는 전쟁 중 귀환한 폭격기의 탄흔 분석이다. 항공기를 더 안전하게 만들기 위해 귀환한 폭격기에서 총탄을 맞은 부위를 조사하면, 날개와 동체의 특정 부분에 탄흔이 집중되어 있는 것을 발견할 수 있다. 직관적으로는 탄흔이 많은 부위를 보강해야 한다고 생각하기 쉽다.
그러나 귀환한 항공기는 그 부위를 맞고도 살아남은 항공기다. 엔진이나 조종석처럼 치명적인 부위를 맞은 항공기는 돌아오지 못했기 때문에 조사 대상에 포함되지 않는다. 따라서 탄흔이 적은 부위가 오히려 더 중요할 수 있다. 관찰 가능한 자료는 생존이라는 조건을 통과한 결과이므로, 보이지 않는 실패 사례를 함께 추론해야 한다.
통계학자 Abraham Wald는 이 문제를 수학적으로 분석한 것으로 알려져 있다. 그의 중요한 기여는 단순히 탄흔이 없는 곳을 보강하라고 조언한 데 있는 것이 아니라, 귀환한 항공기의 비율과 손상 분포를 이용해 관찰되지 않은 항공기의 상태를 추정하는 방법을 제시한 데 있다. 그는 보이는 자료만 세는 대신, 어떤 자료가 왜 사라졌는지를 계산하려 했다.
✒️ 핵심 발췌
? “살아남아 돌아온 폭격기만을 기준으로 강화할 부위를 결정하면, 오히려 잘못된 부분을 보강하게 된다는 것이다. 오히려 탄흔이 남아 있지 않은 부위가 더 중요한 부분일 수 있으며, 그곳이 피격될 경우 항공기가 귀환하지 못했을 가능성이 크다는 것이다. 따라서 총탄 흔적이 없는 부분을 더 잘 보호해야 한다는 게 그의 결론이었다.”
✍️ “귀환한 폭격기의 손상 부위는 맞아도 살아남을 수 있었던 곳을 보여준다. 치명적인 부위를 맞은 항공기는 돌아오지 못했기 때문에 자료에서 보이지 않으며, 오히려 탄흔이 없는 부분이 더 중요한 보호 대상일 수 있다.”
➡️ 생존한 사례만 보면 성공을 가능하게 한 조건과 실패를 초래한 조건을 거꾸로 해석할 수 있다. 자료에 나타나지 않은 실패 사례가 결론의 핵심일 수 있다는 점을 보여주는 대표적인 사례다.
강철 헬멧 도입 이후 머리 부상자가 늘어난 사례도 같은 원리를 보여준다. 제1차 세계대전 초기 병사들이 사용한 머리 보호 장비는 포탄 파편과 총탄을 제대로 막지 못했다. 이후 강철 헬멧이 도입되자 의료 기록에서 머리 부상자의 수가 증가했다. 겉으로만 보면 새 헬멧이 오히려 부상을 늘린 것처럼 보일 수 있다.
그러나 실제로는 헬멧 도입 이전에 머리를 다친 병사 중 상당수가 현장에서 사망해 부상자 통계에 포함되지 않았다. 강철 헬멧은 이들을 살려냈고, 그 결과 과거에는 사망자로 기록되었을 사람들이 부상자로 기록되기 시작했다. 머리 부상자의 증가는 보호 장비의 실패가 아니라 생존자의 증가를 의미할 수 있었다.
이 사례는 어떤 수치의 증가가 반드시 현상의 악화를 뜻하지 않는다는 사실을 보여준다. 암 진단이 증가한 이유가 실제 암 발생이 늘었기 때문일 수도 있지만, 검진 기술이 발전해 과거에는 발견되지 않았던 환자가 진단되기 때문일 수도 있다. 범죄 신고가 늘어난 것이 범죄가 증가했기 때문일 수도 있지만, 신고 절차가 개선되고 피해자가 더 적극적으로 말할 수 있게 되었기 때문일 수도 있다.
통계 수치는 관찰과 분류의 체계가 바뀌면 함께 변한다. 따라서 숫자의 증감만 보는 것으로는 충분하지 않다. 누가 새롭게 포함되었고 누가 이전에는 제외되었는지, 생존과 발견, 신고와 진단의 조건이 어떻게 달라졌는지를 확인해야 한다.
생존 편향은 성공한 사람들의 조언을 해석할 때도 나타난다. 성공한 기업가가 위험을 감수하고 포기하지 않았기 때문에 성공했다고 말하면, 같은 방식으로 행동했지만 실패한 수많은 사람은 보이지 않는다. 성공 사례에 공통적으로 나타나는 행동이 성공의 원인인지, 아니면 실패한 사람에게도 똑같이 나타났는지는 별도로 조사해야 한다.
출판된 연구만 읽는 경우에도 유사한 문제가 발생한다. 의미 있는 결과를 얻은 연구는 학술지에 실리기 쉽지만, 효과를 발견하지 못한 연구는 공개되지 않을 수 있다. 그러면 문헌 전체를 검토한 사람은 실제보다 특정 효과가 더 강하고 일관된 것처럼 오해하게 된다. 보이는 연구는 출판이라는 선택 과정을 통과한 생존자이기 때문이다.
Foell은 고고학과 고생물학이 가로등 아래의 열쇠 문제와 특히 가까운 분야라고 설명한다. 우리가 과거에 대해 아는 것은 현재까지 보존되고 발견된 흔적에 의존한다. 나무와 천, 음식처럼 쉽게 썩는 물질은 사라질 가능성이 높고, 돌과 뼈, 도자기처럼 오래 남는 물질은 발견되기 쉽다. 따라서 고대인의 생활을 재구성할 때 보존되기 쉬운 물건이 실제보다 더 중요하게 보일 수 있다.
세계에서 가장 오래된 동굴 그림이나 가장 오래된 도시, 가장 오래된 도구가 발견되었다는 보도도 신중하게 해석해야 한다. 새롭게 발견된 유물이 현재까지 알려진 것 중 가장 오래된 것일 수는 있지만, 실제 최초의 사례라는 뜻은 아니다. 더 오래된 흔적이 아직 발견되지 않았거나 이미 소멸했을 수 있기 때문이다.
역사적 변화는 흔히 한순간에 일어난 혁신처럼 서술되지만, 실제로는 오랜 기간에 걸쳐 불규칙하고 점진적으로 이루어졌을 수 있다. 농업, 도시, 문자, 화폐가 어느 날 갑자기 완성된 형태로 등장한 것이 아니라 다양한 지역에서 여러 형태로 시도되고 사라지며 변화했을 가능성이 높다. 그러나 남아 있는 흔적은 이러한 복잡한 과정을 일부만 보여준다.
✒️ 핵심 발췌
? “특히 궁극적으로 ‘가장 오래된 유물’을 찾는 것은 어차피 부질없는 일이다. 그러므로 ‘가장 오래된 유물’은 실제로는 ‘현재까지 알려진 가장 오래된 유물’로 표시돼야 한다. 경계란 보통 우리가 생각하는 것보다 훨씬 모호하므로, 어떤 일이 처음 일어난 시기에 대해 너무 주목할 필요가 없다는 것이다.”
✍️ “발견된 가장 오래된 흔적이 실제 최초의 사례라는 보장은 없다. 그것은 현재까지 보존되고 발견된 자료 가운데 가장 오래된 것일 뿐이며, 역사적 변화는 우리가 설정한 경계보다 훨씬 점진적이었을 수 있다.”
➡️ 과학적 표현에서 현재까지 알려진이라는 단서는 매우 중요하다. 이 말은 지식의 한계를 인정하며, 새로운 발견에 따라 결론이 수정될 수 있음을 드러낸다.
이 장의 중심 비유는 가로등 아래에서 열쇠를 찾는 취객이다. 취객은 어두운 곳에서 열쇠를 잃어버렸지만, 가로등 아래가 밝다는 이유로 그곳만 살핀다. 누군가 왜 그곳을 찾느냐고 묻자 열쇠를 잃어버린 장소가 아니라 가장 잘 보이는 장소이기 때문이라고 답한다.
과학도 이와 비슷한 함정에 빠질 수 있다. 연구자는 사회적으로 중요한 현상보다 측정이 쉬운 현상을 선택할 수 있다. 연구 참여자를 구하기 쉬운 대학생 집단을 반복해서 조사하고, 자료가 잘 정리된 국가와 기관만 분석하며, 설문으로 답하기 쉬운 경험만 연구할 수 있다. 그 결과 과학적 지식은 현실 전체보다 연구가 가능한 영역에 집중된다.
이 문제는 연구자의 게으름만으로 설명할 수 없다. 시간과 비용, 윤리 규정, 기술적 한계 때문에 접근 가능한 자료를 사용하는 것은 불가피하다. 문제는 제한된 자료를 사용했다는 사실이 아니라, 그 자료의 한계를 잊고 전체 현실에 대한 결론으로 확대하는 데 있다.
✒️ 핵심 발췌
? “비유해서 말하자면, 우리는 때때로 그곳에서 열쇠를 잃어버려서가 아니라 단지 다른 곳이 어둡기 때문에 가로등 불빛 아래에서만 아파트 열쇠를 찾는 취객이 되곤 한다. 어떤 상황에서든, 우리는 관찰하거나 측정할 수 있는 데이터만 다룰 수 있다. 문제는 우리가 특정 사례를 넘어서는 결론을 내리고자 할 때 발생한다.”
✍️ “연구자는 중요한 곳이 아니라 밝고 접근하기 쉬운 곳에서 자료를 찾을 수 있다. 측정 가능한 사례만으로 측정되지 않은 전체 현실까지 설명하려 할 때 심각한 오해가 발생한다.”
➡️ 이 비유는 이 장의 주장을 가장 명확하게 압축한다. 측정의 정밀성보다 먼저 물어야 할 것은 우리가 올바른 장소를 측정하고 있는가라는 질문이다.
Foell은 이 문제를 완전히 해결할 수 있는 단일한 방법은 없다고 말한다. 연구에 참여하지 않은 사람의 특성을 정확히 알 수 있다면 애초에 그들은 완전히 보이지 않는 대상이 아닐 것이다. 사라진 항공기의 손상 위치나 발견되지 않은 유물의 형태를 직접 측정할 수도 없다. 따라서 연구자는 불확실성을 제거하기보다 그것을 결론 안에 포함해야 한다.
가능한 경우에는 자료에서 누락될 가능성을 추정하고, 현재 자료에 다른 가중치를 적용할 수 있다. 귀환하지 않은 폭격기의 비율을 이용해 손상 분포를 추정하는 방식이 한 예다. 설문 연구에서는 응답하지 않은 집단의 인구통계적 특징을 조사하거나, 여러 모집 경로를 사용해 편향을 줄일 수 있다. 서로 다른 국가와 계층, 기관의 자료를 비교하는 방법도 도움이 된다.
그러나 누락된 사례의 크기조차 추정할 수 없다면, 연구자는 자신이 전체 상황을 파악하지 못하고 있다는 사실을 명시해야 한다. 이는 연구의 가치를 포기하는 태도가 아니다. 제한된 자료가 알려주는 범위와 알려주지 못하는 범위를 구분하는 것이 과학적 정직성이다.
✨ 해설과 통찰
이 장의 철학적 핵심은 측정 가능성과 존재를 동일시해서는 안 된다는 데 있다. 현대 사회는 숫자로 표현되는 것을 객관적이라고 여기고, 수치화되지 않는 경험을 불확실하거나 중요하지 않은 것으로 취급하는 경향이 있다. 그러나 측정되지 않는다는 사실은 대상이 실재하지 않음을 뜻하지 않는다. 그것은 현재의 개념과 도구, 제도가 그 대상을 포착하지 못한다는 의미일 수 있다.
과학철학적으로 이 문제는 관찰 가능한 것과 실재하는 것 사이의 차이를 드러낸다. 과학은 관찰과 측정을 통해 지식을 생산하지만, 모든 실재가 같은 정도로 관찰되는 것은 아니다. 이론은 보이지 않는 대상의 존재를 간접적으로 추론하며, 새로운 장비는 이전에는 측정할 수 없었던 현상을 자료로 바꾼다. 과학의 역사는 존재하지 않던 대상을 만들어낸 역사가 아니라, 기존에 존재했지만 보이지 않던 대상을 새로운 방식으로 발견한 역사이기도 하다.
사회학적으로는 누가 지식에 포함되고 누가 배제되는가의 문제로 확장된다. 의료 연구가 병원을 이용하는 사람만을 조사하면 의료 접근성이 낮은 사람은 사라진다. 노동 연구가 정규직 자료만 사용하면 비정규직과 비공식 노동은 보이지 않는다. 온라인 여론을 분석하면 온라인 활동을 하지 않는 사람의 의견은 제외된다. 이러한 누락은 중립적이지 않으며, 사회적 권력과 자원의 불평등을 반영한다.
심리학 연구에서도 연구 참가자는 전체 인구를 대표하지 않는 경우가 많다. 연구기관 근처에 살고, 시간적 여유가 있으며, 연구 참여에 거부감이 없고, 실험 지시를 이해할 수 있는 사람이 표본에 들어오기 쉽다. 이런 표본에서 얻은 인간 행동의 법칙을 모든 문화와 계층에 적용한다면, 특정 사회집단의 특성을 인간 보편성으로 오해할 수 있다.
정치적으로도 보이는 문제와 실제 문제는 다를 수 있다. 신고 건수가 적다는 이유로 피해가 적다고 판단하면 신고하기 어려운 사람들의 경험이 사라진다. 실업 통계에 포함되지 않는 구직 포기자나 비공식 노동자는 경제 현실에서 제외될 수 있다. 정책은 측정된 수치를 따라 움직이기 때문에, 측정되지 않는 사람은 지원과 보호에서도 배제될 가능성이 높다.
이 장은 자료 중심 사회에서 특히 중요한 경고를 제공한다. 대규모 자료와 인공지능은 이미 수집된 정보를 분석하는 데 강력하지만, 기록되지 않은 사람과 행동을 자동으로 발견하지는 못한다. 과거의 자료가 특정 집단을 적게 포함했다면, 그 자료를 학습한 예측 체계도 같은 집단을 제대로 이해하지 못할 수 있다. 자료가 많다는 사실은 자료의 사각지대가 사라졌다는 뜻이 아니다.
Foell의 주장은 모든 통계를 불신하라는 의미가 아니다. 오히려 통계를 더 정확하게 이해하라는 요구다. 측정된 값은 무엇을 포함하는지뿐 아니라 무엇을 제외하는지를 함께 말해준다. 좋은 연구자는 자료를 많이 가진 사람이 아니라, 자신의 자료가 어디까지 말할 수 있는지를 아는 사람이다.
? 핵심 요약
1️⃣ 과학은 현실 전체가 아니라 접근하고 관찰하며 측정할 수 있는 대상만을 자료로 다룬다.
2️⃣ 연구 참여를 꺼리는 사람과 제도에 접촉하지 않는 사람은 표본에서 사라지며, 남은 극단적 사례가 전체 집단을 대표하는 것처럼 보일 수 있다.
3️⃣ 실험 장치와 연구 환경은 참가자의 행동을 바꿀 수 있으므로, 실험실에서 측정된 현상을 일상적 현실에 그대로 일반화해서는 안 된다.
4️⃣ 생존 편향은 살아남거나 발견되거나 기록된 사례만 보고 사라진 실패 사례를 무시할 때 발생하며, 결론을 정반대로 뒤집을 수 있다.
? 비교·확장
Foell의 논의는 통계학에서 말하는 선택 편향과 직접 연결된다. 선택 편향은 연구 표본에 포함될 가능성이 연구하려는 특성과 관련되어 있을 때 발생한다. 예를 들어 정신적 고통이 심한 사람일수록 연구 참여를 거부한다면, 연구 결과는 실제보다 문제의 정도를 낮게 보여줄 수 있다. 반대로 치료기관의 환자만 조사하면 증상이 심한 사람의 비율이 실제보다 높게 나타날 수 있다.
Robert Merton이 설명한 누적적 이점의 원리와도 연결할 수 있다. 이미 잘 알려지고 자료가 풍부한 주제는 더 많은 연구비와 관심을 받으며, 다시 더 많은 자료를 생산한다. 반대로 연구하기 어렵고 자료가 부족한 주제는 계속 주변에 머문다. 과학 지식의 분포는 연구 대상의 중요성만이 아니라 기존 자료와 제도의 접근성에 의해 형성된다.
Michel Foucault의 관점에서는 측정과 분류가 단순한 발견이 아니라 권력의 작동 방식이기도 하다. 국가는 인구를 조사하고 질병과 범죄, 노동과 성적 행동을 분류하면서 사회를 관리한다. 그러나 분류되지 않는 경험은 제도적으로 존재하지 않는 것처럼 취급될 수 있다. 측정은 현실을 가시화하지만, 동시에 측정 범위 밖의 사람을 보이지 않게 만든다.
Nassim Nicholas Taleb이 강조한 생존 편향 역시 이 장과 밀접하다. 성공한 투자자와 기업, 전쟁에서 살아남은 사람의 이야기만 분석하면 실패한 다수의 경험은 사라진다. 성공자의 전략이 실제 성공 원인인지 판단하려면 동일한 전략을 사용했지만 실패한 사례까지 포함해야 한다. 보이는 결과만 설명하는 서사는 쉽게 과도한 자신감으로 이어진다.
현대 인공지능의 자료 편향도 같은 구조를 가진다. 얼굴 인식 체계가 특정 피부색이나 연령의 자료를 적게 학습했다면 해당 집단에서 오류가 증가할 수 있다. 채용 자료가 과거의 특정 성별과 계층을 중심으로 만들어졌다면 자동화된 평가도 그 편향을 반복할 수 있다. 기술은 주어진 자료를 정교하게 분석하지만, 자료에 없는 현실까지 자동으로 보완하지는 않는다.
고고학에서는 보존 편향이라는 개념이 중요하다. 오래 남는 돌과 금속은 쉽게 발견되지만 나무와 섬유, 음식과 일상적 행동의 흔적은 사라지기 쉽다. 따라서 고대 사회의 유물은 권력자와 전쟁, 종교적 건축을 과도하게 보여주고 평범한 사람의 일상을 충분히 남기지 못할 수 있다. 발견된 과거는 실제 과거의 일부이며, 보존 조건을 통과한 과거다.
? 연결 독서 제안
✔️ Abraham Wald, A Method of Estimating Plane Vulnerability Based on Damage of Survivors
✔️ Nassim Nicholas Taleb, The Black Swan
✔️ Michel Foucault, The Birth of the Clinic
✔️ Cathy O'Neil, Weapons of Math Destruction
? 사유를 여는 질문
❓ 현재 우리가 충분히 연구하지 못하는 현상은 실제로 드물기 때문인가, 아니면 당사자가 자료에 나타나기 어려운 조건에 놓여 있기 때문인가?
❓ 실험실에서 정확하게 측정된 결과가 일상적인 현실을 대표한다고 판단하려면 어떤 추가 검증이 필요한가?
❓ 정책과 과학이 측정 가능한 사람만을 중심으로 설계된다면, 자료에 포함되지 않은 사람의 경험은 어떻게 보호할 수 있는가?
? Chapter 4. We Do Not Question Our Methods | 우리는 자신의 방법을 의심하지 않는다
✅ 장 개요
이 장은 과학적 사실을 판단할 때 사용되는 방법과 측정 도구가 얼마나 쉽게 절대적인 권위를 얻게 되는지를 분석한다. 우리는 흔히 인간의 기억이나 목격자 진술은 주관적이고 불안정하지만, DNA 분석이나 지문 감식, 거짓말탐지기와 같은 과학적 방법은 객관적이고 신뢰할 수 있다고 생각한다. 그러나 Jens Foell은 어떤 방법도 오류 가능성에서 완전히 자유롭지 않으며, 객관적으로 보이는 기술일수록 오히려 그 전제와 절차를 의심하지 않는 위험이 커질 수 있다고 지적한다.
이 장의 중심 사례는 독일과 주변 국가의 여러 범죄 현장에서 동일한 여성의 DNA가 반복해서 발견되면서 시작된 이른바 유령 수사다. 경찰은 이 DNA의 주인이 수십 건의 절도와 강도, 살인 사건을 저지른 정체불명의 여성 범죄자라고 판단했다. 그러나 범죄의 유형과 장소, 수법은 지나치게 제각각이었고, 일부 목격자 진술은 DNA가 가리키는 방향과 일치하지 않았다. 그럼에도 수사기관은 DNA 분석이 객관적인 증거라는 이유로 방법 자체를 의심하지 않았다.
결국 문제의 DNA는 범죄자의 것이 아니라 현장에서 증거를 채취할 때 사용한 면봉을 제조한 공장 노동자의 것이었던 것으로 드러났다. 면봉이 DNA가 완전히 제거된 상태로 생산되지 않았고, 제조 과정에서 묻은 유전물질이 여러 범죄 현장의 증거처럼 검출된 것이다. 수사기관은 오랫동안 존재하지 않는 범죄자를 추적했으며, 실제 범죄의 구조와 중요한 목격자 진술을 제대로 조사하지 못했다.
Foell은 이 사례를 거짓말탐지기와 지문 감식으로 확장한다. 거짓말탐지기는 거짓말 자체가 아니라 심리적 긴장에 따른 신체 반응을 측정한다. 지문은 개인마다 고유하다고 알려져 있지만, 실제 수사에서는 불완전한 흔적을 전문가가 해석하고 비교해야 한다. 이 과정에는 인간의 판단과 기대, 기존의 혐의가 개입한다. 따라서 과학적 방법의 신뢰도는 기술의 이름이나 이미지가 아니라, 표본 채취와 보관, 분석과 해석, 반복 검증의 전 과정에 의해 결정된다.
이 장에서 Foell이 제시하는 핵심 교훈은 명확하다. 어떤 방법이 과거에 정확한 결과를 냈거나 일반적으로 신뢰받는다는 이유만으로 개별 사건에서도 자동으로 옳다고 판단해서는 안 된다. 모든 증거는 서로 다른 신뢰도를 가진 하나의 벽돌에 불과하며, 진실에 가까운 설명은 여러 독립적인 방법으로 얻은 증거가 서로 지지할 때 만들어진다.
? 상세 설명
Foell은 2007년 독일 하일브론에서 경찰관 Michèle Kiesewetter가 총격으로 사망한 사건에서 이야기를 시작한다. 그녀는 동료 경찰관과 함께 휴식하던 중 뒤에서 총격을 받았다. Kiesewetter는 사망했고, 함께 있던 경찰관은 중상을 입었지만 공격 당시의 상황을 기억하지 못했다. 목격자도 없었기 때문에 수사기관은 범죄 현장에서 물리적 증거를 찾는 데 집중했다.
이 사건은 나중에 국가사회주의 지하 조직에 속한 극우 테러리스트들의 범행으로 밝혀졌다. 이 조직은 이미 독일 여러 도시에서 인종차별적인 동기로 이민자들을 살해하고 폭탄 공격과 강도 사건을 일으켰다. 그러나 당시 경찰과 정보기관은 범인을 극우 테러 조직에서 찾기보다 피해자들의 주변 관계와 이민자 공동체에 초점을 맞추었다. 조사위원회는 이후 이러한 수사 실패에 구조적인 인종차별적 편견과 여러 기관의 심각한 실수가 작용했다고 평가했다.
경찰은 일부 사건에서 백인 독일인을 범인으로 지목하는 목격자 진술을 확보하고도 충분히 조사하지 않았다. 수사기관이 이미 피해자의 가족과 지인을 중심으로 범인을 찾고 있었기 때문에, 기존 방향과 맞지 않는 증언은 중요하게 받아들여지지 않았다. 이 사례는 객관적 증거가 부족할 때 인간의 편견이 수사를 잘못된 방향으로 이끌 수 있음을 보여준다.
그러나 하일브론 사건에서 수사기관이 발견한 DNA는 상황을 완전히 다른 방향으로 바꾸었다. 범죄 현장에서 채취한 유전물질은 오랫동안 경찰이 추적해온 정체불명의 여성의 DNA와 일치했다. 동일한 DNA는 독일뿐 아니라 오스트리아와 프랑스에서 일어난 수십 건의 범죄에서도 발견된 상태였다. 수사기관은 이 여성을 신원 미상의 여성이라는 약칭으로 부르기도 했고, 언론은 어디에서나 흔적을 남기지만 모습을 드러내지 않는다는 의미에서 그녀를 유령이라고 불렀다.
유령의 DNA가 발견된 범죄들은 서로 일관성이 없었다. 절도와 강도, 살인과 살인미수가 뒤섞여 있었고, 범행 장소도 매우 넓게 퍼져 있었다. 어떤 범죄는 즉흥적으로 보였지만 다른 범죄는 치밀하게 계획된 것처럼 보였다. 범인의 행동을 하나의 성격과 동기로 설명하기 어려웠다. 수사관들은 범인이 매우 기동성이 뛰어나고 다양한 범죄 집단과 연결되어 있을 가능성을 추측했다.
이러한 혼란은 오히려 범인을 신비롭고 위험한 존재로 만들었다. 증거가 서로 맞지 않을수록 수사기관은 DNA 분석을 의심하기보다 범인이 예측할 수 없을 정도로 복잡한 인물이라고 해석했다. 방법의 오류 가능성보다 대상의 특이성을 가정한 것이다. 객관적인 과학 증거라는 인식이 강할수록, 그 증거와 모순되는 현실은 분석의 문제보다 범죄자의 비정상성으로 설명되었다.
✒️ 핵심 발췌
? “다른 것들은 전혀 이해가 되지 않았다. 어떤 범죄는 명백히 즉흥적인 행동이었지만, 어떤 범죄들은 마치 계획된 작업처럼 수행됐기 때문이다. ‘그들은 고도로 조직적이지만 다소 엉성한 경우도 있었습니다’라고 당시 수사관 중 한 명이 밝혔다.”
✍️ “동일한 범인이 저질렀다고 보기에는 범행의 장소와 수법, 동기가 지나치게 달랐다. 그러나 수사기관은 DNA 분석의 오류 가능성을 의심하기보다 범인이 매우 복잡하고 예측하기 어려운 인물이라고 해석했다.”
➡️ 증거가 기존 설명과 맞지 않을 때는 두 가지 가능성을 검토해야 한다. 대상이 예외적으로 복잡할 수도 있지만, 증거를 생산한 방법이 잘못되었을 수도 있다. 이 사건에서 수사기관은 첫 번째 가능성에 지나치게 집착했다.
유령의 DNA가 여성의 유전적 특징을 나타낸다는 사실도 수사를 혼란스럽게 만들었다. 일부 범죄에서는 목격자들이 남성을 보았다고 진술했지만, 수사기관은 유전적 성별과 외형적 성별이 반드시 일치하지 않는 예외적 경우까지 고려하며 DNA 결과를 유지하려 했다. 물론 생물학적 성과 외형적 특성이 단순하게 일치하지 않는 경우는 실제로 존재한다. 그러나 여기에서는 가능한 모든 예외를 동원해 기존 증거를 보호하는 방식으로 논리가 사용되었다.
과학적 지식은 보통 단순한 고정관념을 교정하는 데 도움을 준다. 하지만 어떤 결론을 지키기 위해 매우 드문 가능성을 계속 추가한다면, 과학적 지식은 반증을 피하기 위한 장치가 될 수 있다. 유령의 존재를 의심하는 대신 범인이 특이한 유전적 특성과 비정상적으로 넓은 활동 범위를 가졌을 것이라고 가정하면, 어떤 모순도 기존 설명을 무너뜨리지 못한다.
결정적인 변화는 유령의 DNA가 논리적으로 존재할 수 없는 상황에서 다시 발견되면서 일어났다. 한 남성의 불에 탄 시신을 확인하는 과정에서 오래전 보관된 자료를 분석했는데, 그 자료에서도 유령의 DNA가 나왔다. 그러나 동일한 표본을 다시 검사했을 때는 그 DNA가 검출되지 않았다. 같은 방법을 반복했는데 결과가 달라진 것이다.
과학에서는 동일한 현상을 동일한 절차로 다시 조사하는 것을 재현이라고 한다. 재현 결과가 처음과 다르다면 연구 대상이 변했을 가능성뿐 아니라 실험 재료와 절차, 분석 방식에 문제가 있었는지를 검토해야 한다. 이 사건에서는 DNA를 채취하고 보관하는 면봉이 오염되었을 가능성이 제기되었다.
조사 결과, 문제의 유전물질은 면봉 제조 과정에서 묻은 것으로 밝혀졌다. 면봉을 만든 공장의 여성 노동자가 제품을 만지는 과정에서 자신의 DNA를 남겼고, 그 면봉이 여러 지역의 범죄 현장에서 사용되면서 동일한 DNA가 반복해서 검출된 것이다. 경찰이 추적하던 유령은 존재하지 않았다. 서로 아무 관련이 없는 범죄들을 연결한 것은 범죄자가 아니라 오염된 수사 도구였다.
✒️ 핵심 발췌
? “유령의 DNA가 실제로 면봉이나 조직 샘플을 채취하고 보관하는 데 사용된 재료를 제조한 회사의 직원에게서 나왔을 가능성이 있다는 의심이 즉시 제기됐다. 이 제조사는 재빨리 자신들의 입장을 변명했다. 면봉은 DNA 분석을 위해 설계되지 않았기 때문에 DNA가 없는 상태로 공급될 수 없다는 것이다.”
✍️ “경찰은 면봉이 증거를 채취하는 중립적인 도구라고 생각했지만, 실제로는 제조 과정에서 다른 사람의 DNA가 묻어 있었다. 분석 장비의 결과는 정확했을지 몰라도, 분석한 표본 자체가 범죄 현장의 증거가 아니었다.”
➡️ 측정 결과의 정확성과 측정 대상의 타당성은 서로 다른 문제다. 장비가 표본 속 DNA를 정확히 검출했더라도, 그 DNA가 범죄자에게서 나온 것인지 확인하지 않으면 올바른 사실에 도달할 수 없다.
이 사건에서 가장 중요한 실패는 단순한 면봉 오염이 아니었다. 오염 가능성은 이미 이전부터 제기되어 있었다. 한 법의학자는 여러 사건에서 사용된 검사 재료가 같은 회사의 제품인지 확인해야 한다고 권고했다. 그러나 수사기관은 자신들이 정기적으로 오염 여부를 검사하고 있다는 이유로 이러한 비판을 받아들이지 않았다.
당국이 사용한 방법은 빈 면봉이나 물만을 분석하는 대조 검사를 통해 오염을 확인하는 것이었다. 이러한 검사는 원칙적으로 적절한 방법이다. 만약 범죄 현장의 시료가 없는 상태에서도 특정 DNA가 발견된다면, 재료나 실험실이 오염되었다는 사실을 알 수 있기 때문이다. 그러나 실제로는 검사가 충분히 이루어지지 않았거나, 여러 기관에서 일관되게 시행되지 않았을 가능성이 높다.
형식상 검증 절차가 존재했다는 사실이 실질적으로 방법이 검증되었다는 것을 의미하지는 않는다. 기관은 검사 지침을 가지고 있다는 이유로 비판을 일축했지만, 그 지침이 실제 현장에서 얼마나 자주, 정확하게 적용되었는지는 별개의 문제였다. 절차의 존재가 절차의 실행을 대신한 셈이다.
Foell이 강조하는 핵심은 과학적 방법을 사용한다는 사실과 그 방법을 올바르게 적용한다는 사실을 구별해야 한다는 점이다. DNA 분석은 강력한 도구지만, 시료 채취와 보관, 운송, 분석, 결과 해석의 모든 단계가 신뢰할 수 있어야 한다. 어느 한 단계에서 오염이 발생하면 정교한 장비는 오히려 잘못된 자료를 매우 정확하게 분석한다.
✒️ 핵심 발췌
? “재검사를 했을 때, 유령의 유전물질 흔적이 사라진 것을 확인할 수 있었다. 학계에서는 이러한 재검사를 ‘재현’이라고 하는데, 동일한 방법을 사용해 동일한 현상을 조사하는 것을 의미한다. 이로 인해 다른 결과가 나왔다는 것은, 사용된 재료에 문제가 있을 수 있다는 ‘합리적인 의심’을 불러일으켰다.”
✍️ “동일한 표본을 다시 검사했는데 같은 DNA가 나오지 않자, 범죄자의 특성보다 검사 재료와 절차를 의심할 근거가 생겼다. 반복 검증은 방법의 오류를 드러내는 핵심적인 장치였다.”
➡️ 재현은 연구 결과를 단순히 한 번 더 확인하는 과정이 아니다. 기존의 결론이 우연이나 오염, 분석자의 기대에 의존하지 않았는지를 검증하는 과학적 자기비판의 절차다.
유령 수사의 실패에는 증거의 위계에 대한 고정관념도 작용했다. 수사기관은 DNA 분석을 가장 객관적이고 강한 증거로 보았고, 목격자 진술과 현장 수사관의 의문은 주관적이고 불완전한 정보로 평가했다. 일반적으로 DNA 분석은 한순간의 목격자 기억보다 높은 신뢰도를 가질 수 있다. 그러나 그것이 모든 사건에서 자동으로 더 정확하다는 뜻은 아니다.
국가사회주의 지하 조직의 범죄에서는 한 목격자가 영상 속 인물을 보고 범인이라고 지목한 적이 있었다. 이 진술은 실제 범죄 해결에 중요한 단서가 될 수 있었지만 충분한 후속 조사가 이루어지지 않았다. 반대로 오염된 DNA는 객관적 증거라는 이유로 수년 동안 막대한 수사력을 움직였다. 주관적인 목격자가 옳았고 객관적인 분석이 틀린 상황이 발생한 것이다.
이는 증거의 종류에 따라 고정된 서열을 부여해서는 안 된다는 교훈을 준다. DNA는 보통 신뢰할 만하지만 오염될 수 있고, 목격자 진술은 왜곡될 수 있지만 정확할 수도 있다. 중요한 것은 증거의 이름이 아니라 각 증거가 어떤 조건에서 만들어졌으며 다른 자료와 얼마나 일치하는지를 평가하는 것이다.
이 장의 두 번째 주요 사례는 거짓말탐지기다. 거짓말탐지기는 흔히 사람이 거짓말을 할 때 나타나는 생리적 변화를 기록하는 장치로 소개된다. 피부에 전극을 부착하고 땀 분비에 따라 달라지는 피부 전도도, 심박수, 호흡과 같은 반응을 측정한다. 사람이 긴장하거나 흥분하면 이러한 수치가 변하기 때문에, 질문에 대한 신체 반응을 이용해 거짓말 여부를 추정하려는 것이다.
그러나 거짓말탐지기가 실제로 측정하는 것은 거짓말이 아니라 긴장과 흥분이다. 무고한 사람도 수사와 검사를 받는 상황에서 극도로 긴장할 수 있으며, 거짓말에 익숙한 사람은 비교적 차분한 반응을 보일 수 있다. 특정 질문이 개인에게 불쾌한 기억을 떠올리게 해 신체 반응을 일으킬 수도 있다. 따라서 높은 반응이 나타났다는 사실만으로 그 사람이 거짓말을 했다고 단정할 수 없다.
✒️ 핵심 발췌
? “이 거짓말탐지기의 원리는 간단하다. 잘 작동한다면, 어떤 사람이 살인을 숨기거나 수사관들을 잘못된 길로 유도하려고 할 때 겪는 심리적 흥분도 감지할 수 있어야 한다. 이는 이론적으로는 가능하지만, 실제로는 그 신뢰도가 매우 낮다.”
✍️ “거짓말탐지기는 거짓말이라는 정신 상태를 직접 읽는 것이 아니라 긴장에 따른 신체 반응을 기록한다. 거짓말과 긴장은 관련될 수 있지만, 두 현상이 언제나 같은 것은 아니다.”
➡️ 측정하려는 개념과 실제 측정된 신호를 혼동하면 과학적 장비가 잘못된 확신을 만들어낸다. 장비의 숫자가 정확해도 그 숫자가 거짓말을 의미한다는 해석은 틀릴 수 있다.
거짓말탐지기의 또 다른 문제는 결과를 의도적으로 조작할 수 있다는 것이다. 참가자가 검사 과정에서 특정한 생각을 하거나, 몸에 작은 긴장을 주거나, 질문에 대한 반응을 조절하면 기준 반응을 바꿀 수 있다. Foell이 소개한 연구에서는 장비를 직접 다뤄본 경험이 없는 사람도 짧은 교육과 연습을 받은 뒤 검사 결과에 영향을 줄 수 있었다.
검사가 조작될 수 있다는 것은 그 방법이 범죄 수사에서 특히 위험하다는 뜻이다. 실제 범죄자는 검사에 대비하는 방법을 배울 수 있지만, 무고한 사람은 장비가 진실을 밝혀줄 것이라고 믿고 아무런 준비 없이 참여할 수 있다. 오히려 정직한 사람이 더 긴장하고, 거짓말에 능숙한 사람이 침착하게 반응하는 역설이 생길 수 있다.
이 때문에 거짓말탐지기의 결과는 많은 법정에서 결정적인 증거로 인정되지 않는다. 그러나 대중문화와 수사물에서는 장치가 사람의 마음을 읽는 것처럼 묘사된다. 기술의 시각적 권위가 실제 과학적 신뢰도보다 훨씬 강하게 전달되는 것이다.
지문 감식 역시 완전한 확실성의 상징처럼 여겨진다. 스마트폰과 컴퓨터의 지문 인식 장치가 일상적으로 사용되면서 사람들은 지문이 개인을 확실하게 식별한다고 생각한다. 하지만 범죄 현장에서 얻은 지문은 선명하고 완전한 형태가 아닐 수 있다. 일부만 남거나 번지고 겹쳐 있으며, 표면 상태와 채취 방식에 따라 크게 달라진다.
수사관은 불완전한 지문의 특징을 골라 용의자의 지문과 비교한다. 이때 무엇을 같은 특징으로 볼지, 어느 정도 일치해야 동일 인물의 지문이라고 판단할지는 전문가의 해석을 포함한다. 이미 특정 용의자가 의심받고 있다는 정보를 알고 있다면, 분석자는 모호한 특징을 일치하는 방향으로 해석할 가능성이 있다.
Foell은 2004년 Madrid 열차 폭탄 테러 이후 발생한 지문 오판 사례를 소개한다. 폭탄 제조 재료가 든 가방에서 발견된 지문이 미국의 한 변호사의 지문과 일치한다는 결론이 내려졌다. 여러 전문가가 동일성을 확인했고, 그는 테러 용의자로 구금되어 조사를 받았다. 그가 이슬람교로 개종했다는 사실도 혐의를 강화하는 배경으로 작용했다.
그러나 그는 오랫동안 북미를 떠난 적이 없었으며 사건과 연결될 직접적인 근거도 없었다. 이후 현장의 지문은 다른 사람의 것으로 밝혀졌다. 처음에 선택된 몇 가지 지문 특징이 우연히 변호사의 지문과 비슷했고, 그의 종교적 배경과 기존 혐의가 분석 결과에 확신을 더한 것이었다.
✒️ 핵심 발췌
? “FBI를 포함한 여러 전문가들은 가방에서 발견된 지문이 변호사의 그것과 100퍼센트 동일하다고 확인했다. 하지만 그는 10년 넘게 북미를 떠난 적이 없으며, 결국 그 지문이 또 다른 사람과 일치한다는 사실이 밝혀졌다. 실수가 발생한 이유는 지문을 평가하고 비교하는 데 사용되는 특성이 여러 사람과 일치할 수 있다는 사실 때문이었다.”
✍️ “여러 전문가가 완전한 일치라고 판단했지만 실제 지문은 다른 사람의 것이었다. 불완전한 지문을 비교하는 과정에서 우연한 유사성과 기존의 의심이 결합해 잘못된 확신이 만들어졌다.”
➡️ 전문가의 합의가 언제나 독립적인 검증을 의미하지는 않는다. 여러 분석자가 동일한 전제와 자료, 의심을 공유하면 같은 방향으로 오류를 반복할 수 있다.
이 사례는 전문가가 의도적으로 거짓 결론을 내렸다는 뜻이 아니다. 분석자들은 자신이 과학적으로 판단하고 있다고 믿었을 가능성이 높다. 문제는 증거를 해석하는 과정에서 용의자에 대한 배경 정보와 기대가 완전히 제거되지 않았다는 점이다. 과학적 분석도 사람이 수행하는 한 인지적 편향에 노출된다.
이를 줄이기 위해서는 지문이나 DNA를 분석하는 전문가가 사건의 불필요한 배경 정보를 알지 못하게 하는 방법이 필요하다. 분석자가 어떤 결과를 수사기관이 기대하는지 모른다면 모호한 자료를 특정 방향으로 해석할 위험이 줄어든다. 또한 하나의 전문가 집단만이 아니라 독립적인 기관에서 같은 자료를 다시 분석해야 한다.
Foell은 DNA 분석, 목격자 진술, 지문, 거짓말탐지기, 감시 카메라 영상, 자백과 같은 증거를 건물을 짓는 벽돌에 비유한다. 각각의 벽돌은 강도와 형태가 다르며, 하나만으로 완성된 건물을 만들 수 없다. 어떤 벽돌은 일반적으로 매우 튼튼하지만 특정 상황에서는 금이 가 있을 수 있고, 평소 약해 보이는 벽돌도 다른 증거와 결합하면 중요한 구조를 지탱할 수 있다.
✒️ 핵심 발췌
? “결국 우리는 증언이나 DNA 분석, 심리 프로파일, 지문, 범행 현장의 깨진 유리창, 자백 편지, 흐릿한 감시 카메라 영상을 포함한 모든 것들이 하나의 ‘집’을 짓기 위한 벽돌과 같다는 점을 깨달을 필요가 있다. 게다가 모든 벽돌의 강도가 똑같지 않듯이, 각 단서들도 저마다 그 신뢰성이 다를 수 있다.”
✍️ “각 증거는 사건의 전체 진실이 아니라 하나의 부분적 단서다. 증거마다 신뢰도가 다르므로 여러 독립적인 자료가 서로 지지하는지를 확인해야 한다.”
➡️ 좋은 판단은 가장 과학적으로 보이는 하나의 증거를 선택하는 일이 아니다. 서로 다른 방법에서 얻은 증거를 결합하고, 각 방법의 오류 가능성을 따로 평가하는 과정이다.
이 장은 방법을 의심한다는 것이 과학을 불신하는 태도가 아님을 분명히 한다. 과학적 방법을 의심한다는 말은 그 방법이 항상 틀렸다고 주장하는 것이 아니다. 어떤 조건에서 정확하고, 어떤 조건에서 실패하며, 오염이나 조작, 편향을 어떻게 확인할 수 있는지를 검토하는 일이다.
방법의 신뢰도는 고정된 속성이 아니다. 실험실에서 잘 통제된 환경에서는 높은 정확성을 보인 기술도 실제 범죄 현장에서는 다른 결과를 낼 수 있다. 표본이 오염되고 기록이 불완전하며, 수사관과 분석자가 특정 결론을 기대하는 환경에서는 오류 가능성이 커진다.
또한 익숙하고 비용이 적게 들며 오랫동안 사용된 방법일수록 포기하기 어렵다. 조직은 기존 절차에 인력과 예산, 전문성을 투자해왔기 때문에 방법의 실패를 인정하면 자신의 권위와 과거 결정을 함께 의심해야 한다. 이러한 제도적 부담은 과학적 자기수정을 방해한다.
✒️ 핵심 발췌
? “우리는 어떤 측정이든 오류가 있을 수 있으며, 모든 데이터는 고유한 신뢰도 수준을 가지고 있음을 인식해야 한다. 만약 어떤 방법이 신뢰할 수 없다고 밝혀지면, 우리는 그 방법을 사용하는 것을 중단해야 한다. 특히 그 방법이 가장 간단하거나 비용이 적게 들거나 혹은 과거에 효과가 있었던 것처럼 느껴지는 경우라면, 이러한 중단 결정이 더욱 어려울 수 있다.”
✍️ “모든 측정과 자료에는 고유한 오류 가능성이 있다. 익숙하고 편리한 방법이라도 신뢰할 수 없다는 증거가 나타나면 사용을 멈추거나 수정해야 한다.”
➡️ 방법에 대한 충성은 과학적 태도가 아니다. 과학의 신뢰는 특정한 기술을 끝까지 방어하는 데서 나오지 않고, 오류가 드러났을 때 방법을 수정하거나 폐기할 수 있는 능력에서 나온다.
Foell이 제안하는 가장 좋은 대응은 서로 독립적인 여러 방법을 통해 증거를 확보하는 것이다. DNA가 특정 인물을 가리킨다면 지문과 이동 기록, 목격자 진술, 범행 동기와 일치하는지 살펴야 한다. 같은 실험 결과가 나왔다면 다른 연구진이 다른 장비와 표본을 이용해 재현할 수 있는지 확인해야 한다.
독립성은 단순히 같은 검사를 여러 번 반복하는 것과 다르다. 동일한 오염된 면봉을 여러 기관에서 분석하면 모두 같은 잘못된 DNA를 발견할 수 있다. 같은 전제를 공유하는 전문가들이 같은 자료를 검토하면 같은 오류에 도달할 수 있다. 서로 다른 오류 구조를 가진 방법들이 같은 결론을 지지해야 신뢰도가 높아진다.
이 장에서 저자가 말하는 방법에 대한 의심은 자기파괴적인 회의가 아니다. 모든 증거가 틀릴 수 있으므로 아무것도 믿을 수 없다는 결론도 아니다. 오히려 증거마다 다른 신뢰도를 부여하고, 결과가 만들어진 과정을 추적하며, 반대되는 자료를 적극적으로 검토하는 정교한 판단 방식이다.
✨ 해설과 통찰
이 장의 철학적 핵심은 객관성이 도구의 속성이 아니라 절차의 성과라는 데 있다. DNA 분석기나 지문 자료, 통계 프로그램은 인간의 주관성과 무관한 기계처럼 보인다. 그러나 어떤 표본을 채취하고 어떤 기준으로 비교하며 어떤 결과를 중요하게 해석할지는 사람이 결정한다. 객관성은 기계를 사용하는 순간 자동으로 주어지는 것이 아니라, 오류 가능성을 공개하고 독립적인 검증을 허용할 때 만들어진다.
Karl Popper의 비판적 합리주의와 비교하면, 이 장은 과학적 방법 자체도 반박의 대상이 되어야 한다는 점을 보여준다. 과학자는 가설만 시험하는 것이 아니라 그 가설을 시험하는 측정 도구와 절차도 함께 검증해야 한다. 방법이 틀렸다면 그 방법으로 얻은 수많은 자료가 일관되게 같은 오류를 반복할 수 있다.
Thomas Kuhn의 관점에서는 수사기관이 DNA 분석이라는 강력한 정상적 방법에 지나치게 의존한 사례로 이해할 수 있다. 지배적인 방법이 높은 성공을 거두면, 모순되는 결과는 방법의 실패가 아니라 예외적 대상이나 분석자의 실수로 처리되기 쉽다. 유령 수사에서 범죄 패턴이 일치하지 않는다는 사실은 방법을 바꾸는 계기가 아니라 더 복잡한 범죄자 모형을 만드는 재료가 되었다.
심리학적으로는 확증편향과 권위 편향이 함께 작동한다. 수사기관은 DNA 분석이 범죄자를 가리킨다고 믿은 뒤 그 결론과 일치하는 자료를 적극적으로 찾았고, 모순되는 목격자 진술과 검사 재료에 대한 비판은 과소평가했다. 과학적 기술의 권위는 기존 결론을 더욱 강하게 만들었다.
법철학적으로 이 장은 증거의 확실성이 어떻게 사법적 권력으로 바뀌는지를 보여준다. 과학적 증거는 배심원과 판사에게 강한 설득력을 갖기 때문에 작은 오류도 심각한 결과를 낳는다. 전문가가 100퍼센트 일치라고 말하면 비전문가는 그 판단의 조건과 한계를 검토하기 어렵다. 따라서 과학적 증거일수록 더 엄격한 검증과 설명 책임이 필요하다.
정치적 차원에서는 방법의 오류가 제도적 편견과 결합할 때 나타나는 위험을 볼 수 있다. 독일의 극우 테러 수사에서 경찰은 피해자 주변의 이민자 공동체에 의심을 집중하고, 극우 범죄 가능성과 일부 목격자 진술을 충분히 조사하지 않았다. 과학적 방법의 오류만 수정한다고 해서 이러한 구조적 편견이 자동으로 사라지는 것은 아니다. 기술적 검증과 제도적 자기비판이 함께 이루어져야 한다.
현대 사회의 자동화된 의사결정에도 같은 통찰이 적용된다. 인공지능이 대출이나 채용, 범죄 위험을 예측하면 사람들은 기계의 결과를 인간 판단보다 객관적이라고 생각할 수 있다. 그러나 학습 자료가 편향되었거나 측정 대상이 잘못 정의되었다면, 알고리즘은 잘못된 전제를 매우 일관되고 빠르게 반복한다. 오염된 면봉을 정교한 장비로 분석한 것과 유사하다.
이 장의 가장 중요한 윤리적 교훈은 자신이 신뢰하는 방법일수록 더 의심해야 한다는 것이다. 우리가 불신하는 증거의 약점은 쉽게 찾지만, 익숙하고 권위 있는 방법의 한계는 잘 보지 못한다. 진정한 비판적 사고는 상대방의 도구를 공격하는 능력이 아니라 자신의 결론을 지탱하는 도구를 검증하는 능력에서 시작된다.
? 핵심 요약
1️⃣ DNA와 지문, 거짓말탐지기처럼 객관적으로 보이는 방법도 표본 오염과 잘못된 전제, 분석자의 기대 때문에 오류를 낳을 수 있다.
2️⃣ 독일의 유령 수사는 오염된 면봉의 DNA를 범죄자의 흔적으로 해석하면서 서로 관련 없는 수십 건의 사건을 잘못 연결한 사례다.
3️⃣ 거짓말탐지기는 거짓말 자체가 아니라 긴장과 흥분을 측정하며, 지문 감식도 불완전한 흔적을 전문가가 해석하는 과정에서 오류가 발생할 수 있다.
4️⃣ 모든 증거는 서로 다른 신뢰도를 가진 하나의 벽돌이므로, 진실에 가까운 판단을 위해서는 독립적인 여러 방법과 증거가 서로 일치하는지를 확인해야 한다.
? 비교·확장
Foell의 논의는 Francis Bacon이 경고한 마음의 우상과 연결된다. 인간은 자신이 이미 받아들인 관점에 맞게 새로운 자료를 해석하고, 권위 있는 체계와 익숙한 방법을 실제보다 더 신뢰한다. 유령 수사에서 DNA 분석은 단순한 도구를 넘어 수사기관의 판단을 지배하는 권위가 되었다.
Robert Merton이 제시한 조직화된 회의주의도 이 장과 밀접하다. 과학 공동체는 모든 주장과 방법을 지위와 권위에 관계없이 검토해야 한다. 그러나 실제 조직에서는 오래 사용해온 방법과 전문가 집단의 권위가 비판을 어렵게 만든다. 조직화된 회의주의는 새로운 주장뿐 아니라 기존 제도와 절차에도 적용되어야 한다.
Daniel Kahneman의 인지 이론으로 보면, 과학적 이미지와 숫자는 사고를 빠르게 멈추게 하는 신뢰의 신호로 작동할 수 있다. DNA가 일치한다거나 전문가가 100퍼센트 동일하다고 판단했다는 말은 복잡한 검증 과정을 생략하고 즉각적인 확신을 만든다. 느리고 분석적인 사고는 표본의 출처와 오염 가능성, 대안적 설명을 따져야 하지만 실제 판단에서는 종종 생략된다.
Bruno Latour의 과학기술사회학은 측정 결과가 장비 하나에서 나오는 것이 아니라 사람과 기계, 표본과 기록, 기관과 규칙이 연결된 전체 체계에서 생산된다고 본다. 유령 DNA 역시 분석 기계만의 결과가 아니었다. 면봉 제조 노동자, 공급업체, 경찰의 채취 방식, 실험실 절차, 수사기관의 판단이 결합해 하나의 사실처럼 만들어졌다.
현대 법과학에서는 분석자에게 사건의 배경 정보를 제한하는 절차가 중요하게 논의된다. 지문 분석자가 용의자의 인종이나 종교, 수사기관의 기대를 알지 못하게 하면 모호한 흔적을 특정 방향으로 해석할 가능성을 줄일 수 있다. 이는 인간의 편향을 완전히 제거하는 것이 아니라 편향이 개입할 통로를 줄이는 제도적 설계다.
의학에서도 방법에 대한 자기비판은 필수적이다. 검사 결과가 양성이라고 해서 환자가 반드시 질병을 가진 것은 아니며, 검사 자체의 오류율과 질병의 실제 발생률을 함께 고려해야 한다. 정확도가 높은 검사도 매우 드문 질병에 적용하면 거짓 양성이 많이 나올 수 있다. 측정 결과의 의미는 방법의 정확성뿐 아니라 적용되는 상황에 따라 달라진다.
언론 보도에서도 전문가와 과학적 장비의 권위가 과도한 확신을 만들 수 있다. 연구 결과가 통계적으로 유의하다는 말이나 뇌 영상에서 특정 부위가 활성화되었다는 표현은 복잡한 한계를 가릴 수 있다. 독자는 결과의 시각적 강도보다 표본과 방법, 반복 검증 여부를 살펴야 한다.
? 연결 독서 제안
✔️ Francis Bacon, Novum Organum
✔️ Karl Popper, Conjectures and Refutations
✔️ Daniel Kahneman, Thinking, Fast and Slow
✔️ Cathy O'Neil, Weapons of Math Destruction
? 사유를 여는 질문
❓ 내가 가장 신뢰하는 측정 방법이나 전문가의 판단에는 어떤 오류 가능성과 보이지 않는 전제가 포함되어 있는가?
❓ 과학적 증거와 목격자 진술이 충돌할 때, 증거의 종류가 아니라 신뢰도를 평가하려면 어떤 절차가 필요한가?
❓ 하나의 방법이 오랫동안 성공적으로 사용되었다는 사실은 그 방법을 계속 신뢰할 충분한 근거가 될 수 있는가?
? Chapter 5. We Like Assumptions That Cannot Be Refuted | 우리는 반박할 수 없는 가정을 좋아한다
✅ 장 개요
이 장은 과학적 사실을 만들어가는 두 번째 단계인 가설 검증의 출발점을 다룬다. Jens Foell은 우리가 어떤 현상을 설명할 때 그 설명이 얼마나 그럴듯한지를 묻기 전에, 무엇이 나타나면 그 설명을 포기할 것인지를 먼저 물어야 한다고 주장한다. 어떤 증거가 제시되어도 계속 유지될 수 있는 주장은 강력한 이론처럼 보일 수 있지만, 실제로는 진실과 거짓을 구별할 방법을 제공하지 못한다.
저자는 냉장고 속 요거트가 상했는지를 판단하는 일상적인 사례에서 시작한다. 요거트가 상했다는 가정은 냄새와 맛, 색깔을 확인함으로써 검증할 수 있다. 요거트가 신선한 냄새와 맛을 가지고 있다면 처음의 가정을 폐기할 수 있기 때문이다. 이처럼 과학적 가설은 단지 확인할 수 있어야 하는 것이 아니라, 어떤 결과가 나오면 틀렸다고 판단할 수 있어야 한다.
반대로 우리가 살아가는 세계 전체가 거대한 가상현실이거나, 모든 사건을 비밀 세력이 조종하고 있다는 주장은 반박하기 어렵다. 반대 증거가 나타나더라도 그것마저 가상현실의 운영자나 비밀 세력이 조작한 것이라고 설명할 수 있기 때문이다. 이러한 주장은 모든 현상을 설명하는 것처럼 보이지만, 실제로는 어떤 결과도 구별하지 못한다. 설명이 언제나 옳을 수 있다면, 그 설명이 옳다는 사실을 확인할 방법도 없다.
Foell은 영화 〈매트릭스〉와 〈트루먼 쇼〉, 수조 속의 뇌라는 철학적 사고실험, 자신의 삶이 조작된 방송이라고 믿는 트루먼 증후군, 정치적 음모론을 차례로 살펴본다. 이 사례들의 공통점은 반대 증거까지 기존 믿음 안으로 흡수한다는 데 있다. 주장과 모순되는 사건이 나타나도 그것은 주장을 약화하는 자료가 아니라 조작의 규모가 더 크다는 증거로 재해석된다.
장 후반부에서 저자는 반박 가능한 가설의 모범적인 사례로 Albert Einstein의 일반 상대성 이론에서 도출된 예측을 제시한다. 거대한 이론은 그 자체의 위엄으로 과학이 되는 것이 아니다. 관찰 가능한 결과를 구체적으로 예측하고, 그 결과가 나타나지 않을 경우 이론에 문제가 있음을 인정할 수 있어야 한다. 일식 때 관찰되는 별빛의 위치에 관한 예측은 추상적인 중력 이론을 실제 관찰과 연결했다.
이 장의 핵심은 모든 생각을 의심하라는 데 있지 않다. Foell은 설명이 진지한 검토의 대상이 되기 위해서는 자신이 틀릴 가능성을 허용해야 한다고 말한다. 반박 가능성은 과학 이론의 약점이 아니라, 현실과 접촉하게 만드는 조건이다. 어떤 주장에 반대할 방법이 전혀 없다면 그것은 반드시 거짓이라고 말할 수는 없지만, 사실인지 아닌지를 과학적으로 판단할 수도 없다.
? 상세 설명
Foell은 냉장고 속 요거트를 예로 들며 측정과 가설의 차이를 설명한다. 냉장고에서 요거트를 꺼내 먹었을 때 이상한 맛이 난다는 것은 관찰이나 측정에 해당한다. 반면 의자에 앉아 냉장고 안의 요거트가 너무 오래되어 상했을 것이라고 생각하는 것은 가설이다. 가설은 아직 직접 확인되지 않은 상태에서 현상을 예상하거나 설명하는 문장이다.
요거트가 상했다는 가설을 검토하는 방법은 어렵지 않다. 용기를 열어 색을 확인하고, 냄새를 맡고, 조심스럽게 맛을 볼 수 있다. 신선한 요거트와 크게 다른 냄새나 맛이 난다면 상했다는 가설을 지지하는 근거가 된다. 반대로 냄새와 색, 맛이 모두 정상적이라면 처음의 가설은 약해지거나 폐기되어야 한다.
여기서 중요한 것은 가설을 확인할 수 있는 자료만 찾는 것이 아니다. 요거트가 상했다는 생각을 버리게 할 조건도 미리 생각해야 한다. 어떤 결과가 나와도 상했다고 계속 주장한다면 검사는 의미가 없어진다. 맛이 이상하면 상했다는 증거이고, 맛이 정상이라면 상한 사실을 감추는 특이한 변화가 일어났다고 주장할 수 있다면, 가설은 현실의 어떤 결과에도 영향을 받지 않는다.
✒️ 핵심 발췌
? “이 가설의 특징은 검증 가능성이다. 측정 결과가 어떻게 나오든 가설에 대한 의미를 제공해야 하는 것이 바람직하다. 만약 맛이나 냄새, 색깔이 신선한 요거트라고 생각되는 것과 거리가 멀다면, 요거트가 상했다고 판단할 것이다.”
✍️ “요거트가 상했다는 생각은 실제 상태를 확인할 수 있기 때문에 가설이 된다. 관찰 결과는 그 생각을 지지할 수도 있고, 반대로 포기하게 할 수도 있어야 한다.”
➡️ 과학적 가설은 자신에게 유리한 결과만 받아들이는 문장이 아니다. 현실에서 나온 결과가 가설의 신뢰도를 높이거나 낮출 수 있어야 하며, 틀렸을 가능성을 실제로 열어두어야 한다.
저자가 강조하는 반박 가능성은 모든 가설이 단 한 번의 실험으로 완전히 폐기되어야 한다는 단순한 원칙은 아니다. 측정 자체에 오류가 있을 수 있고, 검사 조건이 충분하지 않을 수도 있다. 요거트가 정상적인 냄새를 낸다고 해서 반드시 완벽하게 신선하다고 단정할 수는 없다. 그러나 적어도 어떤 관찰이 처음의 가정을 약화하는지는 말할 수 있어야 한다.
가설을 세울 때는 두 가지 방향을 함께 고려해야 한다. 무엇이 나타나면 가설이 옳다고 볼 것인지와 무엇이 나타나면 가설이 틀렸다고 볼 것인지를 정해야 한다. 확인을 위한 조건만 있고 폐기를 위한 조건이 없다면, 우리는 연구를 하는 것이 아니라 자신이 이미 믿고 있는 생각을 반복하게 된다.
Foell은 이 원리를 철학에서 자주 등장하는 수조 속의 뇌라는 사고실험에 적용한다. 이 사고실험에서는 인간의 몸과 분리된 뇌가 영양액 속에 떠 있으며, 거대한 컴퓨터가 뇌에 전기 신호를 보내 현실과 구별할 수 없는 세계를 경험하게 한다고 가정한다. 우리가 보고 듣고 만지는 모든 경험이 뇌 안에서 전기 신호로 처리된다는 사실을 생각하면, 이 상상은 처음부터 완전히 무의미한 것처럼 보이지 않는다.
그러나 실제로 이러한 체계를 구현하려면 상상보다 훨씬 복잡한 기술이 필요하다. 뇌의 수많은 신경 연결에 적절한 신호를 전달하고, 뇌에서 나오는 반응을 다시 읽어야 한다. 그럼에도 사고실험의 핵심은 기술적으로 실현할 수 있는지를 따지는 데 있지 않다. 우리가 경험하는 모든 현실이 외부에서 조작된 신호라면, 그 사실을 현실 안에서 어떻게 알아낼 수 있는지를 묻는 데 있다.
✒️ 핵심 발췌
? “철학적 논증의 예로 ‘수조 속의 뇌’라는 개념이 있다. 이 사고실험에서는 몸이 없는 뇌가 영양액에 떠 있는 모습을 상상하고, 컴퓨터가 이 뇌를 위해 가상의 세계를 시뮬레이션한다고 가정한다. 우리의 감각이 전기신호를 통해 뇌에서 처리된다는 점을 생각하면, 이 아이디어는 얼핏 보기에 완전히 터무니없지는 않다.”
✍️ “우리가 경험하는 현실 전체가 외부의 컴퓨터가 만들어낸 신호일 수 있다는 가정은 논리적으로 상상할 수 있다. 문제는 그 가정을 현실 속에서 확인하거나 반박할 방법을 찾기 어렵다는 데 있다.”
➡️ 가능한 생각과 검증 가능한 가설은 같지 않다. 논리적으로 모순이 없고 흥미로운 상상이라도, 어떤 관찰이 그것을 지지하거나 무너뜨릴 수 있는지 제시하지 못한다면 과학적 판단의 대상이 되기 어렵다.
영화 〈매트릭스〉는 수조 속의 뇌라는 사고실험을 대중적인 서사로 바꾸었다. 영화 속 인간들은 거대한 기계 체계에 연결되어 있으며, 실제 세계가 아니라 컴퓨터가 만든 가상현실을 살아간다. 주인공은 자신이 경험하는 세계의 이상한 흔적을 발견하지만, 체계 밖에서 개입한 사람들의 도움이 있기 전까지는 현실의 거짓을 완전히 파악하지 못한다.
〈트루먼 쇼〉에서도 주인공 Truman Burbank는 태어날 때부터 거대한 촬영장 안에서 살아간다. 주변 사람들은 배우이고, 날씨와 시간, 사건은 중앙 통제실에서 만들어진다. 트루먼에게는 그 세계가 유일한 현실이므로 일상의 이상한 사건도 현실 안의 우연으로 설명된다. 하늘에서 조명이 떨어져도 비행기의 부품이 추락한 것이라고 안내되고, 외부로 나가려 할 때는 사고와 공포가 만들어진다.
두 영화에서 가상 세계는 그 안에서 발생하는 모든 이상 현상을 스스로 설명할 수 있도록 설계되어 있다. 오류가 나타나도 그것은 세계가 거짓이라는 결정적 증거가 되지 않는다. 운영자가 새로운 설명을 만들어내면 되기 때문이다. 현실 전체가 조작되었다는 가정은 어떤 반대 자료가 나와도 유지될 수 있다.
✒️ 핵심 발췌
? “두 영화 세계가 공통적으로 던지는 질문은, 만약 우리가 경험하는 실재가 하나의 환상일 뿐이라면 그것을 어떻게 인식할 수 있느냐는 것이다. 두 경우 모두, 시스템에 맞서 싸우는 외부 사람들이 존재하고 이들은 주인공이 환상에서 벗어날 수 있도록 도움을 준다. 그 이전에는 아무리 기이한 일이 일어나더라도 모두 무시됐다.”
✍️ “자신이 살아가는 세계 전체가 조작되었다면, 세계 안에서 일어나는 이상한 사건도 조작의 일부로 설명될 수 있다. 외부의 기준이 없다면 무엇이 현실이고 무엇이 조작인지 판별하기 어렵다.”
➡️ 반박할 수 없는 설명은 모든 현상을 흡수한다. 설명과 맞지 않는 자료까지 설명의 일부로 바꾸기 때문에, 현실은 더 이상 그 주장을 시험하는 역할을 하지 못한다.
Foell은 우리가 사는 세계가 완벽한 환상이라는 가정을 과학적으로 반박할 수 없다고 설명한다. 어떤 사람이 세계가 가상현실이라고 주장할 때 주변의 사물을 만져보거나 다른 사람과 경험을 비교하는 것으로는 충분하지 않다. 그러한 감각과 사람들 역시 가상현실이 만들어낸 것이라고 주장할 수 있기 때문이다.
이처럼 반박하기 어려운 주장은 처음에는 매우 강력하게 느껴진다. 상대방이 어떤 증거를 가져와도 설명할 수 있으므로 논쟁에서 패배하지 않는다. 그러나 과학적으로는 바로 그 점이 치명적인 약점이다. 어떤 결과도 주장을 바꾸지 못한다면, 그 주장은 현실을 설명한 것이 아니라 현실로부터 자신을 보호한 것이다.
반박할 수 없는 가정이 반드시 논리적으로 거짓인 것은 아니다. 우리가 실제로 가상현실 속에서 살고 있을 가능성을 순수 논리만으로 완전히 제거할 수 없을지도 모른다. 그러나 그 가능성이 있다는 말과 그것을 믿을 충분한 증거가 있다는 말은 다르다. 검증할 방법이 없는 가능성을 현실적 판단의 근거로 삼을 이유는 없다.
저자는 이러한 비현실감이 철학적 상상에만 머물지 않고 실제 정신적 고통으로 나타날 수 있음을 설명한다. 어떤 사람은 주변 사물과 세계가 진짜처럼 느껴지지 않는 경험을 한다. 나무와 거리, 사람을 보면서도 그것들이 현실이 아니라는 강한 감각에 사로잡힐 수 있다. 이러한 경험은 정신질환의 증상으로 나타날 수 있으며, 극심한 스트레스나 감정적 충격, 약물 사용 이후에도 발생할 수 있다.
영화와 대중문화는 사람들이 자신의 낯선 경험을 해석하는 언어를 제공하기도 한다. 과거에는 설명하기 어려웠던 비현실감이 〈트루먼 쇼〉 이후에는 자신의 삶이 누군가에 의해 촬영되고 주변 사람들이 모두 연기하고 있다는 형태로 표현될 수 있다. 저자는 실제로 이러한 믿음을 보이는 사례가 늘어나면서 트루먼 증후군이라는 표현까지 등장했다고 소개한다.
한 우체부는 주변 사람들이 연기하고 있으며 자신의 삶 전체가 인위적으로 구성되었다는 감각에 사로잡혔다. 또 다른 사람은 2001년 9월 11일의 테러조차 자신의 이동을 막기 위해 연출된 사건이라고 믿고, 실제 건물이 존재하는지 확인하려고 뉴욕까지 찾아갔다. 그에게 사건의 공식 기록과 수많은 목격 자료를 보여주더라도, 그것들은 거대한 방송을 유지하기 위한 조작이라고 해석될 수 있었다.
✒️ 핵심 발췌
? “그는 세계 무역 센터의 타워가 아직 남아 있는지 확인하기 위해 다른 주에서 뉴욕으로 여행을 왔다. 그는 〈트루먼 쇼〉에서 원자로 사고를 조작해 트루먼이 떠나는 것을 막았듯이 2001년 9월 11일에 발생한 테러가 〈트루먼 쇼〉와 같은 조작이자 음모일 뿐이라고 믿었다. 그전에는 별다른 특징이 없는 것처럼 보이던 이 남자는 정신과 직원 앞에 서자, ‘책임자’와 이야기하고 싶다고 떼를 쓰기 시작했다.”
✍️ “이 남자는 세계적 사건마저 자신의 삶을 통제하기 위해 연출된 장면이라고 해석했다. 반대 증거는 믿음을 약화하지 않고, 오히려 조작이 얼마나 광범위한지를 보여주는 자료가 되었다.”
➡️ 반박할 수 없는 믿음은 개인의 모든 경험을 하나의 설명 안에 가둔다. 외부의 증거가 들어올 통로가 사라지면 현실과 믿음의 차이를 수정하기가 극도로 어려워진다.
Foell은 이러한 구조가 음모론에서도 반복된다고 말한다. 음모론은 흔히 소수의 강력한 집단이 정치와 언론, 경제, 교육을 뒤에서 조종한다고 주장한다. 이 설명은 복잡하고 서로 관련 없어 보이는 사건을 하나의 원인으로 묶어주기 때문에 매력적으로 느껴진다. 우연과 제도적 실패, 이해관계의 충돌, 사람들의 실수를 모두 비밀 집단의 계획으로 바꿀 수 있다.
문제는 음모의 증거가 없다는 사실조차 음모의 능력을 보여주는 증거로 해석된다는 데 있다. 문서가 발견되지 않으면 비밀 집단이 흔적을 완벽히 지웠다고 말하고, 여러 기관이 주장을 부정하면 그 기관들까지 음모에 참여했다고 주장한다. 내부 고발자가 나타나지 않으면 조직의 통제가 강력하다는 뜻이 되고, 반대하는 연구가 나오면 연구자 역시 매수되었다고 해석된다.
이러한 설명은 어떤 사건에도 적용할 수 있다. 경제 위기가 발생하면 비밀 집단의 계획이고, 경제가 안정되면 자신들의 존재를 숨기기 위한 전략이라고 말할 수 있다. 특정 정치인이 당선되어도 그들의 조종이고, 낙선해도 더 큰 계획의 일부다. 주장에 불리한 결과가 존재하지 않으므로, 현실에서 무엇이 일어나는지는 더 이상 중요하지 않다.
✒️ 핵심 발췌
? “반박할 수 없는 가정은 처음엔 매우 강력하게 느껴진다. 반박을 할 수가 없으니 그렇지 않겠는가! 우리는 반박할 수 없는 가정을 좋아한다. 앞의 예가 음모론을 이야기하는 것처럼 느껴진다고? 그렇다. 많은 음모론이 실제로 반증할 수 없는 주장들이다.”
✍️ “어떤 반론에도 무너지지 않는 주장은 매우 강한 설명처럼 보인다. 그러나 음모론이 반박되지 않는 이유는 증거가 충분해서가 아니라, 반대 증거까지 자신의 논리 안에 흡수하도록 구성되어 있기 때문이다.”
➡️ 논쟁에서 이길 수 없는 주장과 사실에 가까운 주장은 다르다. 반박할 수 없다는 특징은 진실의 강도가 아니라 검증 기준의 부재를 나타낼 수 있다.
저자는 독일의 정치 현실에서 사용된 표현을 통해 반박 불가능한 주장이 실제 정치 권력으로 이어질 수 있음을 보여준다. 작고 강력한 정치적 독점 세력이 국가의 운명을 뒤에서 조종하며, 국민의 선택을 무시하고 정치와 교육, 정보통신을 지배한다는 서사는 단순한 가상의 예가 아니었다. 독일의 극우 정당이 의회에 진출할 당시 내세운 정치적 문구에서 이러한 구조를 확인할 수 있었다.
이 주장은 구체적인 집단과 행동, 검증 가능한 인과관계를 분명하게 제시하지 않는다. 누가 비밀 통치자인지, 어떤 방식으로 국가를 조종하는지, 어떤 결과가 나타나면 주장이 틀린 것인지 명확하지 않다. 그 대신 사회에서 일어나는 여러 불만과 위기를 하나의 보이지 않는 세력에 연결한다.
정치적으로 이러한 서사는 강력하다. 복잡한 제도와 역사적 원인을 공부하지 않아도 문제의 원인을 설명해주고, 분노를 향하게 할 대상을 제공하기 때문이다. 또한 자신의 정치적 실패나 예측 오류를 인정할 필요도 없다. 선거에서 패배하면 비밀 세력이 개입한 것이고, 정책이 효과를 내지 못하면 기존 권력의 방해 때문이라고 설명할 수 있다.
✒️ 핵심 발췌
? “나는 모든 문제를 그들의 탓으로 돌릴 수 있다. 그리고 내가 이 소수 집단이 국가권력과 정치, 교육 그리고 정보통신을 쥐고 흔들며 온 나라에 막대한 영향력을 미치고 있다고 주장한다면, 나는 이 주장을 이용해 나와 반대되는 모든 것들에 맞설 수 있다. 모든 정치적 경제적 격변이나 스캔들도 이 그림자 그룹이 배경에서 조종하고 있다는 설명으로 맞바꿀 수 있는 것이다.”
✍️ “보이지 않는 집단이 모든 영역을 지배한다는 주장은 어떤 사회적 사건도 자신에게 유리하게 해석할 수 있다. 반대 자료와 정치적 실패까지 비밀 세력의 영향력으로 돌리면 주장은 현실의 검증을 받지 않는다.”
➡️ 반박할 수 없는 정치적 서사는 책임을 분산시키고 구체적인 원인 분석을 막는다. 사회문제를 해결하기보다 모든 문제를 하나의 적에게 귀속시키는 동원 수단으로 작동할 수 있다.
Foell은 반박할 수 없는 주장이 심리적으로 매력적인 이유를 직접 길게 이론화하기보다, 그것이 제공하는 구조를 사례를 통해 보여준다. 이러한 주장은 세계를 단순하게 만든다. 우연히 발생한 사건과 서로 모순되는 정보, 설명되지 않는 실패를 하나의 큰 계획으로 연결한다. 복잡한 현실에서 원인을 알 수 없다는 불안을 견디는 대신, 보이지 않는 의도를 상정함으로써 확실한 설명을 얻는다.
또한 반박할 수 없는 주장은 믿는 사람의 정체성을 보호한다. 자신의 판단이 틀렸다는 증거가 나타나도 믿음을 수정할 필요가 없다. 오히려 자신만이 조작의 실체를 알아보았으며, 다른 사람들은 속고 있다는 확신을 가질 수 있다. 반대자가 많아질수록 자신의 통찰이 특별하다는 감각이 강화될 수도 있다.
그러나 이러한 확실성의 대가는 크다. 새로운 사실이 믿음을 수정할 수 없기 때문에 학습이 중단된다. 현실의 여러 원인을 구별하지 못하며, 실제로 책임져야 할 사람과 제도를 정확히 찾기 어려워진다. 모든 것이 하나의 음모로 설명되면 어떤 구체적인 조사도 불필요해진다.
이 지점에서 저자는 반박 가능한 가설의 힘을 강조한다. 과학적 가설은 모든 것을 설명하려 하지 않는다. 오히려 특정한 조건에서 어떤 결과가 나타날지를 제한적으로 예측한다. 이 예측이 현실과 맞지 않으면 가설은 수정되거나 폐기될 수 있다. 바로 이러한 취약성 때문에 가설은 현실로부터 배울 수 있다.
반박 가능한 가설의 모범 사례로 Foell은 Einstein의 일반 상대성 이론을 제시한다. Newton의 중력 이론은 오랫동안 행성과 물체의 운동을 매우 정확하게 설명했다. Einstein은 중력을 물체 사이에서 직접 작용하는 힘으로만 보지 않고, 질량에 의해 공간과 시간이 휘어지는 현상으로 새롭게 설명했다.
이러한 이론은 매우 추상적으로 들릴 수 있다. 휘어진 공간이라는 개념을 이해하기 어렵고, 단순한 상상이나 수학적 모형처럼 느껴질 수도 있다. 그러나 일반 상대성 이론이 과학적 힘을 가진 이유는 익숙하지 않은 개념을 사용했기 때문이 아니라, 관찰할 수 있는 구체적인 결과를 예측했기 때문이다.
빛은 질량이 큰 천체 주변의 휘어진 공간을 따라 이동해야 한다. 따라서 태양처럼 질량이 큰 천체 근처를 지나는 별빛은 평소와 다른 위치에서 오는 것처럼 관찰되어야 한다. 평소에는 태양의 밝기 때문에 그 주변의 별을 보기 어렵지만, 일식으로 태양빛이 가려지는 순간에는 별의 위치를 관찰할 수 있다.
이 예측은 명확한 위험을 포함했다. 일식 때 관찰된 별의 위치가 이론이 예상한 만큼 달라지지 않는다면 일반 상대성 이론은 심각한 문제에 부딪힌다. Einstein의 명성이나 이론의 아름다움은 결과를 대신할 수 없다. 현실의 관찰이 이론을 지지할 수도 있고 반박할 수도 있어야 했다.
✒️ 핵심 발췌
? “순수하게 과학적인 관점에서 보면, 반박할 수 없는 가설은 전혀 흥미롭지 않다. 반면, 반박할 수 있는 가설은 하늘과 지구를 움직일 수 있는 강력한 도구가 될 수 있다. 아인슈타인의 아이디어를 예로 들어보자. 더 정확히 말하면, 그의 일반 상대성 이론에서 직접적으로 도출할 수 있는 가설을 말하는 것이다.”
✍️ “과학적 이론의 힘은 모든 반론을 피하는 데 있지 않다. 이론에서 구체적인 예측을 도출하고, 현실의 관찰이 그 예측을 틀렸다고 판정할 수 있게 하는 데 있다.”
➡️ 반박 가능성은 이론을 약하게 만드는 조건이 아니라 지식으로 발전시키는 조건이다. 현실과 충돌할 위험을 감수하는 설명만이 관찰을 통해 더 신뢰받거나 폐기될 수 있다.
Foell은 이론과 가설도 구별한다. 이론은 다양한 현상을 연결하고 설명하는 큰 틀이다. 그 자체를 한 번의 실험으로 직접 시험하기보다, 이론으로부터 관찰 가능한 여러 가설을 도출해 검증한다. 일반 상대성 이론에서 일식 때 별빛의 위치가 달라질 것이라는 예측을 만들어내는 것이 그 예다.
일상적인 가설은 거대한 이론 없이도 만들어질 수 있다. 헐거워 보이는 옷장 손잡이를 잡으면 떨어질 것이라는 생각도 가설이다. 손잡이를 잡았을 때 실제로 떨어지는지 확인할 수 있고, 떨어지지 않는다면 처음의 예측이 틀렸다고 판단할 수 있다. 과학적 사고는 거대한 연구실과 복잡한 수학에서만 이루어지는 것이 아니다.
중요한 것은 주장의 규모가 아니라 검증 구조다. 우주에 관한 이론도 구체적인 결과를 예측하지 못하면 과학적으로 평가하기 어렵고, 일상적인 작은 생각도 반박 가능한 형태로 만들면 시험할 수 있다. 과학은 특별한 주제를 다루는 지식이라기보다 주장과 현실을 연결하는 방식이다.
저자는 마음을 읽는다고 주장하는 무대 마술사의 사례도 검증 가능한 가설을 만드는 방법으로 사용한다. 마술사가 관객의 전화번호를 정확히 맞힌다면 여러 설명이 가능하다. 실제로 마음을 읽었을 수도 있고, 공연 전에 정보를 조사했을 수도 있으며, 대화와 반응을 이용하는 기술을 사용했을 수도 있다. 한 번의 성공만으로는 어떤 설명이 옳은지 알 수 없다.
마술사가 진짜로 마음을 읽는다는 큰 주장을 직접 검증하기보다, 그 주장으로부터 더 구체적인 가설을 만들 수 있다. 전화번호뿐 아니라 사전에 알기 어려운 신용카드 번호도 맞힐 수 있는지 시험하는 것이다. 전화번호만 맞히고 신용카드 번호는 맞히지 못한다면, 초능력보다 사전 정보 수집과 같은 다른 설명이 더 타당해질 수 있다.
✒️ 핵심 발췌
? “엄밀히 말해서, 이론 자체는 검증될 수 없고 이로부터 도출된 가설만 검증될 수 있을 뿐이다. 가설은 여러 가지 방식으로 생겨난다. 굳이 거대한 이론을 생각할 필요도 없이 그저 한 번의 관찰에서 나올 수도 있다.”
✍️ “큰 이론은 관찰 가능한 작은 예측을 통해 현실과 연결된다. 가설은 거대한 학문적 체계에서 나올 수도 있고, 일상에서 발견한 작은 의문에서 시작될 수도 있다.”
➡️ 중요한 것은 이론의 규모나 권위가 아니라, 실제로 어떤 결과를 예상하며 그 결과가 나오지 않을 때 무엇을 수정할지를 명확히 하는 것이다.
여기서 Foell은 하나의 현상에 대해 여러 경쟁 설명을 만드는 과정이 필요하다고 말한다. 어떤 결과가 나타났을 때 자신이 선호하는 설명 하나만 떠올리면, 그 설명을 지지하는 자료만 보게 되기 쉽다. 마음을 읽었다는 설명 외에도 사전 조사, 우연, 속임수, 기술적 장치, 관객의 무의식적 정보 제공 같은 가능성을 함께 고려해야 한다.
그다음 각 설명에서 서로 다른 가설을 도출해야 한다. 마술사가 사전 조사를 했다면 공연 전에 공개된 정보를 더 잘 맞힐 것이다. 관객의 표정과 반응을 이용한다면 아무런 반응을 볼 수 없는 조건에서는 정확도가 낮아질 것이다. 실제로 마음을 읽는다면 사전에 알려지지 않은 정보도 일관되게 맞힐 수 있어야 한다.
가설은 단순히 맞았는지 틀렸는지를 표시하는 문장에 그치지 않는다. 가설이 틀렸을 때 어떤 설명이 약해지고 어떤 설명이 상대적으로 강해지는지도 미리 생각해야 한다. 전화번호는 맞혔지만 신용카드 번호는 맞히지 못했다는 결과가 초능력의 완전한 부재를 증명하지는 않을 수 있다. 그러나 적어도 무제한적인 마음 읽기라는 설명은 약화하고, 전화번호를 미리 알아냈다는 설명은 강해진다.
✒️ 핵심 발췌
? “중요한 건, 이 모든 가설이 명확하게 반증 가능하도록 만들어져야 한다는 것이다. 또한, 가설이 틀렸을 경우 그것이 무엇을 의미하는지 미리 고려해야 한다는 것이다. 만약 전화번호는 맞혔는데 신용카드 번호는 못 맞힌다면 마술사의 능력이 전화번호 맞히기에만 한정됨을 의미할 수도 있다.”
✍️ “가설을 시험하기 전에는 어떤 결과가 가설을 약화할지 정해야 한다. 결과가 나온 뒤에 기준을 바꾸면 모든 실패를 새로운 설명으로 구제할 수 있기 때문이다.”
➡️ 사전 기준은 결과에 맞추어 이야기를 바꾸는 일을 막는다. 과학적 검증은 결과를 본 뒤 그럴듯한 설명을 붙이는 것이 아니라, 먼저 예측하고 현실이 그 예측을 평가하도록 하는 과정이다.
Foell은 이러한 과학적 방법을 여러 단계로 정리한다. 먼저 관찰 가능한 자료가 무엇인지 명확히 파악한다. 다음으로 그 자료를 설명할 수 있는 여러 가능성을 만든다. 여기에는 특별한 원인뿐 아니라 우연과 오류, 측정의 문제도 포함되어야 한다.
그다음 각 설명에서 반박 가능한 가설을 도출한다. 가설은 가능한 한 구체적이어야 하며, 어떤 조건에서 어떤 결과가 나타날지를 밝혀야 한다. 마지막으로 실험이나 관찰을 통해 결과를 확인하고, 각 설명의 신뢰도를 조정한다.
이 과정은 시간이 많이 걸리고 명쾌한 결론을 주지 못할 때도 많다. 어떤 실험은 여러 설명을 동시에 지지할 수 있고, 측정 결과가 불분명할 수도 있다. 가설이 틀렸다고 해서 큰 이론 전체가 즉시 폐기되는 것도 아니다. 실험 조건이나 보조 가정에 문제가 있었는지를 다시 검토해야 할 수도 있다.
그러나 이러한 불편함이 과학적 사고의 핵심이다. 반박할 수 없는 주장은 즉각적인 확실성을 제공하지만 학습할 수 없고, 반박 가능한 가설은 불확실성과 실패를 허용하지만 현실에 따라 발전할 수 있다. 과학은 한 번에 완벽한 진실을 얻는 방법이 아니라, 틀릴 수 있는 설명을 차례로 걸러내는 과정이다.
✒️ 핵심 발췌
? “어떤 것이 사실로 제시되고 설명이 제공된다면, 첫 번째 단계는 가능한 데이터를 명확히 파악하는 것이다. 그 다음으로 모든 다른 설명을 만들어낼 수 있는데, 여기에는 우연의 설명도 포함된다. 그러고 나서 이러한 설명 중 하나 이상에 대해 진술할 수 있는 반박 가능한 가설을 만든다.”
✍️ “현상을 설명할 때는 먼저 자료의 범위를 확인하고, 하나가 아닌 여러 가능한 원인을 검토해야 한다. 이후 각 설명이 현실에서 어떤 결과를 예측하는지를 가설로 만들고 시험해야 한다.”
➡️ 과학적 판단은 자신이 좋아하는 설명을 증명하는 과정이 아니다. 경쟁하는 설명들을 같은 현실 앞에 세우고, 어느 설명이 더 많은 검증을 견디는지를 비교하는 과정이다.
이 장의 논리는 음모론이나 초능력 주장에만 적용되지 않는다. 건강 정보, 정치적 주장, 조직의 전략, 개인적 인간관계를 판단할 때도 같은 질문을 사용할 수 있다. 어떤 정책이 경제를 회복시킬 것이라고 주장한다면, 어느 기간에 어떤 지표가 변화해야 하는지와 변화하지 않을 경우 주장을 어떻게 수정할지를 제시해야 한다.
누군가가 나를 싫어하기 때문에 모든 행동을 일부러 방해한다고 믿는 경우도 마찬가지다. 상대가 친절하게 행동해도 위장이라고 해석하고, 무관심하면 적대감의 증거라고 해석한다면 믿음을 반박할 방법이 없다. 어떤 행동이 나타나면 처음의 판단을 바꿀 것인지 스스로 물어야 한다.
조직에서도 실패를 항상 외부 환경이나 구성원의 저항 탓으로 돌리면 전략은 반박 불가능해진다. 성과가 나면 지도자의 능력 덕분이고, 성과가 나지 않으면 방해 세력 때문이라고 설명할 수 있다. 이 경우 전략 자체의 문제를 발견할 기회가 사라진다.
따라서 반박 가능성은 학술 연구의 기술적 규칙을 넘어 책임을 받아들이는 태도다. 자신의 설명이 틀릴 수 있는 조건을 밝힌다는 것은 실패를 외부에 돌리지 않고 판단의 결과를 감수하겠다는 의미다. 반박을 허용하지 않는 주장은 설명을 제공하는 동시에 설명한 사람을 책임으로부터 보호한다.
✨ 해설과 통찰
이 장의 철학적 중심에는 Karl Popper의 반증 가능성 원리가 놓여 있다. Popper는 과학적 이론이 수많은 사례에 의해 완전히 증명될 수 있다고 보기보다, 틀릴 가능성을 견디며 살아남는다고 보았다. 모든 백조가 희다는 주장을 아무리 많은 흰 백조로 확인해도 최종적으로 증명할 수는 없지만, 검은 백조 한 마리는 그 주장을 무너뜨릴 수 있다.
Foell은 이러한 철학적 원리를 일상적인 언어와 사례로 풀어낸다. 상한 요거트와 헐거운 가구 손잡이, 무대 마술사와 영화 속 가상현실은 반증 가능성이 특별한 과학자의 문제만이 아님을 보여준다. 우리는 매일 가설을 세우지만, 자신의 생각을 포기하게 할 조건을 거의 생각하지 않는다.
David Hume의 귀납 문제와도 연결된다. 과거에 어떤 현상이 반복되었다고 해서 미래에도 반드시 같은 방식으로 일어난다고 논리적으로 확정할 수는 없다. 과학적 지식은 절대적 확실성보다 반복된 검증과 반대 사례의 부재에 의존한다. 반증 가능성은 이 불확실성을 숨기지 않고 다루는 방식이다.
심리학적으로 반박 불가능한 믿음은 확증편향과 동기화된 추론을 강화한다. 사람은 자신이 이미 믿는 주장에 맞는 정보는 쉽게 받아들이고, 맞지 않는 정보에는 새로운 이유를 붙여 배제한다. 주장이 개인의 정체성이나 정치적 소속과 결합하면 반대 증거는 단순한 자료가 아니라 자신에 대한 공격처럼 느껴질 수 있다.
음모론의 심리적 매력은 불확실한 세계에 의도와 질서를 제공한다는 데 있다. 경제 위기와 질병, 전쟁과 사회 변화는 수많은 요인이 얽힌 결과이지만, 비밀 집단이라는 설명은 모든 사건을 하나의 이야기로 묶는다. 이러한 설명은 단순하고 정서적으로 만족스럽지만, 실제 원인을 구별하고 해결책을 찾는 능력을 약화시킨다.
정치적으로 반박 불가능한 주장은 권위주의와 결합하기 쉽다. 지도자가 실패하면 내부의 배신자나 외부의 음모 때문이라고 설명하고, 비판 언론은 음모의 일부로 규정할 수 있다. 반대 증거를 제시하는 기관 전체가 적으로 분류되면 권력을 검증할 공적 기준이 사라진다.
그러나 반증 가능성만으로 모든 과학과 비과학을 완벽히 구분할 수 있는 것은 아니다. 복잡한 이론은 여러 보조 가정과 측정 장치에 의존하므로 하나의 예상과 다른 결과가 나왔다고 곧바로 전체 이론을 폐기하기 어렵다. Foell 역시 이론 자체보다 이론에서 도출된 구체적인 가설을 검증한다고 설명한다. 중요한 것은 모든 실패를 무시하지 않고 무엇이 잘못되었는지를 공개적으로 검토하는 태도다.
현대의 온라인 환경에서는 반박 불가능한 주장이 빠르게 확산된다. 짧은 게시물과 영상은 복잡한 설명보다 하나의 숨은 원인을 제시하는 서사를 선호한다. 플랫폼이 콘텐츠를 삭제하면 검열이 음모의 증거가 되고, 삭제하지 않으면 권력자들이 대중을 혼란시키기 위해 허용했다는 설명이 가능하다. 어떤 조치도 믿음을 약화하지 못한다.
인공지능이 만든 잘못된 정보에도 같은 문제가 적용될 수 있다. 생성된 자료가 틀렸다는 지적을 받을 때마다 더 거대한 조작이나 은폐를 상정하면 사실 검증은 불가능해진다. 중요한 것은 출처와 자료, 예측과 반박 조건을 구체화하는 것이다. 주장하는 사람이 누구인지보다 어떤 결과가 주장을 틀렸다고 보여줄 수 있는지를 물어야 한다.
이 장의 윤리적 함의는 지적 겸손이다. 자신이 틀릴 수 있음을 인정한다는 것은 아무 의견도 갖지 않는 태도가 아니다. 오히려 자신의 판단을 현실에 책임 있게 연결하는 태도다. 나는 무엇을 근거로 이 생각을 믿는가, 어떤 자료가 나타나면 생각을 바꿀 것인가, 반대 결과를 어떻게 해석할 것인가를 미리 묻는 사람이 더 강한 판단을 할 수 있다.
? 핵심 요약
1️⃣ 과학적 가설은 관찰로 확인할 수 있을 뿐 아니라, 어떤 결과가 나오면 틀렸다고 판단할 수 있는 반박 가능성을 가져야 한다.
2️⃣ 가상현실과 비밀 세력에 관한 주장은 반대 증거까지 조작의 일부로 설명할 수 있으므로 현실에 의해 검증되기 어렵다.
3️⃣ 음모론은 모든 사건을 하나의 숨은 원인으로 연결해 심리적 확실성을 제공하지만, 구체적인 원인 분석과 학습을 차단한다.
4️⃣ 좋은 이론은 구체적이고 위험한 예측을 만들어내며, Einstein의 일반 상대성 이론에서 도출된 일식 관찰 가설이 그 사례다.
? 비교·확장
Foell의 주장은 Karl Popper의 반증주의와 가장 직접적으로 연결된다. Popper에게 과학적 명제는 이미 확인된 사실을 많이 모은 문장이 아니라, 반대 사례가 나타날 가능성을 허용하는 대담한 추측이다. 과학자는 자신의 이론을 보호하는 사람이 아니라 가장 엄격한 시험에 노출시키는 사람이어야 한다.
Thomas Kuhn의 관점에서는 이 원칙이 실제 과학의 역사에서 더 복잡하게 작동한다고 볼 수 있다. 과학자는 하나의 반대 결과가 나타났다고 즉시 기존 이론을 버리지 않는다. 측정 오류나 실험 조건을 먼저 검토하고, 반례가 누적되어 기존 이론으로 해결할 수 없는 위기가 형성될 때 새로운 패러다임으로 이동한다. 따라서 반증은 단일 사건보다 공동체의 장기적인 판단 과정에 가깝다.
Imre Lakatos는 이를 연구 프로그램이라는 개념으로 보완했다. 과학자는 핵심 이론을 즉시 포기하기보다 주변의 보조 가정을 수정하며 연구를 발전시킨다. 중요한 것은 수정이 새로운 예측과 발견을 낳는지, 아니면 실패를 사후적으로 변명하는 데만 사용되는지다. 음모론은 새로운 위험한 예측을 만들지 않고 모든 실패를 설명으로 흡수한다는 점에서 퇴행적인 구조를 가진다.
Daniel Kahneman의 심리학과 연결하면, 반박 불가능한 주장은 인간이 인과관계를 만들고 일관된 이야기를 선호하는 성향을 만족시킨다. 우연과 불확실성을 받아들이는 일은 인지적으로 불편하지만, 하나의 의도적인 행위자를 상정하면 복잡한 세계가 이해하기 쉬워진다. 사실의 정확성보다 이야기의 응집력이 판단을 지배할 수 있다.
Hannah Arendt의 정치사상은 사실과 거짓의 경계가 무너질 때 나타나는 정치적 위험을 보여준다. 모든 정보가 조작되었다고 믿게 되면 시민은 특정한 거짓만 믿는 것이 아니라, 공통의 현실을 판단할 능력 자체를 잃을 수 있다. 반박 가능한 주장을 요구하는 것은 단순한 과학 규칙이 아니라 민주적 공론장을 유지하는 조건이다.
Robert Merton의 조직화된 회의주의도 연결된다. 과학 공동체는 지위와 권위에 관계없이 모든 주장을 검토해야 한다. 그러나 이 회의주의는 무조건적인 불신이 아니다. 어떤 증거가 주장을 바꿀 수 있는지 명확히 하고, 동일한 기준을 자신과 타인의 주장에 적용하는 제도적 태도다.
일상적인 의사결정에서는 예상과 평가 기준을 미리 기록하는 방법이 도움이 된다. 투자를 결정할 때 어떤 조건이 깨지면 판단을 수정할지 정하고, 정책을 시행할 때 어느 기간에 어떤 지표가 개선되어야 하는지 명시할 수 있다. 결과가 나온 뒤 기준을 바꾸는 일을 줄이면 자신의 판단을 더 정확하게 평가할 수 있다.
? 연결 독서 제안
✔️ Karl Popper, The Logic of Scientific Discovery
✔️ Thomas Kuhn, The Structure of Scientific Revolutions
✔️ Imre Lakatos, The Methodology of Scientific Research Programmes
✔️ Hannah Arendt, Truth and Politics
? 사유를 여는 질문
❓ 내가 강하게 믿는 주장 가운데 어떤 증거가 나타나도 포기하지 않을 주장은 무엇이며, 그것은 사실 판단의 대상이 될 수 있는가?
❓ 반대 증거를 음모나 예외로 해석하는 것과 합리적으로 기존 이론을 보호하는 것의 경계는 어디에 있는가?
❓ 정치와 일상에서 자신의 판단이 틀렸음을 인정하게 할 조건을 미리 정한다면, 우리의 선택은 어떻게 달라질 수 있는가?
? Chapter 6. We Do Not Know Everything with Certainty | 우리는 모든 것을 확실히 알지는 못한다
✅ 장 개요
이 장은 과학적 사실이 언제나 완전한 실험과 결정적인 증거를 통해 확립되는 것은 아니라는 점을 설명한다. 우리는 과학적 판단이라면 실험군과 대조군을 엄격하게 나누고, 모든 조건을 통제한 뒤, 원인과 결과를 분명하게 증명해야 한다고 생각하기 쉽다. 이러한 실험은 실제로 가장 강력한 증거를 제공한다. 그러나 Jens Foell은 인간의 삶과 공중보건, 사회적 의사결정에서는 그러한 실험을 수행할 수 없는 상황이 매우 많다고 지적한다.
저자는 1세 미만의 아이에게 꿀을 먹이지 말라는 권고를 중심 사례로 제시한다. 유아 보툴리누스 중독과 꿀의 관계를 확실하게 증명하려면 일부 아기에게 의도적으로 꿀을 먹이고 다른 아기에게는 먹이지 않은 뒤 질병 발생을 비교해야 할지도 모른다. 그러나 아이에게 치명적인 위험을 의도적으로 노출하는 실험은 윤리적으로 허용될 수 없다. 연구자는 이미 발생한 환자들의 생활환경과 섭취 기록, 꿀과 주변 환경에서 발견된 병원균, 장기간 축적된 사례를 이용해 위험을 추론할 수밖에 없다.
이 자료들은 꿀이 모든 유아 보툴리누스 중독의 원인이라고 증명하지 않는다. 실제로 장기간 관찰한 결과 꿀과 관련되었을 가능성이 있는 사례는 전체의 일부에 불과했다. 병원균은 집 안의 식물이나 정원처럼 다른 환경에서도 발견되었다. 그럼에도 꿀은 병원균이 유아의 몸에 들어갈 수 있는 확인 가능한 경로이며, 꿀을 먹이지 않는 일은 부모가 쉽게 실천할 수 있는 예방법이다. 과학은 100퍼센트의 인과적 확실성을 제공하지 못하지만, 제한된 증거를 토대로 위험을 줄이는 합리적인 권고를 제시할 수 있다.
저자는 이 문제를 19세기 런던의 콜레라 조사로 확장한다. 당시에는 콜레라의 원인과 전파 경로를 현대적인 실험으로 입증할 수 없었다. 연구자는 환자의 거주지와 식수원의 분포를 비교하고, 특정 급수 시설을 이용한 사람들에게 질병이 집중되는지를 살펴보았다. 문제가 된 물 펌프의 손잡이를 제거한 뒤 감염의 변화를 관찰하는 조치는 완전한 통제 실험은 아니었지만, 가설을 현실에서 시험하는 준실험의 역할을 했다.
이 장의 핵심은 불확실성을 이유로 판단을 미루거나 모든 근거를 같은 수준의 의견으로 취급해서는 안 된다는 데 있다. 완벽한 증거가 없더라도 관찰 연구, 자연적으로 형성된 비교 집단, 준실험, 반복되는 사례, 생물학적으로 가능한 설명을 종합하면 더 나은 선택을 할 수 있다. 과학적 정직성은 모든 것을 확실히 안다고 선언하는 태도도 아니고, 아무것도 알 수 없다고 포기하는 태도도 아니다. 무엇을 어느 정도까지 알며, 무엇이 아직 불확실한지를 분명하게 말하면서 현재의 증거에 비례해 행동하는 태도다.
? 상세 설명
Foell은 이 장에 앞서 현실에서는 명확한 가설을 세웠더라도 그것을 완벽하게 시험할 수 없는 경우가 많다고 설명한다. 물리학에서는 정밀한 장비를 사용해 조건을 반복하고 변수를 조절할 수 있지만, 인간의 심리와 행동, 사회적 관계를 다루는 상황에서는 대상에게 원하는 행동을 강요하거나 모든 외부 조건을 통제할 수 없다. 어떤 사람이 거짓말을 하는지, 특정 행동을 왜 했는지, 어떤 환경이 질병을 발생시켰는지를 알아보기 위해 실험실과 같은 조건을 만들기는 어렵다.
그렇다고 자료가 불완전하다는 이유로 판단 자체를 포기할 수는 없다. 인간은 실험을 할 수 없는 상황에서도 치료와 예방, 정책과 일상적 행동을 결정해야 한다. 중요한 것은 불확실성을 숨기지 않은 채 현재 확보할 수 있는 자료를 최대한 체계적으로 검토하는 것이다. 가설을 가능한 한 구체적으로 만들고, 관찰 가능한 결과를 찾으며, 서로 다른 설명을 비교해야 한다.
✒️ 핵심 발췌
? “만약 그 어떤 것도 가능하지 않다면, 주어진 맥락에서 가설을 가능한 철저하게 세우고, 그와 관련된 불확실성이 아무리 크더라도 가지고 있는 데이터를 바탕으로 작업해야 한다. 이는 매우 실망스러울 수 있지만, 불확실성이 명확하게 제시되는 한 여전히 유효한 과학적 절차다. 우리 현실에서는 몇 가지 명확한 관찰만 가능할 뿐, 유효한 실험을 전혀 수행할 수 없는 경우가 더 많기 때문이다.”
✍️ “완벽한 실험을 할 수 없더라도 가설과 자료의 범위를 명확히 하고, 불확실성을 공개한 채 판단해야 한다. 과학은 확실한 상황에서만 작동하는 방법이 아니라 불완전한 증거를 정직하게 다루는 방법이기도 하다.”
➡️ 이 대목은 장 전체의 원칙을 압축한다. 불확실한 자료를 사용하는 것 자체가 비과학적인 것은 아니다. 불확실성을 감추고 제한된 결과를 확정적 사실로 표현할 때 문제가 발생한다.
저자는 생후 몇 개월 된 딸과 함께 아이스크림 가게에 갔던 경험을 이야기한다. 그 가게에는 꿀이 들어간 아이스크림이 있었고, 저자는 딸이 부모의 아이스크림을 빼앗아 먹을 가능성을 생각해 해당 제품을 피하려 했다. 그러자 점원은 아이에게 꿀 알레르기가 있는 것으로 이해했다. 점원의 반응은 친절했지만, 1세 미만의 아이에게 꿀을 주어서는 안 된다는 일반적인 보건 권고가 충분히 알려지지 않았음을 보여주었다.
유아가 꿀을 피해야 하는 이유는 단순한 알레르기 문제가 아니다. 꿀에는 보툴리누스균의 포자가 포함될 수 있다. 성인의 소화기관에서는 이러한 병원균이 대체로 증식하지 못하지만, 장내 환경이 아직 충분히 발달하지 않은 어린아이의 몸에서는 균이 살아남아 독소를 만들 수 있다. 이 독소는 근육과 신경 기능을 방해하며, 심한 경우 호흡에 필요한 근육까지 마비시킬 수 있다.
그러나 꿀과 유아 보툴리누스 중독의 인과관계를 확정적인 실험으로 확인하는 일은 불가능하다. 연구자가 건강한 아기들을 무작위로 나누어 한 집단에는 병원균이 들어 있을 가능성이 있는 꿀을 먹이고, 다른 집단에는 먹이지 않은 뒤 발병률을 비교할 수는 없다. 그러한 실험은 과학적으로 명확한 결과를 줄 수 있을지 모르지만, 아동에게 심각한 위험을 의도적으로 부과한다는 점에서 윤리적으로 받아들일 수 없다.
따라서 연구자들은 이미 질병에 걸린 유아들을 관찰하고 그들이 어떤 환경에 노출되었는지를 조사해야 했다. 환자의 대변에서 보툴리누스균과 독소를 확인하고, 가정에 있던 꿀과 주변 환경에서 동일한 병원균이 발견되는지를 살펴보았다. 이 방식은 연구자가 노출 조건을 직접 배정하지 않으므로 통제 실험보다 인과관계를 확정하기 어렵다. 그러나 위험한 현상을 연구할 때 사용할 수 있는 가장 현실적이고 윤리적인 접근이었다.
✒️ 핵심 발췌
? “나는 종종 주변 사람들에게 1세 미만의 아이에게는 꿀을 주면 안 된다는 사실을 알고 있는지 묻어본다. 이 습관은 아내와 생후 몇 개월 된 딸과 함께 플로리다의 한 유명한 아이스크림 가게에 다녀온 이후로 생겼다. 그 아이스크림에는 꿀이 들어 있었고, 딸아이가 혹시라도 우리에게서 아이스크림을 빼앗아 먹을 수도 있기 때문이라는 게 나의 설명이었다.”
✍️ “저자는 어린 딸이 꿀이 든 아이스크림을 먹을 가능성을 피하려 했다. 일상적인 음식처럼 보이는 꿀도 장내 환경이 충분히 발달하지 않은 유아에게는 드물지만 심각한 위험을 일으킬 수 있기 때문이다.”
➡️ 보건 지침은 위험이 항상 발생한다는 뜻이 아니다. 발생 가능성이 낮더라도 결과가 치명적이고 예방 행동이 간단하다면, 제한된 증거만으로도 주의 권고가 정당화될 수 있다.
초기의 연구에서는 유아 보툴리누스 중독 환자의 생활환경과 식품을 조사하면서 꿀이 가능한 감염원으로 주목되었다. 캘리포니아에서 조사된 벌꿀 제품 일부에서도 병원균이 발견되었다. 이는 꿀을 통해 보툴리누스균 포자가 몸 안으로 들어갈 수 있다는 설명에 생물학적 근거를 제공했다.
하지만 꿀이 유일한 감염원은 아니었다. 질병에 걸린 아이가 꿀을 먹지 않은 사례도 있었고, 어떤 가정에서는 집 안의 식물이나 정원에서도 병원균이 발견되었다. 병원균의 포자는 토양과 먼지 등 여러 환경에 존재할 수 있으므로, 유아가 감염되는 모든 경로를 하나의 식품으로 설명할 수 없었다.
이 사실은 꿀을 피하라는 권고를 무효로 만들지 않는다. 오히려 과학적 권고가 무엇을 의미하는지를 더 정확히 이해하게 한다. 꿀을 먹이지 않으면 모든 유아 보툴리누스 중독을 막을 수 있다는 뜻은 아니지만, 확인된 감염 가능 경로 하나를 제거할 수 있다. 부모가 토양과 공기, 집 안의 모든 미생물을 통제할 수는 없지만, 생후 일정 기간 동안 꿀을 주지 않는 것은 쉽게 실천할 수 있다.
✒️ 핵심 발췌
? “동시에 캘리포니아의 모든 벌꿀 제품의 10분의 1에서 병원균이 발견됐는데, 이는 이전의 소규모 연구에서는 발견되지 않은 수치였다. 따라서 어린이와 성인 모두 꿀을 통해 병원균을 섭취할 수 있다는 명확한 설명이 가능해졌다. 성인의 몸은 이러한 병원균을 효과적으로 죽일 수 있지만, 어린아이들의 경우 병원균이 독소를 생성할 수 있을 만큼 오랫동안 체내에 머무르는 경우가 있는 것이다.”
✍️ “조사된 벌꿀 일부에서 보툴리누스균이 발견되면서 꿀이 병원균의 전달 경로가 될 수 있다는 설명이 가능해졌다. 성인에게는 별다른 문제를 일으키지 않는 균도 유아의 미성숙한 장에서는 독소를 생성할 수 있었다.”
➡️ 이 연구는 모든 꿀이 위험하다거나 꿀을 먹은 모든 아이가 질병에 걸린다는 사실을 보여준 것이 아니다. 꿀이 유아에게 질병을 일으킬 수 있는 현실적인 경로임을 확인한 것이다.
연구자들은 보고된 사례에서 가장 나이가 많은 아이가 생후 8개월이었다는 점을 고려해, 안전을 위한 여유를 두고 1세 미만의 아이에게 꿀을 먹이지 말라는 권고를 제시했다. 이 기준은 정확히 12개월이 되는 순간 생물학적 위험이 완전히 사라진다는 뜻이 아니다. 제한된 사례와 발달 과정에 관한 지식을 토대로 설정된 실용적 경계다.
보건 지침에는 이처럼 불확실성을 관리하기 위한 여유가 포함된다. 실제 위험이 확인된 최대 연령보다 조금 더 넓은 범위를 보호함으로써 개인차와 자료 부족을 고려한다. 과학적 지식이 연속적인 위험을 보여주더라도 정책과 생활 지침은 사람들이 따를 수 있는 명확한 경계를 제시해야 한다.
Foell은 초기 연구를 수행한 Stephen Arnon과 Ted Midura가 수십 년 동안 자료를 계속 관찰했다는 점을 강조한다. 새로운 질병을 한 번 보고한 뒤 결론을 확정한 것이 아니라, 치료와 원인에 관한 추가 사례를 축적하면서 처음의 판단을 업데이트했다. 장기간의 자료에서는 전체 유아 보툴리누스 중독 사례 가운데 꿀 섭취와 관련되었을 가능성이 있는 비율이 약 4퍼센트로 제시되었다.
이 수치는 꿀을 피하라는 권고가 과장되었다는 인상을 줄 수도 있다. 대부분의 사례가 꿀과 무관하다면 굳이 모든 유아에게 꿀을 금지할 필요가 있는지 질문할 수 있다. 그러나 위험의 크기를 판단하려면 비율뿐 아니라 결과의 심각성과 예방 비용도 함께 고려해야 한다. 꿀을 잠시 먹이지 않는 데 따르는 손실은 매우 작지만, 보툴리누스 중독은 드물더라도 생명을 위협할 수 있다.
✒️ 핵심 발췌
? “그러나 이 연구는 또한 많은 사례에서 꿀이 질병과 아무런 상관이 없음을 밝혀냈다. 몇몇 사례에서는 집 안 식물과 정원에서도 병원균이 발견됐다. 결과적으로 보툴리누스균에 감염되는 경로는 여러 가지이지만, 유아에게 꿀을 주지 않는 것은 그중에서도 가장 쉬운 예방법이라 할 수 있다.”
✍️ “꿀은 유아 보툴리누스 중독의 유일한 원인이 아니며 많은 사례와 직접 연결되지 않았다. 그럼에도 부모가 손쉽게 차단할 수 있는 감염 경로라는 점에서 꿀을 피하라는 권고는 실용적인 의미를 갖는다.”
➡️ 과학적 예방은 모든 위험을 제거하는 완전한 해결책만을 의미하지 않는다. 확인된 위험의 일부라도 적은 비용으로 줄일 수 있다면 충분히 합리적인 조치가 될 수 있다.
이 사례는 과학적 사실과 행동 지침이 동일하지 않다는 점도 보여준다. 꿀에서 보툴리누스균이 발견될 수 있다는 것은 관찰된 사실에 가깝다. 그 균이 일부 유아의 몸에서 독소를 만들 수 있다는 것은 생물학적 설명이다. 1세 미만의 모든 아이에게 꿀을 주지 말아야 한다는 문장은 이러한 사실과 설명을 위험 관리의 원칙에 연결한 권고다.
권고에는 가치 판단이 포함된다. 사회는 유아의 생명을 보호하기 위해 매우 낮은 확률의 위험도 피하는 편이 낫다고 판단한다. 동일한 자료를 보더라도 위험을 얼마나 허용할지에 따라 행동 기준이 달라질 수 있다. 과학은 위험의 가능성과 크기에 관한 정보를 제공하지만, 어느 정도의 위험을 받아들일지는 윤리와 사회적 판단을 요구한다.
그럼에도 이 권고를 단순한 의견이라고 축소해서는 안 된다. 아무 근거 없이 꿀이 위험하다고 믿는 것과 병원균 검출, 환자 사례, 생물학적 기전, 장기간 관찰을 토대로 위험을 판단하는 것은 다르다. 과학적 권고가 절대적으로 확실하지 않다고 해서 근거 없는 추측과 같은 수준에 놓이는 것은 아니다.
Foell은 이 사례를 통해 확실성과 신뢰도를 구별한다. 어떤 주장을 100퍼센트 확신할 수 없더라도 여러 독립적인 자료가 같은 방향을 가리킨다면 높은 신뢰를 부여할 수 있다. 반대로 하나의 강렬한 사례만 있고 반복되는 자료가 없다면 확신을 낮추어야 한다.
통제 실험이 과학에서 높은 가치를 갖는 이유는 원인과 결과를 비교적 명확하게 구분할 수 있기 때문이다. 연구 대상자를 무작위로 두 집단에 배정하고 한 집단에만 특정 조건을 적용하면, 두 집단 사이의 결과 차이를 그 조건의 영향으로 해석하기 쉬워진다. 다른 요인들이 두 집단에 고르게 분포될 가능성이 높기 때문이다.
그러나 실제 세계에서는 무작위 배정이 불가능하거나 부도덕한 경우가 많다. 흡연의 위험을 확인하기 위해 사람들에게 수십 년간 담배를 피우게 할 수 없고, 오염된 물의 영향을 알아보기 위해 일부 주민에게 의도적으로 오염수를 제공할 수도 없다. 임신 중 음주의 영향을 연구하기 위해 임산부에게 술을 마시도록 지시해서도 안 된다.
이때 연구자는 이미 자연적으로 형성된 집단을 비교한다. 담배를 피운 사람과 피우지 않은 사람, 서로 다른 물 공급망을 이용한 주민, 특정 물질에 노출된 집단과 노출되지 않은 집단의 결과를 관찰한다. 이러한 연구는 무작위 실험보다 외부 요인의 영향을 많이 받지만, 장기간 반복되고 여러 자료가 일치한다면 중요한 인과적 단서를 제공한다.
준실험은 연구자가 완전히 통제하지 못한 현실의 변화나 정책을 이용해 인과관계를 추론하는 방법이다. 어떤 지역에만 새로운 제도가 시행되거나, 자연적인 경계 때문에 비슷한 사람들이 서로 다른 환경에 노출되었을 때 결과를 비교할 수 있다. 이는 실험실의 완벽한 통제에는 미치지 못하지만, 단순한 관찰보다 강한 근거를 제공할 수 있다.
Foell은 이러한 접근을 설명하기 위해 London의 콜레라 유행과 물 펌프 사례를 언급한다. 당시 사람들은 콜레라가 나쁜 공기나 불결한 냄새를 통해 퍼진다고 생각하는 경우가 많았다. 그러나 환자의 거주지와 식수 사용을 조사하면 특정 급수원 주변에 사망자가 집중되는 패턴이 나타났다.
연구자는 질병이 퍼지는 상황을 처음부터 설계하지 않았다. 주민들을 무작위로 나누어 서로 다른 물을 마시게 한 것도 아니었다. 대신 이미 존재하던 급수 체계의 차이를 이용해 어떤 물을 마신 사람들이 더 자주 병에 걸렸는지를 비교했다. 특정 펌프와 질병 사이의 연결이 강하게 나타나자 펌프의 손잡이를 제거해 사용을 중단시키는 조치가 취해졌다.
이 결정은 이중적인 의미를 갖는다. 먼저 주민이 의심되는 물을 마시지 못하게 해 추가 감염을 막는 예방 조치였다. 동시에 해당 급수원의 사용 중단 이후 질병이 어떻게 변하는지 확인하는 현실적 시험이기도 했다. 완벽한 실험은 아니지만 가설에 따라 세계에 개입하고 그 결과를 살펴보는 준실험이었다.
다만 펌프 손잡이를 제거한 뒤 환자가 감소했다고 해서 그것만으로 모든 인과관계가 완전히 입증되는 것은 아니다. 유행이 이미 정점을 지나 자연스럽게 감소하고 있었을 가능성도 있으며, 주민들이 먼저 지역을 떠났을 수도 있다. 따라서 특정 개입 이후 변화만 보는 것으로는 충분하지 않고, 환자의 공간적 분포와 식수 이용 기록, 다른 급수 체계를 이용한 집단의 차이를 함께 살펴야 한다.
Foell의 논지는 영웅적인 한 사람의 직관으로 질병의 비밀이 즉시 밝혀졌다는 단순한 서사가 아니다. 불완전한 여러 관찰이 하나의 설명을 점차 강하게 만드는 과정에 가깝다. 특정 물을 사용한 사람에게 환자가 집중되고, 같은 지역에서도 다른 물을 마신 사람에게 피해가 적으며, 의심되는 물의 사용을 중단한 뒤 확산이 줄어드는 자료가 결합될수록 수인성 감염이라는 가설의 신뢰도가 높아진다.
이러한 사례는 인과관계를 판단할 때 단일한 결정적 증거만을 기다려서는 안 된다는 점을 보여준다. 실제 공중보건에서는 여러 불완전한 증거가 같은 방향을 가리키는지를 살펴보아야 한다. 질병의 시간적 순서, 노출량과 위험의 관계, 서로 다른 지역에서 결과가 반복되는지, 생물학적으로 가능한 설명이 있는지를 종합해야 한다.
✒️ 핵심 발췌
? “가능하다면, 사실은 실험을 통해 확립되거나 확인돼야 한다. 실험군과 대조군을 비교해봐야만 실제로 무슨 일이 일어나고 있는지를 제대로 알 수 있기 때문이다. 하지만 ‘나쁜 꿀’ 사례에서 보듯이, 우리는 때때로 통제된 조건에서 확실하게 사실을 확인할 수 없는 상황에서도 어려운 결정을 내려야 한다.”
✍️ “통제 실험은 원인과 결과를 구별하는 가장 좋은 방법이지만, 인간에게 위험을 가하는 실험은 실행할 수 없다. 그러므로 우리는 완전한 확실성 없이도 현재의 자료를 바탕으로 생명과 안전에 관한 결정을 내려야 한다.”
➡️ 과학의 이상적인 방법과 현실에서 가능한 방법 사이에는 차이가 있다. 책임 있는 판단은 이상적인 증거가 나올 때까지 아무것도 하지 않는 태도가 아니라, 현재 이용 가능한 가장 강한 근거에 따라 잠정적으로 행동하는 태도다.
이 장에서 중요한 또 하나의 문제는 예방 조치의 효과를 평가하기 어렵다는 점이다. 어떤 위험을 미리 막으면 실제로 일어나지 않은 결과를 관찰할 수 없다. 아이에게 꿀을 주지 않아 질병을 피했다면, 그 아이가 꿀을 먹었을 경우 실제로 병에 걸렸을지는 알 수 없다. 펌프를 폐쇄해 콜레라 확산을 막았다면, 손잡이를 그대로 두었을 때 얼마나 많은 사람이 더 감염되었을지도 직접 확인할 수 없다.
예방의 성공은 일어나지 않은 사건으로 나타난다. 이 때문에 사람들은 시간이 지나면 원래 위험이 과장되었다고 생각할 수 있다. 예방 조치 덕분에 피해가 줄어든 경우에도, 눈에 보이는 피해가 적다는 사실이 조치가 불필요했다는 근거로 오해될 수 있다.
이 문제는 감염병 방역과 안전 규제, 재난 대비에서 반복된다. 강력한 대책을 시행해 최악의 결과를 막으면 사람들은 애초에 그런 위험이 없었다고 말할 수 있다. 반대로 조치를 취하지 않아 피해가 발생하면 대응이 부족했다고 비판한다. 과학은 실제로 일어난 결과뿐 아니라 가능한 반대 상황을 추론해야 한다.
이러한 반대 상황을 비교하기 위해 연구자는 유사한 집단과 과거 자료, 수학적 모형을 사용한다. 조치를 시행한 지역과 시행하지 않은 지역을 비교하거나, 조치 전후의 변화가 기존 추세와 얼마나 다른지 살펴본다. 그러나 현실에서는 두 지역이 완전히 같지 않고, 시간에 따라 여러 요인이 동시에 변하므로 결론에는 항상 불확실성이 남는다.
Foell은 이 불확실성을 과학의 실패로 보지 않는다. 오히려 불확실성의 크기와 원인을 드러내는 것이 과학적 분석의 중요한 결과다. 우리는 정확한 숫자를 얻지 못하더라도 어떤 설명이 더 가능성이 높은지, 어떤 행동이 피해를 줄일 가능성이 큰지를 판단할 수 있다.
과학적 결론은 확실하다와 모른다라는 두 칸으로만 나뉘지 않는다. 매우 강한 증거가 있는 주장, 상당한 근거가 있지만 일부 대안 설명이 남아 있는 주장, 초기 관찰만 존재하는 주장, 자료가 거의 없는 추측 사이에는 큰 차이가 있다. 이러한 신뢰도의 차이를 표현하지 않으면 모든 과학적 지식이 확정된 진리이거나 개인적 의견처럼 보이게 된다.
언론과 대중 담론은 이러한 단계적 차이를 자주 단순화한다. 연구자가 특정 위험이 있을 가능성이 있다고 말하면 언론은 위험이 입증되었다고 보도할 수 있다. 반대로 연구자가 인과관계를 완전히 확정할 수 없다고 말하면 아무 근거도 없다는 의미로 해석되기도 한다. 과학의 조심스러운 표현이 확신 부족이나 무능력으로 오해되는 것이다.
그러나 유능한 연구자는 자신이 모르는 부분을 정확히 설명할 수 있어야 한다. 어떤 자료를 사용했고, 무엇을 비교하지 못했으며, 다른 설명이 어느 정도 가능한지, 새로운 자료가 결론을 어떻게 바꿀 수 있는지를 밝혀야 한다. 이는 결론을 약하게 만드는 것이 아니라 독자가 신뢰도를 올바르게 평가하게 한다.
이 장은 위험을 판단할 때 확률과 결과의 심각성을 함께 고려해야 한다는 점도 보여준다. 어떤 사건의 발생 가능성이 매우 낮더라도 피해가 치명적이고 예방 비용이 작다면 조치를 취하는 것이 합리적일 수 있다. 반대로 발생 가능성이 높더라도 피해가 사소하고 예방 비용이 지나치게 크다면 다른 선택을 할 수 있다.
유아에게 꿀을 먹이지 않는 조치는 예방 비용이 거의 없다. 아이가 영양을 위해 반드시 꿀을 먹어야 하는 것도 아니고, 일정 기간 이후에는 섭취할 수 있다. 반면 보툴리누스 중독은 드물지만 심각한 결과를 가져올 수 있다. 따라서 꿀이 전체 사례의 일부와만 관련되어 있더라도 예방 조치의 이익은 비용보다 클 가능성이 높다.
이러한 판단 구조는 단순한 공포와 다르다. 모든 희박한 위험을 무조건 피하려 한다면 정상적인 생활이 불가능해진다. 중요한 것은 위험의 크기와 결과, 조치의 효과와 비용을 비교하는 것이다. 과학은 이 비교를 위한 자료를 제공하지만 최종적인 선택에는 사회가 중요하게 여기는 가치가 반영된다.
Foell은 불확실한 지식이 수정될 수 있다는 사실도 강조한다. 초기에는 소수의 사례와 제한된 검사만 존재했지만, 연구자들이 수십 년 동안 자료를 축적하면서 꿀과 관련된 사례의 비율과 다른 감염 경로가 더 분명해졌다. 처음의 권고는 새로운 자료에 의해 완전히 폐기되지 않았지만 그 의미가 더 정교하게 바뀌었다.
과학적 지식은 처음부터 완벽한 형태로 등장하지 않는다. 초기 관찰이 위험 신호를 만들고, 후속 연구가 범위와 예외를 밝히며, 장기간의 자료가 권고의 강도를 조정한다. 과학이 말을 바꾼다는 인상은 실제로는 새로운 정보에 따라 신뢰도와 설명을 수정하는 과정에서 생긴다.
문제는 수정 자체가 아니라 수정의 이유를 제대로 전달하지 못하는 데 있다. 과거의 권고가 당시 자료에 비추어 합리적이었는지, 새 자료가 무엇을 추가했는지, 행동 지침이 왜 유지되거나 바뀌었는지를 설명해야 한다. 과학적 권고가 잠정적이라는 사실과 아무 근거 없이 임의적이라는 주장을 구분해야 한다.
이 장의 마지막 교훈은 의사결정과 지식의 기준이 반드시 같지는 않다는 것이다. 연구자는 꿀이 정확히 몇 퍼센트의 유아 보툴리누스 중독을 일으키는지 확정하지 못할 수 있다. 그러나 부모와 보건 당국은 아이에게 꿀을 줄 것인지 결정해야 한다. 결정을 미루는 것도 하나의 행동이며, 그 행동에도 위험이 따른다.
따라서 현실의 판단은 종종 불완전한 사실과 불확실한 예측 위에서 이루어진다. 과학은 결정을 대신해주지 않지만, 어떤 선택이 현재 자료에 가장 잘 부합하는지를 알려준다. 그 과정에서 필요한 것은 확실성을 가장하는 권위가 아니라 불확실성 속에서도 근거의 차이를 구별하는 능력이다.
✨ 해설과 통찰
이 장의 철학적 핵심은 과학적 지식이 확실성과 무지 사이의 넓은 영역에서 작동한다는 데 있다. 우리는 흔히 사실을 의심할 수 없는 참으로, 의견을 개인이 선택할 수 있는 판단으로 구분한다. 그러나 실제 과학의 상당 부분은 잠정적인 신뢰도와 확률, 불완전한 비교와 제한된 관찰로 이루어진다.
이것은 과학적 사실이 개인적 의견과 같다는 뜻이 아니다. 과학적 주장은 사용한 자료와 방법, 반대 증거와 불확실성의 범위를 공개한다. 누구든 같은 자료를 검토하고 다른 설명을 제시할 수 있다. 사실의 힘은 완벽한 확실성보다 공개적인 검증과 수정 가능성에서 나온다.
David Hume의 인과론과 비교하면, 우리는 두 사건이 반복해서 함께 나타나는 것을 관찰할 수 있지만 인과관계 자체를 눈으로 직접 보는 것은 아니다. 꿀을 먹은 일부 유아에게 질병이 발생하고, 꿀과 환자의 몸에서 같은 병원균이 발견되며, 생물학적 기전이 확인될 때 우리는 인과관계를 추론한다. 이 추론은 단순한 동시 발생보다 강하지만 형이상학적 확실성을 제공하지는 않는다.
John Stuart Mill이 제시한 인과 추론 방법과도 연결할 수 있다. 질병이 발생한 사례들에서 공통적으로 나타나는 조건을 찾고, 질병이 발생하지 않은 집단과 차이를 비교하며, 특정 조건이 사라진 뒤 결과가 달라지는지를 살펴보는 방식이다. 콜레라 환자의 식수원 분포와 펌프 사용 중단 이후의 변화는 이러한 비교 논리를 보여준다.
현대 역학은 무작위 실험이 불가능한 상황에서 인과관계를 판단하기 위한 다양한 기준을 발전시켰다. 노출이 결과보다 먼저 발생했는지, 노출이 강할수록 위험이 증가하는지, 여러 연구에서 결과가 반복되는지, 생물학적으로 설명 가능한지 등을 함께 살펴본다. 하나의 기준이 모든 것을 증명하지는 않지만 여러 기준이 같은 방향을 가리키면 인과적 신뢰도가 높아진다.
의학윤리의 관점에서 이 장은 지식 획득에도 한계가 있어야 한다는 점을 보여준다. 더 확실한 결과를 얻을 수 있다는 이유로 사람에게 심각한 위험을 강요해서는 안 된다. 과학의 목적은 지식을 늘리는 데 있지만, 인간을 단순한 실험 수단으로 취급하지 않는 원칙이 우선한다.
정치철학적으로는 예방 원칙과 연결된다. 심각하고 회복하기 어려운 피해가 예상될 때, 완전한 과학적 확실성이 없다는 이유만으로 조치를 미루어서는 안 된다는 생각이다. 그러나 예방 원칙이 무제한으로 확대되면 모든 희박한 위험을 이유로 자유와 자원을 과도하게 제한할 수 있다. 따라서 피해의 심각성과 증거의 강도, 조치의 비용을 함께 평가해야 한다.
이 장은 코로나 팬데믹과 같은 공중보건 위기를 이해하는 데도 중요하다. 새로운 질병이 등장한 초기에는 통제된 연구와 장기간의 자료가 부족하다. 그런데도 정부와 시민은 마스크와 격리, 학교 운영, 치료 방식을 결정해야 한다. 초기 지침이 이후 수정될 수 있다는 사실은 처음의 지침이 반드시 거짓이었다는 뜻이 아니다. 당시 이용 가능한 자료와 위험 수준에 따라 내린 잠정적 결정일 수 있다.
과학적 소통은 이러한 잠정성을 정확히 전달해야 한다. 현재 자료는 이 행동이 더 안전할 가능성을 보여준다, 새로운 정보가 나오면 지침이 달라질 수 있다, 확인되지 않은 부분은 이것이라는 식으로 말해야 한다. 지나치게 단정적으로 표현하면 나중의 수정이 신뢰 상실로 이어지고, 지나치게 모호하게 표현하면 대중이 행동할 기준을 얻지 못한다.
개인의 일상에서도 같은 원리가 적용된다. 건강검진 결과와 치료 선택, 투자와 진로, 인간관계에 관한 판단은 완전한 정보가 없는 상태에서 이루어진다. 모든 불확실성이 사라질 때까지 기다리면 결정할 시기를 놓칠 수 있다. 반대로 근거가 약한 직감을 확실한 사실처럼 믿으면 위험한 선택을 할 수 있다.
더 나은 판단은 근거의 수준에 맞게 확신의 강도를 조절하는 것이다. 직접 실험된 결과에는 높은 신뢰를, 반복되는 관찰에는 상당한 신뢰를, 소수의 사례에는 제한된 신뢰를 부여해야 한다. 그리고 결과의 심각성과 행동 비용을 고려해 필요한 시점에 잠정적인 결정을 내려야 한다.
Foell의 핵심 메시지는 불확실성을 제거하라는 것이 아니라 관리하라는 것이다. 과학은 모르는 것을 사라지게 하지 않지만, 무엇을 모르고 무엇을 어느 정도 아는지를 구분하게 해준다. 이러한 구분이 가능할 때 불확실성은 무기력의 이유가 아니라 책임 있는 행동의 조건이 된다.
? 핵심 요약
1️⃣ 통제 실험은 인과관계를 확인하는 가장 강력한 방법이지만, 인간에게 위험을 가하거나 현실의 모든 조건을 통제할 수 없기 때문에 실행 불가능한 경우가 많다.
2️⃣ 유아와 꿀의 사례는 완벽한 인과 증명이 없어도 환자 사례와 병원균 검출, 생물학적 설명을 종합해 합리적인 예방 지침을 만들 수 있음을 보여준다.
3️⃣ 꿀은 모든 유아 보툴리누스 중독의 원인이 아니지만, 부모가 쉽게 차단할 수 있는 감염 경로이므로 1세 미만의 아이에게 먹이지 않는 권고가 정당화된다.
4️⃣ 과학적 판단은 확실하다와 모른다의 이분법이 아니라 증거의 강도와 불확실성, 피해의 심각성, 예방 비용을 함께 평가하는 과정이다.
? 비교·확장
Foell의 논의는 John Snow의 콜레라 조사와 현대 역학의 발전을 이해하는 중요한 틀을 제공한다. Snow는 병원균을 직접 관찰하거나 주민을 무작위로 배정하지 못했지만, 환자의 거주지와 급수원의 분포를 비교해 특정 물이 질병 확산과 연결된다는 가설을 강화했다. 이는 현실에 존재하는 조건 차이를 이용한 준실험의 대표적 사고방식이다.
Austin Bradford Hill이 제시한 인과 판단 기준과도 연결된다. 두 현상의 연관성이 강한지, 여러 연구에서 반복되는지, 원인이 결과보다 먼저 나타나는지, 생물학적 설명이 가능한지 등을 종합해 판단하는 방식이다. 하나의 관찰만으로 인과를 확정하지 않되, 완벽한 실험이 없다는 이유로 모든 결론을 미루지도 않는다.
Hans Reichenbach의 확률적 인과론과 비교하면, 원인은 결과를 반드시 발생시키는 조건이라기보다 결과의 가능성을 변화시키는 조건일 수 있다. 꿀을 먹는다고 모든 아이가 보툴리누스 중독에 걸리는 것은 아니지만, 병원균이 들어 있는 꿀은 일부 유아의 발병 가능성을 높일 수 있다. 원인과 결과가 일대일로 대응하지 않는다고 해서 인과관계가 사라지는 것은 아니다.
의학윤리에서는 임상적 균형의 원칙과 연결할 수 있다. 연구자가 어느 처치가 더 낫다고 이미 강하게 믿는다면, 일부 참가자에게 열등하거나 위험한 처치를 의도적으로 제공하는 실험은 정당화되기 어렵다. 지식의 확실성을 높이려는 욕구보다 연구 대상자의 안전과 권리가 우선해야 한다.
Nassim Nicholas Taleb의 비대칭적 위험 개념도 적용할 수 있다. 어떤 행동의 비용은 작지만 피할 수 있는 피해는 매우 크다면, 확률이 낮아도 예방 조치를 취할 이유가 있다. 유아에게 일정 기간 꿀을 주지 않는 행동은 비용이 작지만 잠재적으로 치명적인 질병을 줄일 수 있다는 점에서 비대칭적 선택이다.
Daniel Kahneman의 연구는 인간이 확률과 불확실성을 직관적으로 다루는 데 어려움을 겪는다는 점을 보여준다. 사람들은 낮은 확률을 완전히 무시하거나 반대로 지나치게 두려워할 수 있다. 과학적 위험 판단은 단순한 공포나 안심이 아니라 발생 가능성과 피해 규모, 행동 비용을 분리해 살펴보도록 요구한다.
현대 기후정책에도 같은 논리가 적용된다. 미래의 정확한 기온과 피해를 완벽하게 예측할 수 없더라도, 여러 독립적인 자료와 모형이 심각한 위험의 증가를 가리킨다면 행동을 검토해야 한다. 불확실성은 아무 조치도 하지 않을 근거가 아니라 여러 선택의 위험을 비교해야 할 이유가 된다.
법과 정책에서는 증거 기준이 결정의 성격에 따라 달라질 수 있다. 형사재판에서는 잘못된 처벌의 피해를 막기 위해 매우 높은 확실성을 요구하지만, 공중보건 예방에서는 위험이 심각하고 조치 비용이 작다면 더 낮은 증거 수준에서도 개입할 수 있다. 모든 판단에 동일한 확실성 기준을 적용하는 것은 합리적이지 않을 수 있다.
? 연결 독서 제안
✔️ David Hume, An Enquiry Concerning Human Understanding
✔️ John Stuart Mill, A System of Logic
✔️ John Snow, On the Mode of Communication of Cholera
✔️ Gerd Gigerenzer, Risk Savvy
? 사유를 여는 질문
❓ 완벽한 실험이 불가능할 때 어느 정도의 증거가 있어야 개인과 사회가 예방 행동을 시작할 수 있는가?
❓ 발생 가능성이 낮지만 결과가 치명적인 위험과, 발생 가능성은 높지만 피해가 작은 위험을 우리는 어떻게 비교해야 하는가?
❓ 과학적 권고가 새로운 자료에 따라 수정될 때, 그것을 지식의 실패가 아니라 자기수정의 과정으로 받아들이려면 무엇이 필요한가?
? Chapter 7. We Sometimes Observe Things We Cannot Explain | 우리는 때때로 설명할 수 없는 것을 관찰한다
✅ 장 개요
이 장은 기존의 지식과 상식으로 곧바로 설명하기 어려운 현상을 만났을 때 어떤 방식으로 사고해야 하는지를 다룬다. 우리는 예상하지 못한 사건을 목격하면 대개 두 방향 가운데 하나로 움직인다. 하나는 자신이 이해하지 못한다는 이유로 관찰 자체를 무시하는 것이고, 다른 하나는 처음 제시된 놀라운 설명을 곧바로 받아들이는 것이다. Jens Foell은 두 태도 모두 사실을 탐구하는 데 적절하지 않다고 지적한다. 설명할 수 없는 현상은 부정하거나 신비화할 대상이 아니라, 여러 가능한 설명을 만들어 비교하고 하나씩 제거해야 할 문제다.
저자는 BBC 드라마의 Sherlock Holmes가 복잡한 사건을 마주하는 장면으로 논의를 시작한다. 자동차 트렁크에서 시신이 발견되었고, 그 시신에서는 전날 추락한 비행기와 관련된 물건들이 나온다. Lestrade 경감이 떠오르는 생각이 있는지 묻자 Sherlock은 처음에는 여덟 가지 설명이 있다고 답한다. 이후 비행기표와 여권 등 새로운 증거를 살펴보면서 가능한 설명을 네 가지, 다시 두 가지로 줄여나간다. 저자가 주목하는 것은 Sherlock이 처음부터 하나의 뛰어난 정답을 직감했다는 사실이 아니다. 그는 여러 설명을 동시에 열어둔 뒤, 새로운 자료와 맞지 않는 설명을 잘라낸다.
이 장은 이러한 과정을 나무의 가지치기에 비유한다. 관찰된 현상을 설명할 수 있는 여러 가설이 나뭇가지처럼 뻗어나가고, 각각의 가설을 자료와 비교하면서 살아남을 수 없는 가지를 제거한다. 과학적 사고는 처음 떠오른 설명을 증명하는 과정이라기보다, 서로 경쟁하는 설명들을 현실의 시험대에 올려놓고 상대적으로 더 강한 설명을 남기는 과정이다.
Foell은 마술사가 처음 만난 사람의 전화번호를 정확히 알아맞히는 사례도 제시한다. 이 장면을 본 사람은 마술사가 마음을 읽었다고 생각할 수 있다. 그러나 사전에 관객을 조사했을 수도 있고, 공연 중에 관객이 무의식적으로 제공한 단서를 이용했을 수도 있으며, 조력자가 정보를 전달했거나 단순한 우연이 작용했을 수도 있다. 중요한 것은 마음 읽기라는 특별한 설명만 검토하는 것이 아니라, 평범하지만 충분히 가능한 설명들을 함께 고려하는 것이다.
저자는 과학의 역사에서도 설명되지 않는 관찰이 중요한 발견의 출발점이 되어왔음을 보여준다. 기존 이론과 맞지 않는 현상은 처음에는 오류나 사소한 예외처럼 보일 수 있다. 그러나 관찰이 반복되고 다른 설명으로 제거되지 않는다면, 그것은 기존 지식의 한계를 드러내는 단서가 된다. 과학은 이해할 수 없는 현상을 즉시 거부하지도 않고, 새로운 현상이라는 이유만으로 기존 지식을 모두 버리지도 않는다. 관찰이 실제인지 확인하고, 가능한 설명을 넓게 만든 뒤, 각각을 검증 가능한 가설로 바꾸는 과정을 거친다.
이 장의 핵심은 특별한 현상에는 반드시 특별한 원인이 있다는 직관을 경계하는 데 있다. 놀라운 결과도 우연과 측정 오류, 기억의 왜곡, 사전 정보, 조작, 기존에 알려진 자연현상으로 설명될 수 있다. 반대로 기존 지식으로 설명되지 않는다고 해서 관찰이 거짓이라고 단정해서도 안 된다. 더 나은 판단은 경이로움과 회의주의를 동시에 유지하는 데서 시작된다.
? 상세 설명
Foell은 Sherlock Holmes가 사건을 해결하는 장면을 통해 과학적 추론을 시각적으로 설명한다. 트렁크에서 발견된 시신과 추락한 비행기의 물건은 쉽게 연결되지 않는다. 시신이 실제 비행기 탑승자였는지, 누군가 사고 현장에서 물건을 가져와 시신에 넣었는지, 비행기 사고와 살인이 별개의 사건인지, 신원을 속이기 위한 조작인지 등 여러 설명이 가능하다.
Lestrade에게는 이 상황이 단순한 혼란으로 보이지만, Sherlock에게는 여러 경쟁 설명이 존재하는 문제로 보인다. 그는 처음부터 하나의 결론에 전부를 걸지 않는다. 가능한 설명을 여러 개 만든 뒤 각각이 현재의 증거와 얼마나 잘 맞는지를 비교한다. 새로운 자료가 나타날 때마다 설명의 수가 줄어든다. 이때 제거되는 설명은 단순히 덜 마음에 드는 설명이 아니라, 관찰된 사실과 양립하기 어려운 설명이다.
✒️ 핵심 발췌
? “그 후, 그는 증거를 좀 더 자세히 살펴본다. 비행기 표, 여권 등을 확인하면서 그가 말한다. ‘아니, 네 개군요.’ 잠시 뒤, 다시 말한다. ‘어쩌면 두 개인 것 같군요.’”
✍️ “Sherlock은 하나의 설명을 즉시 정답으로 선언하지 않는다. 새로운 증거를 확인할 때마다 가능한 설명 가운데 자료와 맞지 않는 것들을 제거하며 범위를 좁혀간다.”
➡️ 과학적 추론의 핵심은 가장 먼저 떠오른 설명을 강화하는 데 있지 않다. 여러 가능한 설명을 동시에 유지하고, 새로운 자료가 어떤 설명을 배제하는지를 살펴보는 데 있다.
저자는 Sherlock의 사고 과정을 나무의 가지치기로 표현한다. 하나의 관찰에서 여러 설명이 가지처럼 뻗어나가지만, 모든 가지가 같은 정도로 살아남는 것은 아니다. 어떤 설명은 알려진 사실과 모순되고, 어떤 설명은 새로운 자료를 제대로 예측하지 못하며, 어떤 설명은 검증할 수 없는 형태로 남는다. 이런 가지들은 잘라내야 한다.
좋은 설명은 현재의 관찰을 설명할 뿐 아니라 추가로 확인할 수 있는 결과를 제시한다. 시신이 추락한 비행기의 승객이었다면 승객 명단과 신원 기록이 일치해야 한다. 누군가가 사고 현장의 물건을 이용해 신원을 조작했다면 시신의 생체 정보와 물건의 소유자가 다를 수 있다. 각각의 설명은 서로 다른 확인 방법을 낳는다.
✒️ 핵심 발췌
? “셜록의 머릿속에서 일어나는 일은 다양한 아이디어나 설명을 분류하는, 나무를 가지치기하는 과정으로 시각화할 수 있다. 열매를 맺지 않는 가지는 그냥 잘라버리는 것. 명탐정 셜록 홈스는 사건에 대한 모든 가능한 설명을 고려한 후, 그것들을 가용한 데이터와 측정값과 비교하면서 좁혀나간다.”
✍️ “설명들은 처음에는 여러 방향으로 뻗어나가지만, 자료와 맞지 않는 설명은 제거되어야 한다. 남은 설명은 단지 그럴듯해서가 아니라 현재의 증거와 더 잘 맞기 때문에 살아남는다.”
➡️ 이 가지치기는 과학적 방법의 핵심적인 비유다. 지식은 정답을 단번에 발견하는 과정이 아니라 잘못된 가능성을 체계적으로 줄여가는 과정에서 형성된다.
Foell은 이 과정을 모든 과학의 핵심으로 이해하지만, 하나의 고정된 과학적 방법이 존재하는지에 대해서는 논쟁이 있음을 인정한다. 물리학과 심리학, 고고학과 의학은 서로 다른 대상과 장비, 증거 기준을 사용한다. 모든 연구를 동일한 순서의 절차로 환원하기는 어렵다.
그럼에도 공통적으로 필요한 태도는 있다. 관찰된 현상을 설명할 수 있는 가능성을 넓게 만들고, 각 설명에서 검증 가능한 결과를 도출하며, 자료와 비교해 설명을 줄여나가는 태도다. 실험실에서 직접 변수를 조작하지 못하는 분야에서도 이 과정은 적용된다. 역사학자는 서로 다른 기록을 비교하고, 법의학자는 물리적 흔적과 진술을 대조하며, 의사는 여러 질병 가능성을 세운 뒤 검사 결과에 따라 진단 범위를 좁힌다.
설명하기 어려운 현상을 만났을 때 가장 위험한 태도는 첫 번째 설명을 특별한 권위와 결합하는 것이다. 유명한 전문가나 권위자가 하나의 설명을 제시하면, 사람들은 다른 가능성을 찾는 과정을 생략하기 쉽다. 반대로 설명을 제시한 사람이 비전문가라는 이유만으로 관찰 자체를 무시할 수도 있다. 그러나 설명의 타당성은 제안자의 지위가 아니라 자료와의 관계를 통해 평가되어야 한다.
저자는 마술사가 낯선 관객의 전화번호를 맞히는 사례로 이 문제를 더 구체화한다. 관객은 마술사를 처음 만났으며, 자신의 번호를 말한 적도 없다고 확신한다. 마술사가 정확한 번호를 말하면 마음을 읽는 능력이라는 설명이 자연스럽게 떠오를 수 있다. 일상적인 경험으로는 낯선 사람의 전화번호를 알 방법이 없기 때문이다.
그러나 설명하기 어렵다는 사실은 초자연적 능력이 입증되었다는 뜻이 아니다. 가능한 설명은 여러 가지다. 공연 신청 과정에서 전화번호가 수집되었을 수 있고, 좌석 예약이나 결제 정보에서 번호를 알아냈을 수도 있다. 마술사의 조력자가 관객의 정보를 조사했거나, 주변 사람과의 대화를 통해 번호를 확보했을 수도 있다. 관객이 과거 온라인에 공개한 정보를 찾아냈을 가능성도 있다.
마술사는 관객의 반응을 이용해 정보를 좁혔을 수도 있다. 일부 숫자를 말하면서 표정과 몸짓의 변화를 관찰하고, 질문처럼 들리지 않는 표현을 통해 관객이 스스로 정보를 제공하게 만들 수 있다. 기억의 선택성도 작용할 수 있다. 마술사가 여러 번 추측한 가운데 맞힌 부분만 강하게 기억되고, 실패한 시도는 공연의 흐름 속에서 잊힐 수 있다.
✒️ 핵심 발췌
? “어떤 경험들은 우리가 알고 있는 바와 모순되기 때문에 당혹스럽다. 예를 들어, 마술사가 낯선 사람의 전화번호를 알아맞히는 경우처럼 말이다. 이런 상황에서 우리는 아무런 설명도 하지 못하거나, 이해할 수 없는 설명을 듣게 되기도 한다.”
✍️ “익숙한 지식으로 설명되지 않는 장면을 보면 우리는 설명을 포기하거나 놀라운 설명을 받아들이기 쉽다. 그러나 이해하기 어렵다는 사실은 초자연적인 원인이 입증되었다는 의미가 아니다.”
➡️ 설명의 부재와 특별한 설명의 증명은 전혀 다르다. 현재 원인을 모른다는 말은 아직 여러 가능성을 충분히 검토하지 않았다는 뜻일 수 있다.
Foell은 이런 상황에서 처음 제시된 설명만 검토하지 말고 가능한 한 많은 대안 설명을 떠올리라고 권한다. 마음 읽기라는 설명이 제시되었다면 그것이 사실인지 아닌지만 묻는 것으로는 부족하다. 사전 조사, 정보 유출, 협력자, 기술 장치, 관객의 반응, 기억 오류, 우연 등 서로 다른 종류의 설명을 함께 만들어야 한다.
처음에는 터무니없어 보이는 설명도 관찰된 현상을 설명할 수 있다면 후보에 포함할 수 있다. 중요한 것은 설명을 떠올리는 단계와 평가하는 단계를 구별하는 것이다. 설명을 만들 때 지나치게 엄격한 기준을 적용하면 중요한 가능성을 놓칠 수 있다. 이후 검증 단계에서 자료와 맞지 않는 설명을 제거하면 된다.
✒️ 핵심 발췌
? “이럴 때는 주어진 설명을 곧바로 검토하는 것이 최선이라고 볼 수는 없다. 대신, 가능한 많은 대안적 설명을 떠올리는 것이 좋다. 일단, 관찰된 현상을 설명할 수 있다면 어떤 것이든 허용 가능하다.”
✍️ “처음 제시된 설명을 참인지 거짓인지 판단하기 전에, 같은 현상을 설명할 수 있는 다른 가능성을 넓게 찾아야 한다. 설명을 생성하는 단계에서는 다양한 가능성을 열어두고, 이후 검증을 통해 범위를 좁혀야 한다.”
➡️ 하나의 설명만 검토하면 그 설명이 틀렸을 때 아무것도 남지 않는다. 여러 설명을 함께 비교하면 한 설명이 약해질 때 다른 설명의 가능성이 상대적으로 높아진다.
대안 설명을 만든 뒤에는 각각을 검증 가능한 형태로 바꾸어야 한다. 마술사가 공연 전에 정보를 조사했다면 사전에 공개되지 않은 새로운 정보를 맞힐 수 있는지 시험할 수 있다. 조력자가 정보를 전달한다면 외부와의 접촉을 차단한 조건에서 능력이 유지되는지 확인할 수 있다. 관객의 반응을 이용한다면 마술사가 관객을 볼 수 없는 환경에서도 같은 정확도를 보이는지 살펴볼 수 있다.
실제 초능력이라면 통제된 조건에서도 반복적으로 나타나야 한다. 한 번의 인상적인 성공보다 여러 번의 반복에서 우연으로 기대되는 수준을 넘어서는 결과가 필요하다. 실패한 시도를 모두 포함하고, 어떤 결과를 성공으로 인정할지 미리 정해야 한다. 결과를 본 뒤 성공 기준을 바꾸면 우연한 일치도 특별한 능력처럼 보일 수 있다.
James Randi와 같은 마술사이자 회의주의자는 초자연적 능력을 주장하는 사람들의 기술을 평가할 때 과학자와는 다른 중요한 전문성을 제공했다. 과학자는 실험 설계와 통계에는 익숙하지만, 속임수와 주의 전환, 숨겨진 장치의 사용에는 익숙하지 않을 수 있다. 반면 전문 마술사는 관객이 무엇을 보지 못하게 만들 수 있는지, 평범한 기술을 초자연적인 능력처럼 보이게 하는 방법이 무엇인지 잘 알고 있다.
이 점은 설명되지 않는 현상을 검토할 때 다양한 전문가가 필요하다는 사실을 보여준다. 실험실에서 이상한 결과가 나타났을 때 연구 분야의 전문가만으로 충분하지 않을 수 있다. 장비 기술자와 통계학자, 자료 관리 전문가가 서로 다른 오류 가능성을 발견할 수 있다. 초자연적 주장에서는 심리학자와 물리학자뿐 아니라 속임수의 실제 기술을 아는 마술사의 시각도 필요하다.
그러나 사기 가능성을 고려한다고 해서 모든 설명되지 않는 현상을 속임수로 단정해서는 안 된다. 속임수는 가능한 설명 가운데 하나일 뿐이다. 관찰자가 정직하더라도 측정 오류나 기억 왜곡이 있을 수 있고, 알려지지 않은 자연현상이 작용했을 수도 있다. 사기를 의심하는 태도 역시 검증 가능한 가설의 형태를 가져야 한다.
저자는 우연을 독립적인 설명으로 반드시 포함해야 한다고 강조한다. 사람은 의미 있는 사건이 우연히 일어날 수 있다는 사실을 직관적으로 받아들이기 어려워한다. 특히 사건이 개인적으로 중요하거나 가능성이 매우 낮아 보일 때, 우리는 숨은 원인과 의도를 찾으려 한다.
마술사가 전화번호 일부를 맞히거나, 오랫동안 생각하지 않았던 사람에게서 갑자기 연락이 오거나, 꿈에서 본 장면과 비슷한 일이 일어나면 특별한 연결이 있다고 느낄 수 있다. 그러나 수많은 생각과 꿈, 만남과 숫자 가운데 일부가 우연히 일치하는 것은 피할 수 없다. 일치하지 않은 수많은 사례는 기억되지 않고, 눈에 띄는 일치만 강하게 남는다.
✒️ 핵심 발췌
? “최상의 경우, 검증 가능한 설명을 하나씩 실험해보고 서로 비교할 수 있어야 한다. 중요한 것은 때때로 ‘우연’도 충분한 설명이 될 수 있다는 것이다. 놀라운 일치가 나타났다는 사실만으로 특별한 원인이 존재한다고 단정할 수는 없다.”
✍️ “가능한 설명들은 각각 시험하고 비교해야 하며, 그 가운데에는 우연도 포함되어야 한다. 가능성이 낮아 보이는 사건도 충분히 많은 기회가 주어지면 실제로 발생할 수 있다.”
➡️ 우연은 설명을 포기하는 말이 아니다. 사건이 특별한 원인 없이도 발생할 확률이 어느 정도인지 검토하는 하나의 가설이다.
우연을 설명으로 인정하려면 단순히 운이었을 것이라고 말하는 것으로는 부족하다. 사건이 발생할 기회가 얼마나 많았는지, 성공과 실패가 모두 기록되었는지, 사전에 예측한 것인지 결과가 나온 뒤 의미를 부여한 것인지 살펴야 한다. 복권 당첨 번호를 사전에 정확히 예측했다면 놀라운 일이지만, 추첨 뒤에 그 번호와 연결되는 의미를 찾아내는 일은 훨씬 쉽다.
수백만 명이 매일 수많은 꿈을 꾸면 현실과 비슷한 꿈을 경험하는 사람은 반드시 나타난다. 그 사람의 경험만 보면 예지몽처럼 보이지만, 아무 일도 맞지 않았던 훨씬 더 많은 꿈을 포함하면 해석이 달라진다. 설명되지 않는 현상을 평가하려면 눈에 띄는 성공뿐 아니라 전체 시도 횟수를 알아야 한다.
이 문제는 과학 연구에서도 나타난다. 수많은 변수를 분석하면 우연히 통계적으로 특별해 보이는 관계가 나올 수 있다. 연구자가 어떤 분석을 시도했는지 모두 공개하지 않고 의미 있는 결과만 발표하면, 우연한 일치가 강한 과학적 발견처럼 보일 수 있다. 따라서 가설과 분석 방법을 미리 정하고 모든 결과를 보고하는 절차가 중요하다.
설명할 수 없는 관찰은 과학의 발전에서 중요한 역할을 한다. 기존 이론이 예상하지 못한 결과가 반복되면 새로운 개념과 이론이 필요해질 수 있다. 그러나 새로운 발견과 오류를 처음부터 구별하기는 어렵다. 측정 장비가 잘못 작동했을 수도 있고, 표본이 오염되었거나 분석 과정에서 실수가 발생했을 수도 있다.
앞선 장의 유령 DNA 사례처럼 이상한 결과는 새로운 범죄자의 존재가 아니라 오염된 면봉에서 비롯될 수 있다. 반대로 모든 이상 결과를 장비 오류로 치부하면 실제 발견을 놓칠 수 있다. 중요한 것은 기존 지식을 지키기 위해 이상 현상을 무조건 제거하지도 않고, 새롭다는 이유로 즉시 혁명적인 발견이라고 발표하지도 않는 것이다.
과학자는 먼저 관찰이 실제로 반복되는지 확인해야 한다. 같은 장비로 재현하고, 가능하다면 다른 장비와 독립적인 연구진을 사용해야 한다. 실험 조건을 조금씩 바꾸어 현상이 어느 상황에서 나타나고 사라지는지도 살펴야 한다. 현상이 특정 장비나 분석 방식에서만 나타난다면 방법상의 문제일 가능성이 높아진다.
설명되지 않는 관찰을 다루는 과정에서는 과학의 개방성과 엄격성 사이의 긴장이 나타난다. 과학이 기존의 합의와 맞지 않는 주장을 전부 배제한다면 새로운 발견은 시작되기 어렵다. 역사적으로 중요한 과학적 변화는 당시의 일반적인 견해와 맞지 않는 관찰을 누군가 진지하게 받아들였을 때 시작되었다.
그러나 과학이 모든 비범한 주장을 같은 수준으로 받아들인다면 근거 없는 생각과 강하게 검증된 이론을 구별할 수 없게 된다. 개인의 직관과 단 한 번의 이상 경험이 반복된 연구와 동등하게 취급될 수 있다. 과학은 새로운 가능성에 열려 있으면서도 사실로 인정하는 기준은 엄격하게 유지해야 한다.
✒️ 핵심 발췌
? “과학은 개방적이어야 하며, 그렇지 않으면 중요한 정보를 놓치게 된다. 사실 모든 과학적 혁명은 어느 시점에서 누군가 당시의 일반적인 견해에 반하는 결과를 발표함으로써 시작됐다. 동시에 과학은 지나치게 개방적이어서는 안 된다. 충분한 증거가 없는 주장들이 사실로 간주될 수 있기 때문이다.”
✍️ “기존 합의와 다른 결과를 전부 배제하면 새로운 발견을 놓치지만, 모든 특별한 주장을 쉽게 받아들이면 근거의 차이가 사라진다. 과학은 새로운 생각에 대한 개방성과 증거에 대한 엄격함을 함께 유지해야 한다.”
➡️ 설명되지 않는 관찰은 보호받아야 하지만 자동으로 사실의 지위를 얻는 것은 아니다. 새로운 주장은 공개적인 검증과 반복을 거쳐야 기존 지식과 경쟁할 수 있다.
비범한 주장에는 비범한 증거가 필요하다는 원칙은 이러한 긴장을 다루는 한 가지 방법이다. 이 원칙은 새로운 주장을 금지하자는 뜻이 아니다. 이미 수많은 관찰과 검증을 견딘 지식과 정면으로 충돌하는 주장을 받아들이려면, 단순한 일화나 한 번의 실험보다 더 강하고 반복 가능한 증거가 필요하다는 뜻이다.
예를 들어 사람이 아무런 감각적 정보 없이 다른 사람의 생각을 정확히 읽을 수 있다는 주장은 인간의 뇌와 정보 전달에 관한 기존 지식과 크게 충돌한다. 따라서 한 번의 공연이나 개인적 체험으로는 충분하지 않다. 통제된 조건과 반복 시험, 독립적 검증이 요구된다.
그러나 이 원칙이 기존 권력과 지식 구조를 지키는 장벽으로 사용될 위험도 있다. 무엇이 비범한 주장인지, 어느 정도의 증거가 충분한지를 기존 학계가 독점적으로 결정한다면, 주변화된 연구자와 새로운 분야의 주장은 지나치게 높은 기준을 요구받을 수 있다. 기존 이론에 익숙한 사람은 자신과 다른 설명을 비범하다고 규정하고, 자신의 전제는 평범한 사실처럼 취급할 수 있다.
따라서 증거 기준은 주장자의 지위나 정체성보다 주장 내용과 기존 자료와의 관계에 따라 적용되어야 한다. 유명한 연구자의 새로운 주장도 엄격한 검증을 받아야 하고, 비주류 연구자가 제시한 관찰도 방법이 타당하고 반복된다면 진지하게 검토되어야 한다.
Foell의 핵심은 이상한 현상을 만났을 때 즉시 어느 한쪽 진영을 선택하지 않는 데 있다. 믿는 사람과 회의하는 사람의 대립으로 바꾸는 대신, 관찰이 정확히 무엇인지부터 정리해야 한다. 마술사가 전화번호를 맞혔다는 말에는 몇 번의 시도 가운데 몇 번 맞혔는지, 번호 전체를 정확히 말했는지, 사전 정보가 차단되었는지와 같은 세부 조건이 필요하다.
관찰과 설명도 분리해야 한다. 전화번호가 정확히 일치했다는 것은 관찰에 가깝지만, 마음을 읽었다는 것은 설명이다. 물질이 어둠 속에서 빛났다는 것은 관찰이지만, 그 빛이 초자연적인 힘에서 나왔다는 것은 설명이다. 사람들은 관찰과 해석을 하나의 문장으로 결합하기 때문에, 설명을 의심하면 관찰 자체를 부정하는 것처럼 느끼기도 한다.
좋은 탐구는 관찰을 가능한 중립적인 언어로 다시 표현한다. 무엇을 언제 어디에서 어떤 조건으로 보았는지를 기록하고, 그 현상이 어떤 원인으로 일어났는지는 별도로 검토한다. 이렇게 하면 특별한 해석에 동의하지 않더라도 관찰된 현상에 대해서는 공동의 출발점을 만들 수 있다.
이 장은 사실을 발견하는 과정에서 창의성이 중요하다는 점도 보여준다. 과학은 정해진 절차를 기계적으로 따르는 일만으로 이루어지지 않는다. 관찰된 현상을 설명할 수 있는 새로운 가능성을 상상하고, 기존에는 연결되지 않았던 개념을 결합하는 능력이 필요하다.
Sherlock이 여덟 가지 설명을 떠올릴 수 있었던 것은 단지 논리적이기 때문이 아니다. 그는 다양한 사건과 인간 행동, 기술과 제도에 관한 지식을 가지고 있었고, 한 가지 관점에 고정되지 않았다. 과학자도 새로운 가설을 만들려면 폭넓은 지식과 상상력이 필요하다.
그러나 창의적인 설명은 검증을 대신하지 않는다. 아무리 아름답고 독창적인 이야기라도 관찰과 맞지 않으면 제거되어야 한다. 과학적 상상력은 자유롭게 가능성을 만드는 단계와 냉정하게 증거를 비교하는 단계가 결합할 때 힘을 가진다.
✨ 해설과 통찰
이 장의 철학적 핵심은 설명되지 않는다는 상태를 견디는 능력에 있다. 인간은 불확실성과 원인 없는 사건을 불편해한다. 이유를 알지 못하면 즉시 이야기를 만들고, 그 이야기를 사실처럼 받아들이려 한다. Foell은 모른다는 상태를 실패가 아니라 탐구의 출발점으로 받아들이라고 요구한다.
Charles Sanders Peirce가 말한 가추법과 이 장을 연결할 수 있다. 가추법은 놀라운 사실을 만났을 때 그것을 설명할 수 있는 가능한 가설을 만드는 추론이다. 연역은 전제에서 결과를 도출하고 귀납은 반복된 사례에서 일반성을 찾지만, 가추법은 예상하지 못한 관찰에 가장 그럴듯한 설명을 제안한다. Sherlock의 여러 설명은 이러한 가추적 추론의 사례다.
그러나 가장 그럴듯한 설명은 반드시 참인 설명이 아니다. 직관적으로 자연스러운 설명이 실제 자료와 맞지 않을 수 있고, 처음에는 이상해 보이는 설명이 검증을 견딜 수도 있다. 가추법은 가설을 만드는 단계이며, 이후 연역적 예측과 경험적 검증이 필요하다.
William of Ockham의 절약 원칙도 이 장과 연결된다. 같은 현상을 설명하는 여러 가설 가운데 불필요한 가정을 적게 사용하는 설명을 우선할 수 있다. 마술사의 전화번호 맞히기를 설명할 때 검증된 정보 수집 기술로 충분하다면, 새로운 초능력의 존재를 먼저 가정할 필요는 없다.
그러나 가장 단순한 설명이 자동으로 참인 것은 아니다. 현실은 때때로 복잡하며, 단순성은 여러 평가 기준 가운데 하나일 뿐이다. 설명이 자료를 얼마나 잘 설명하는지, 새로운 예측을 제공하는지, 독립적으로 검증되는지를 함께 살펴야 한다.
Thomas Kuhn의 과학혁명론에서 설명되지 않는 관찰은 이상 현상으로 이해할 수 있다. 정상과학은 기존 이론으로 대부분의 문제를 해결하지만, 일부 결과는 이론에 맞지 않는다. 이상 현상이 누적되고 기존 체계 안에서 해결되지 않으면 패러다임의 위기로 이어질 수 있다. 그러나 모든 이상 결과가 혁명을 만드는 것은 아니며, 상당수는 측정 오류나 제한적인 예외로 해결된다.
Imre Lakatos의 관점에서는 연구 프로그램이 새로운 현상을 예측하고 설명하는지, 아니면 실패가 나타날 때마다 사후적인 변명만 추가하는지를 구별해야 한다. 좋은 가설은 새로운 검증 기회를 만들지만, 나쁜 설명은 어떤 결과도 자신의 체계에 흡수한다. 이는 앞 장에서 다룬 반박 불가능한 가정과 이어진다.
심리학적으로는 인간의 인과 추론 편향이 중요하다. 사람은 눈에 띄는 사건에 의도적인 원인을 부여하고, 우연한 일치에서도 의미를 찾는다. 이 능력은 위험을 빠르게 감지하고 환경의 패턴을 학습하는 데 유용했지만, 존재하지 않는 연결을 만들어내기도 한다.
우연을 받아들이는 일이 어려운 이유는 우연이 설명처럼 느껴지지 않기 때문이다. 누군가와 동시에 같은 말을 하거나 생각한 사람이 연락해오면 특별한 관계를 느끼지만, 일치하지 않았던 수많은 순간은 세지 않는다. 선택적으로 기억된 성공 사례가 숨은 원인이 존재한다는 인상을 만든다.
법률과 수사에서도 대안 설명의 생성은 중요하다. 하나의 용의자에게 초점을 맞춘 수사는 모든 증거를 그 사람의 유죄와 연결할 위험이 있다. 같은 증거를 무죄나 다른 범인의 가능성으로 설명할 수 있는지 의도적으로 검토해야 한다. 증거에 맞는 이야기를 만드는 것과 그 이야기가 유일한 설명임을 보여주는 것은 다르다.
의학에서는 이를 감별 진단이라고 한다. 의사는 환자의 증상을 하나의 질병으로 즉시 확정하지 않고, 유사한 증상을 일으킬 수 있는 여러 질병을 목록으로 만든다. 검사 결과와 시간의 경과에 따라 가능성을 줄여간다. 흔한 질병을 먼저 고려하지만 위험한 가능성도 놓치지 않아야 한다.
온라인 정보 환경에서는 설명되지 않는 영상과 사진이 초자연적 주장이나 음모론으로 빠르게 연결된다. 영상의 촬영 각도와 편집, 압축 오류, 조명, 화면 밖의 상황을 확인하기 전에 특별한 설명이 확산된다. 인상적인 자료일수록 원본과 전체 맥락, 대안적 설명을 더 면밀히 검토해야 한다.
인공지능이 만들어낸 콘텐츠는 이 문제를 더욱 복잡하게 한다. 실제처럼 보이는 음성과 영상이 존재하므로 놀라운 기록만으로 사건을 확정하기 어려워졌다. 동시에 모든 불편한 기록을 인공지능 조작이라고 부정하는 태도도 반박 불가능한 주장으로 변할 수 있다. 자료의 생성 과정과 원본, 다른 독립적 증거를 확인하는 절차가 필요하다.
이 장의 윤리적 교훈은 경이로움을 없애지 않으면서도 쉽게 믿지 않는 태도다. 이상한 현상을 비웃는 냉소주의는 새로운 발견을 막을 수 있고, 놀라운 설명을 무조건 믿는 태도는 사기와 오류에 취약하다. 과학적 태도는 놀라움을 질문으로 바꾸고, 질문을 경쟁하는 가설로 바꾸며, 가설을 검증 가능한 예측으로 바꾸는 과정이다.
? 핵심 요약
1️⃣ 설명하기 어려운 현상을 만났을 때는 처음 떠오른 하나의 설명에 매달리지 말고 가능한 대안 설명을 넓게 만들어야 한다.
2️⃣ Sherlock의 추론은 여러 가설을 동시에 세운 뒤 새로운 자료와 맞지 않는 설명을 가지치기하듯 제거하는 과학적 사고를 보여준다.
3️⃣ 마술사의 초능력처럼 보이는 현상도 사전 정보, 조력자, 관객의 반응, 기억 오류, 조작과 우연 등 다양한 설명을 검토해야 한다.
4️⃣ 과학은 기존 지식과 다른 관찰에 열려 있어야 하지만, 새로운 주장을 사실로 인정하기 위해서는 반복과 통제, 독립적 검증을 요구해야 한다.
? 비교·확장
Foell의 접근은 Charles Sanders Peirce의 가추적 추론과 가장 직접적으로 연결된다. 설명되지 않는 관찰을 만났을 때 여러 가능한 원인을 상상하는 일은 새로운 지식이 시작되는 순간이다. 다만 가추는 정답을 증명하지 않고 검토할 후보를 제공할 뿐이므로 이후의 실험과 비교가 필수적이다.
Karl Popper의 반증주의는 가설을 줄여나가는 단계에서 중요하다. 설명이 관찰된 현상을 설명한다는 사실만으로는 충분하지 않다. 어떤 결과가 나타나면 그 설명을 포기해야 하는지를 제시해야 한다. 서로 다른 설명 가운데 더 엄격한 검증을 견딘 설명이 잠정적으로 살아남는다.
Thomas Kuhn은 설명되지 않는 관찰이 기존 패러다임과 충돌할 때 과학적 변화가 시작될 수 있다고 보았다. 그러나 과학 공동체는 하나의 이상 결과 때문에 즉시 기존 체계를 버리지 않는다. 오류 가능성을 확인하고 반복된 이상 현상이 쌓일 때 비로소 더 큰 변화를 검토한다.
James Randi의 활동은 과학적 실험에 실천적 회의주의가 필요한 이유를 보여준다. 초능력이나 영적 현상을 검증할 때 과학자는 자연 법칙과 통계에는 익숙하지만 전문적인 속임수에는 취약할 수 있다. 서로 다른 전문성을 가진 사람이 실험 설계를 함께 검토하면 설명의 사각지대를 줄일 수 있다.
David Hume의 기적 논의도 연결된다. Hume은 특별한 사건을 믿기 전에 자연 법칙이 깨졌을 가능성과 증언자가 속았거나 잘못 기억했을 가능성을 비교해야 한다고 보았다. 특별한 주장을 무조건 부정한 것이 아니라, 서로 다른 설명의 가능성을 비례적으로 평가하라고 요구한 것이다.
현대의 자료 분석에서는 다중 비교 문제가 중요한 확장 사례다. 많은 변수와 관계를 동시에 조사하면 우연히 특별해 보이는 결과가 나올 수 있다. 성공한 결과만 선택해 보고하면 우연이 발견처럼 보인다. 연구 계획과 분석 기준을 미리 공개하는 절차는 이런 오류를 줄인다.
언론 보도에서는 설명이 확정되지 않은 사건을 단일 원인으로 서둘러 규정하는 경향이 있다. 사건 초기의 정보는 불완전하지만 대중은 명확한 이야기를 요구한다. 이후 다른 증거가 나오더라도 처음 형성된 설명이 계속 영향을 미친다. 가능한 설명과 확인된 사실을 구분해 전달하는 보도 방식이 필요하다.
? 연결 독서 제안
✔️ Charles Sanders Peirce, Collected Papers
✔️ David Hume, An Enquiry Concerning Human Understanding
✔️ Thomas Kuhn, The Structure of Scientific Revolutions
✔️ Carl Sagan, The Demon-Haunted World
? 사유를 여는 질문
❓ 설명하기 어려운 현상을 만났을 때 나는 모른다는 상태를 유지하는가, 아니면 가장 먼저 떠오른 이야기를 사실로 받아들이는가?
❓ 어떤 특별한 주장을 검토할 때 우연과 오류, 조작을 포함한 대안 설명을 공정하게 비교하려면 어떤 절차가 필요한가?
❓ 과학이 새로운 관찰에 열려 있으면서도 근거 없는 주장을 걸러내기 위해서는 어느 정도의 증거 기준을 요구해야 하는가?
? Chapter 8. We Cling Too Strongly to Certain Assumptions | 우리는 어떤 가정에 지나치게 집착한다
✅ 장 개요
이 장은 사람이 여러 설명 가운데 하나를 선택한 뒤, 그 설명을 검증하기보다 지지하는 증거만 찾게 되는 사고의 함정을 다룬다. 우리는 어떤 현상을 마주하면 가장 먼저 떠오른 설명이나 직감적으로 자연스러운 설명을 선호한다. 문제는 그 설명을 잠정적인 가설이 아니라 사실처럼 받아들이는 순간부터 시작된다. 이후의 관찰과 질문은 가설을 시험하기 위한 도구가 아니라 이미 내린 결론을 확인하기 위한 수단으로 바뀐다.
Jens Foell은 심리학자 Peter Wason의 숫자 규칙 실험을 통해 이러한 경향을 보여준다. 참가자들은 2, 4, 6이라는 숫자를 보고 그 뒤에 숨은 규칙을 찾아야 했다. 많은 사람은 숫자가 2씩 증가한다는 가설을 세우고, 8, 10, 12나 20, 22, 24처럼 자신의 생각과 일치하는 숫자만 제시했다. 실험자는 모두 규칙에 맞는다고 답했으므로 참가자의 확신은 더욱 강해졌다. 그러나 실제 규칙은 단지 숫자가 계속 커진다는 것이었다. 참가자들이 자신의 가설을 반박할 수 있는 숫자 조합을 제시했다면 훨씬 빨리 정답에 도달할 수 있었다.
이 실험은 확증편향의 구조를 보여준다. 사람은 자신이 믿는 설명에 맞는 자료를 더 쉽게 발견하고 기억하며, 반대 자료는 예외나 오류로 처리한다. 가설과 일치하는 사례가 많아질수록 자신이 옳다고 느끼지만, 그 사례들이 경쟁 가설과도 일치한다면 실제로는 어느 설명도 구별하지 못한다. 2씩 증가하는 모든 수열은 숫자가 계속 커진다는 규칙에도 포함된다. 따라서 자신의 가설에 맞는 결과를 반복해서 얻는 것만으로는 그 가설이 가장 정확하다고 말할 수 없다.
저자는 이러한 문제를 빛보다 빠르게 이동한 것처럼 측정된 중성미자 사례로 확장한다. 오랫동안 현대 물리학은 어떤 정보나 물질도 진공 속 빛보다 빠르게 이동할 수 없다고 보았다. 그런데 한 실험에서 중성미자가 빛보다 빠르게 도착한 것처럼 나타났다. 이 결과가 사실이라면 오랫동안 검증된 물리학의 핵심 가정을 수정해야 했다. 연구진은 예상과 다른 결과를 숨기거나 즉시 기존 이론에 맞게 제거하지 않고 연구 공동체에 공개했다.
이후 여러 연구자와 실험팀이 결과를 검토하면서 측정 장치의 연결과 시간 계산 과정에서 문제가 발견되었다. 초광속 중성미자라는 혁명적인 발견은 유지되지 못했지만, 이 사건은 과학의 중요한 태도를 보여주었다. 아무리 오래되고 강하게 뒷받침된 가정도 원칙적으로 반박될 수 있어야 하며, 반대로 놀라운 새로운 결과도 반복 검증과 방법 점검을 통과하기 전에는 확정된 사실로 받아들여서는 안 된다.
이 장의 핵심은 단순히 고집을 버리라는 도덕적 충고가 아니다. Foell은 가설을 검증하는 방법 자체를 바꾸라고 요구한다. 가설을 지지하는 사례를 묻기보다, 내가 틀렸다면 어떤 결과가 나타날지를 먼저 생각해야 한다. 자신과 다른 생각을 가진 사람이 어떤 자료를 중요하게 보는지 살펴보고, 자신의 설명이 경쟁 설명보다 더 정확한 예측을 제공하는지 확인해야 한다. 과학적 사고는 자신의 믿음에 증거를 더하는 작업이 아니라, 그 믿음이 무너질 수 있는 조건을 의도적으로 찾아가는 작업이다.
? 상세 설명
Foell은 앞 장에서 설명할 수 없는 현상을 만났을 때 여러 대안적 설명을 만들어야 한다고 말했다. 그러나 가능한 설명을 여러 개 떠올렸다고 해서 문제가 자동으로 해결되는 것은 아니다. 사람은 그중 하나를 특별히 선호하며, 이후의 검증 과정에서도 모든 가설을 공정하게 다루지 않기 때문이다.
선호하는 설명은 흔히 가장 먼저 떠오른 설명이다. 처음 만들어진 가설은 이후에 들어오는 정보를 조직하는 틀이 된다. 새로운 자료는 그 틀 안에서 해석되고, 가설과 일치하는 부분은 중요하게 보이지만 맞지 않는 부분은 주변적인 예외로 밀려난다. 처음의 생각은 단순한 후보였지만 시간이 지나면서 판단의 기준으로 변한다.
직감적으로 자연스러운 설명도 강한 힘을 갖는다. 일상적인 경험과 잘 맞거나 이해하기 쉬운 설명은 사실일 가능성이 더 높게 느껴진다. 그러나 설명이 익숙하고 이해하기 쉽다는 사실은 그것이 실제로 현실을 더 정확하게 반영한다는 증거가 아니다. 현실은 우리의 직관과 다르게 작동할 수 있으며, 가장 단순해 보이는 설명이 중요한 변수를 놓칠 수도 있다.
✒️ 핵심 발췌
? “서로 다른 설명들을 저울질할 때, 우리는 보통 마음속에 ‘선호하는 설명’을 하나 가지고 있다. 가장 처음 떠올린 설명이거나, 직감적으로 가장 그럴듯하게 느껴지는 설명이라서 그렇다. 하지만 그렇다고 해서 그 설명이 사실일 가능성이 가장 높다는 뜻은 아니다.”
✍️ “사람은 여러 가능성을 비교한다고 생각하면서도 실제로는 처음 떠오르거나 가장 익숙한 설명을 중심에 놓는다. 그러나 심리적으로 자연스럽다는 사실과 현실적으로 정확하다는 사실은 구별해야 한다.”
➡️ 가설의 매력은 증거의 강도와 다르다. 좋은 판단을 위해서는 어떤 설명이 마음에 드는지가 아니라, 어떤 설명이 반대되는 자료까지 더 잘 견디는지를 살펴야 한다.
Peter Wason의 실험은 이러한 편향을 단순한 숫자 과제로 드러냈다. 참가자는 2, 4, 6이라는 숫자를 보고 숨겨진 규칙을 찾아야 했다. 자신이 만든 숫자 세 개를 실험자에게 제시하면 그 숫자가 규칙에 맞는지 아닌지를 들을 수 있었다. 참가자는 여러 번 질문한 뒤 규칙을 추측할 수 있었다.
대부분의 사람은 2, 4, 6을 보자 숫자가 2씩 증가한다는 가설을 세우기 쉽다. 이 가설을 확인하기 위해 8, 10, 12나 10, 12, 14 같은 숫자를 제시한다. 실험자는 그것이 규칙에 맞는다고 답한다. 참가자는 자신의 가설이 확인되었다고 느끼며 비슷한 숫자를 다시 제시한다.
그러나 이러한 확인은 2씩 증가한다는 규칙만 지지하는 것이 아니다. 숫자가 증가하기만 하면 된다는 더 넓은 규칙에도 맞고, 모든 숫자가 짝수여야 한다는 가설에도 맞으며, 각 숫자가 앞의 숫자보다 작지 않아야 한다는 규칙에도 맞을 수 있다. 하나의 결과가 여러 가설과 동시에 일치한다면, 그 결과는 어떤 가설이 더 정확한지를 구별하지 못한다.
✒️ 핵심 발췌
? “웨이슨은 실험 참가자들에게 숫자 몇 개를 보여주었다. 예를 들면, 2, 4, 6 같은 식으로 말이다. 그러고는 ‘이 숫자들은 어떤 규칙을 따르고 있다’라고 말해주었다. 참가자들의 임무는 자신만의 일련의 숫자를 만들어내는 것이었고, 웨이슨은 그 일련의 숫자가 해당 규칙을 따르는지 아닌지를 알려주었다.”
✍️ “참가자는 주어진 숫자에서 규칙을 추론하고, 자신이 만든 새로운 숫자를 이용해 그 추론을 시험해야 했다. 이 과제는 가설을 확인하는 것과 실제로 구별하는 것이 얼마나 다른지를 보여준다.”
➡️ 중요한 것은 정답을 즉시 맞히는 능력이 아니다. 어떤 질문을 던져야 경쟁하는 규칙들을 구별할 수 있는지를 생각하는 능력이다.
자신의 가설이 2씩 증가한다는 규칙이라면, 그것과 맞는 숫자보다 맞지 않을 가능성이 있는 숫자를 제시해야 한다. 예를 들어 3, 5, 7을 제시하면 짝수 규칙을 시험할 수 있고, 1, 2, 4를 제시하면 2씩 증가한다는 규칙을 시험할 수 있다. 10, 5, 1처럼 감소하는 숫자를 제시하면 숫자가 계속 커져야 한다는 실제 규칙의 경계를 확인할 수 있다.
이러한 질문은 자신의 가설을 틀렸다고 판정할 위험을 포함한다. 사람은 보통 이 위험을 피한다. 자신의 생각과 맞는 자료를 제시하면 실험자로부터 맞다는 응답을 들을 가능성이 높지만, 반대 사례를 제시하면 틀렸다는 말을 들을 수 있다. 심리적으로 확인은 만족스럽고 반박은 불편하다.
그러나 과학적 검증의 목적은 맞다는 응답을 많이 받는 것이 아니다. 가능한 설명들을 서로 구별하는 데 있다. 가설을 지지하는 결과가 반복되어도 다른 설명 역시 그 결과를 예상한다면 정보는 거의 늘어나지 않는다. 반면 하나의 반대 사례는 여러 가설을 즉시 제거할 수 있다.
✒️ 핵심 발췌
? “첫째, 내 가설을 시험해보기에 적절한 일련의 숫자는 무엇일까? 둘째, 언제 내 가설이 충분히 확립됐다고 할 수 있을까? 다시 말해, 언제쯤 나의 의견을 확신할 수 있고, 그것을 사실이라고 세상에 외칠 수 있을까?”
✍️ “가설을 검증하려면 어떤 사례를 제시해야 실제 규칙과 자신의 추측을 구별할 수 있는지 생각해야 한다. 확인 사례의 수보다 가설을 무너뜨릴 수 있는 시험을 통과했는지가 더 중요하다.”
➡️ 과학적 질문은 내가 옳다는 증거가 무엇인가에서 끝나지 않는다. 내가 틀렸다면 무엇이 관찰되어야 하는가라는 질문이 함께 있어야 한다.
실제 규칙은 단지 숫자가 계속 증가한다는 것이었다. 2씩 증가할 필요도 없었고, 짝수일 필요도 없었으며, 증가 폭이 일정할 필요도 없었다. 1, 5, 20이나 3, 4, 100처럼 앞의 숫자보다 뒤의 숫자가 크기만 하면 규칙에 맞았다.
참가자들이 복잡한 규칙을 예상한 것은 자연스러운 반응이었다. 처음 제시된 숫자가 일정한 간격으로 증가했기 때문에 그 간격에 의미가 있다고 생각하기 쉬웠다. 사람은 우연하거나 불필요한 특징에도 규칙성을 부여하고, 처음 발견한 패턴을 설명의 핵심으로 삼는다.
실험에서 29명 가운데 첫 번째 답변으로 올바른 규칙을 알아낸 사람은 여섯 명뿐이었다. 다수의 참가자는 자신의 가설을 확인하는 숫자들을 반복해서 제시했다. 실험자의 긍정적인 응답은 참가자의 확신을 강화했지만, 실제로는 잘못된 가설도 계속 확인될 수 있었다.
✒️ 핵심 발췌
? “이 실험에서 중요한 반전은 실제 규칙이 단지 ‘숫자가 계속 커진다’는 것뿐이었다는 점이다. 대부분의 참가자들은 더 복잡한 규칙을 예상했기 때문에 이 규칙이 매우 단순하게 보일 수 있다. 그 결과, 29명의 실험 참가자들 중 여섯 명만이 첫 번째 답변으로 올바른 규칙을 알아냈다.”
✍️ “참가자들은 일정한 증가 폭처럼 눈에 띄는 특징을 규칙의 핵심이라고 생각했다. 자신의 추측과 맞는 숫자만 제시했기 때문에 더 넓고 단순한 실제 규칙을 발견하기 어려웠다.”
➡️ 많은 확인은 잘못된 가설도 강하게 만들 수 있다. 가설과 일치하는 자료만 찾는다면 현실을 배운 것이 아니라 자신의 생각을 반복한 것에 불과할 수 있다.
이 실험은 확증편향이 지식의 부족보다 질문 방식에서 생길 수 있음을 보여준다. 참가자가 숫자를 계산하지 못해서 실패한 것이 아니다. 자신의 가설을 시험한다는 말의 의미를 잘못 이해했기 때문에 실패했다. 그들은 가설과 일치하는 사례를 찾았지만, 가설이 틀릴 가능성을 조사하지 않았다.
확증편향은 자료를 수집하는 단계에서부터 시작된다. 정치적 의견을 확인하고 싶은 사람은 자신과 비슷한 언론과 사람을 찾는다. 특정한 건강법을 믿는 사람은 효과를 보았다는 사례를 모으고 효과가 없었던 사람은 무시한다. 조직의 지도자는 자신의 전략에 동의하는 직원의 보고를 더 신뢰하며, 반대하는 의견을 저항이나 무능력으로 해석할 수 있다.
자료를 해석하는 단계에서도 편향이 작동한다. 같은 경제 수치가 발표되어도 한쪽은 정책 성공의 증거로, 다른 쪽은 실패를 감추는 통계로 해석할 수 있다. 결과가 자신의 예상과 일치하면 가설 덕분이라고 생각하고, 일치하지 않으면 특수한 상황이나 외부의 방해를 탓한다.
기억도 확증편향을 강화한다. 사람은 자신의 생각과 맞았던 예측은 쉽게 기억하지만 틀린 예측은 잊는다. 어떤 사람에 대해 무책임하다는 인상을 가진 뒤에는 그 사람이 약속을 어긴 장면이 오래 남지만, 약속을 지킨 수많은 순간은 평범한 일로 지나갈 수 있다. 기억 속 사례의 비율이 실제보다 한쪽으로 기울게 된다.
확증편향의 핵심은 사람이 의도적으로 거짓말한다는 데 있지 않다. 오히려 자신이 공정하게 자료를 보고 있다고 믿는 동안 발생한다. 우리는 반대 자료를 아예 보지 못하거나 중요하지 않은 것으로 분류하고, 자신과 일치하는 자료에는 더 높은 신뢰도를 부여한다.
Foell은 이에 대한 대응으로 가설을 의식적으로 반박하려는 목적을 가지고 시험해야 한다고 말한다. 자연스럽게 객관적인 사람이 되기를 기대해서는 부족하다. 처음부터 자신의 생각을 무너뜨릴 수 있는 질문과 자료를 의도적으로 설계해야 한다.
✒️ 핵심 발췌
? “우리는 우리의 가정을 의식적으로 그리고 의도적으로 반증하려는 목적을 가지고 시험해야 한다. ‘내가 틀렸다면 어떻게 될까?’라고 자문하는 것이다. 사실 이는 무척 어려운 일이다.”
✍️ “자신의 생각이 맞는지 확인하려는 태도만으로는 편향을 피하기 어렵다. 가설이 틀렸을 때 나타날 결과를 먼저 정하고, 그 결과를 적극적으로 찾아야 한다.”
➡️ 자기비판은 막연한 겸손이 아니라 구체적인 검증 절차다. 자신의 가설에 가장 불리한 사례를 찾는 일이 가설의 신뢰도를 높이는 가장 강한 방법이 될 수 있다.
어떤 가설을 반박하려면 먼저 그 가설이 예측하지 못하는 결과가 무엇인지 분명히 해야 한다. 모든 현상을 설명할 수 있는 가설은 반박할 수 없으므로 검증하기 어렵다. 좋은 가설은 설명하는 범위만큼 설명하지 못하는 범위도 명확하다.
예를 들어 특정 교육법이 모든 학생의 성취를 높인다고 주장한다면, 성취가 높아지지 않은 학생을 예외로 제거해서는 안 된다. 어느 기간 동안 어떤 능력이 얼마나 향상되어야 하는지 정하고, 향상되지 않을 경우 가설을 수정해야 한다. 다른 교육법이나 아무런 개입이 없는 집단과 비교해야 한다.
건강보조식품의 효과를 믿는 경우에도 마찬가지다. 복용 후 건강이 좋아지면 제품 덕분이고, 나빠지면 몸속 독소가 빠지는 과정이라고 설명한다면 가설은 반박되지 않는다. 복용하지 않은 집단과 비교하고, 어떤 지표가 언제까지 개선되어야 하는지를 미리 정해야 한다.
주식 투자에서도 상승한 사례만 기억하면 자신의 전략이 뛰어나다고 믿기 쉽다. 실패한 거래와 거래하지 않았지만 상승한 종목까지 포함해야 한다. 자신의 예측이 우연보다 정확했는지, 다른 전략보다 나았는지를 비교해야 한다.
과학에서 반대 증거를 중요하게 여기는 이유는 하나의 확실한 반례가 수많은 확인 사례보다 더 많은 정보를 줄 수 있기 때문이다. 모든 백조가 희다는 가설을 수천 마리의 흰 백조가 지지할 수 있지만, 검은 백조 한 마리는 그 보편적 주장을 무너뜨린다. 확인 사례는 가설과 양립할 뿐이며, 반대 사례는 가설의 한계를 직접 보여준다.
그러나 현실의 과학에서 하나의 반대 결과가 나타났다고 즉시 전체 이론을 폐기하는 것은 아니다. 측정 오류와 표본 문제, 실험 조건을 먼저 점검해야 한다. 중요한 것은 반대 결과를 자동으로 제거하지 않고, 이론과 방법 중 무엇을 수정해야 하는지 조사하는 것이다.
이 논점은 빛보다 빠른 중성미자 사례에서 가장 극적으로 드러난다. 현대 물리학에서 빛의 속도는 단순한 빠른 속도가 아니라 시간과 공간의 구조를 규정하는 핵심적인 한계로 이해된다. 물질이나 정보가 빛보다 빠르게 이동한다면 인과관계와 시간의 순서에 관한 기존 이론을 근본적으로 다시 생각해야 할 수 있다.
한 연구팀은 중성미자가 장거리 실험에서 예상보다 조금 일찍 도착한 것처럼 보이는 결과를 얻었다. 차이는 매우 작았지만 측정이 정확하다면 중성미자가 빛보다 빠르게 이동했다는 뜻이 될 수 있었다. 오랫동안 성공적으로 검증되어온 물리학과 충돌하는 결과였다.
연구진이 기존 이론에 지나치게 집착했다면 이 결과를 장비 오류로 간단히 처리하고 공개하지 않을 수도 있었다. 반대로 새로운 발견에 지나치게 집착했다면 시간 여행의 가능성을 열었다며 성급하게 확정했을 수 있다. 실제로 연구진은 결과를 발표하면서 다른 연구자들에게 분석과 검증을 요청했다.
이후 독립적인 연구자들은 기존의 천체 관측과 다른 실험 결과를 검토했다. 과거 초신성에서 방출된 중성미자가 빛보다 크게 빨리 도착하지 않았다는 관찰은 초광속 해석과 긴장을 이루었다. 또한 다른 실험팀이 같은 결과를 재현할 수 있는지도 중요했다.
장비와 시간 측정 체계를 조사하는 과정에서는 연결 상태와 시계 보정의 문제가 발견되었다. 작은 기술적 오류가 이동 시간을 잘못 계산하게 만들었고, 그것이 중성미자가 빛보다 빠르게 움직인 것처럼 보이는 결과로 이어졌다. 혁명적인 물리 현상보다 측정 체계의 문제가 더 타당한 설명으로 남았다.
✒️ 핵심 발췌
? “어떤 가정에 대해 지지하는 증거가 많을수록 우리는 그것을 더 신뢰하기 마련이다. 그러나 과학은 반대 증거에 더 큰 관심을 둔다. 그 가정을 반박하는 증거는 무엇일까?”
✍️ “오랫동안 성공적으로 사용된 이론도 반대 결과가 나타나면 검토 대상이 되어야 한다. 과학의 신뢰는 기존 가정을 지키는 데서가 아니라 반대 증거를 숨기지 않고 조사하는 데서 나온다.”
➡️ 중성미자 사례의 의미는 기존 물리학이 틀렸다는 데 있지 않다. 강한 이론조차 예외 없이 검증의 대상이며, 예상 밖의 결과가 나타나면 이론과 측정 방법을 함께 점검해야 한다는 데 있다.
측정 오류가 발견되었다고 해서 연구진의 시도가 무의미해지는 것은 아니다. 그들은 매우 정밀한 실험에서 예상과 다른 결과를 얻었고, 연구 공동체가 검토할 수 있도록 공개했다. 과학은 오류가 전혀 발생하지 않는 활동이 아니라 오류가 드러나고 수정될 수 있는 구조를 가진 활동이다.
물론 발표 전에 장비를 더 철저히 점검했어야 한다는 비판도 가능하다. 새로운 결과의 사회적 파급력이 큰 만큼 더 많은 내부 검증이 필요했다는 주장이다. 반대로 연구팀 내부에서 해결하지 못한 문제를 외부에 공개하고 공동 검증을 요청한 것은 과학적으로 정당했다는 평가도 가능하다.
Foell은 이 사건을 단순히 실험실의 실수로 조롱하지 않는다. 연구팀은 자신들의 결과가 기존 이론과 충돌한다는 사실을 알면서도 숨기지 않았다. 다른 연구자들은 기존 이론을 무조건 방어하지 않고 실제로 결과를 검토했다. 마침내 방법상의 문제가 발견되면서 결과가 수정되었다.
✒️ 핵심 발췌
? “실험실 팀이 당혹스러운 실수를 저질렀다고 봐야 할지에 대해서는 논란의 여지가 있다. 이들은 전례 없는 정밀도로 측정을 수행했고, 수수께끼 같은 결과를 발견한 후 연구 공동체에 도움을 요청했다. 하지만 발표 전에 더 철저한 점검을 했어야 한다는 비판도 있었다.”
✍️ “초광속 측정은 최종적으로 오류로 밝혀졌지만, 연구진은 이해할 수 없는 결과를 숨기지 않고 공개적인 검토에 맡겼다. 오류를 발견하고 수정하는 과정도 과학의 핵심적인 일부다.”
➡️ 과학자를 평가할 때 결과가 틀렸다는 사실만 보는 것은 충분하지 않다. 불확실성을 어떻게 공개했고, 반대 검증을 허용했으며, 오류가 드러난 뒤 결론을 수정했는지를 함께 보아야 한다.
중성미자 사례는 Wason의 숫자 실험과 반대 방향에서 같은 교훈을 준다. Wason의 참가자들은 자신이 세운 가설과 일치하는 사례만 찾았기 때문에 잘못된 규칙에 집착했다. 중성미자 연구에서는 오랫동안 확립된 빛의 속도 한계와 충돌하는 자료가 나타났고, 연구자들은 그것을 검토해야 했다.
어떤 경우에는 새 가설에 집착하고, 다른 경우에는 기존 가설에 집착할 수 있다. 중요한 것은 새롭거나 오래되었다는 이유로 특정 가설을 우대하지 않는 것이다. 기존 이론은 오랜 검증을 견뎠기 때문에 높은 신뢰도를 가지지만 절대적인 면책을 받지는 않는다. 새로운 결과는 흥미롭지만 한 번의 측정만으로 기존 이론 전체를 대체할 수는 없다.
신뢰도는 증거가 축적되는 과정에 따라 달라져야 한다. 수많은 독립적인 관찰과 실험을 견딘 이론에는 높은 초기 신뢰를 부여하는 것이 합리적이다. 따라서 그것과 충돌하는 단 한 번의 결과가 나타났다면 먼저 측정 오류와 대안 설명을 점검해야 한다. 이것은 기존 이론에 대한 맹목적 집착이 아니라 증거의 전체 무게를 고려하는 판단이다.
그러나 반대 결과가 여러 연구에서 반복되고 기존 이론으로 설명할 수 없다면 이론을 수정해야 한다. 기존 이론의 권위와 역사, 연구자의 경력과 조직의 이해관계가 반대 증거를 억누르는 이유가 되어서는 안 된다.
Foell은 다른 사람과의 교류가 이러한 편향을 줄이는 데 도움을 준다고 말한다. 자신의 가설에 익숙한 사람은 그 가설의 약점을 발견하기 어렵다. 반면 다른 관점을 가진 사람은 우리가 당연하게 여긴 전제를 질문하고, 우리가 중요하지 않다고 처리한 자료를 핵심 증거로 볼 수 있다.
✒️ 핵심 발췌
? “아무리 오랫동안, 아무리 확실하게 입증된 가정이라도 새로운 발견에 의해 반박될 수 있다. 이럴 때는 다른 사람들과의 교류가 도움이 된다. 다른 사람들은 어떤 관점을 가지고 있으며, 그들은 어째서 그 관점을 더 신뢰하는 걸까?”
✍️ “오랜 기간 지지받은 가정도 반대 자료 앞에서는 다시 검토해야 한다. 자신과 다른 관점을 가진 사람의 논리와 증거를 살펴보면 혼자서는 발견하기 어려운 가설의 약점을 찾을 수 있다.”
➡️ 지적 다양성은 단순히 여러 의견을 존중하기 위한 장식이 아니다. 서로 다른 가정과 오류 가능성을 드러내는 실질적인 검증 장치다.
다른 의견을 듣는 것만으로 편향이 자동으로 사라지지는 않는다. 사람은 반대 의견을 들을 때 상대방의 약점만 찾고 자신의 입장은 더 강하게 방어할 수 있다. 따라서 논쟁의 목적을 상대를 이기는 것에서 자신의 가설을 시험하는 것으로 바꾸어야 한다.
상대가 어떤 근거를 제시하는지, 그 자료가 자신의 가설과 실제로 양립할 수 있는지, 같은 자료를 다른 설명으로 해석할 수 있는지를 물어야 한다. 자신의 설명이 옳다면 상대의 자료가 왜 나타났는지를 설명할 수 있어야 한다. 설명할 수 없다면 그 부분은 가설의 약점으로 인정해야 한다.
조직에서는 반대 의견을 제시할 공식적인 역할을 만들 수 있다. 하나의 계획을 지지하는 팀과 실패 가능성을 찾는 팀을 분리하거나, 중요한 결정을 앞두고 계획이 실패했다고 가정한 뒤 원인을 미리 찾아보는 방법을 사용할 수 있다. 익명으로 의견을 수집하거나, 직급이 낮은 사람도 불이익 없이 문제를 제기할 수 있는 절차도 필요하다.
연구에서는 가설과 분석 계획을 자료를 보기 전에 등록하는 방식이 도움이 된다. 결과를 본 뒤 자신의 설명에 맞는 분석만 선택하면 확증편향이 개입하기 쉽다. 사전에 어떤 결과를 성공으로 볼지, 어떤 자료를 제외할지, 어떤 통계 분석을 사용할지 정하면 결과에 맞춰 기준을 바꾸는 일을 줄일 수 있다.
독립적인 재현도 중요하다. 같은 연구팀은 원래 가설과 방법에 익숙하고 결과에 대한 이해관계를 가질 수 있다. 다른 연구자가 새로운 표본과 장비를 이용해 같은 결과를 얻는다면 가설의 신뢰도가 높아진다. 반대로 결과가 반복되지 않으면 표본과 방법, 숨은 조건을 다시 살펴야 한다.
개인의 일상에서도 반증적 질문을 사용할 수 있다. 어떤 사람이 나를 무시한다고 생각한다면 그 사람이 존중을 보여준 사례가 있는지 찾아볼 수 있다. 특정 음식이 건강을 개선했다고 믿는다면 같은 기간에 바뀐 운동과 수면, 치료와 스트레스를 함께 살펴야 한다. 자신의 정치적 판단을 지지하는 기사뿐 아니라 신뢰할 만한 반대 자료를 읽어야 한다.
이러한 태도는 자신의 모든 생각을 끊임없이 부정하라는 뜻이 아니다. 어떤 판단도 내리지 못하고 모든 가능성을 같은 수준으로 유지하면 행동이 불가능해진다. 필요한 것은 현재 가장 잘 뒷받침된 설명을 잠정적으로 선택하되, 그 설명을 수정할 조건을 열어두는 것이다.
가설을 의심한다고 해서 자신감이 사라지는 것도 아니다. 자신의 생각이 엄격한 반대 검증을 견뎠다면 단순한 확인 사례를 많이 모은 것보다 더 강한 확신을 가질 수 있다. 반대 증거를 피해서 얻은 확신은 불안정하지만, 반대 가능성을 검토한 뒤 얻은 확신은 더 신뢰할 수 있다.
Foell이 강조하는 과학적 태도는 확신의 부재가 아니라 확신의 조건을 분명히 하는 태도다. 나는 이 생각을 왜 믿는가, 어떤 자료가 나타나면 생각을 바꿀 것인가, 경쟁 설명은 무엇이며 어떤 예측에서 차이가 나는가를 말할 수 있어야 한다.
✨ 해설과 통찰
이 장의 철학적 핵심은 인간이 진실을 찾는 존재이면서 동시에 자신의 믿음을 보호하는 존재라는 데 있다. 사람은 자료를 공정하게 평가한다고 생각하지만, 실제로는 이미 가진 설명에 맞게 자료를 선택하고 해석한다. 이 문제는 지능이나 교육이 부족한 사람에게만 나타나는 것이 아니다. 전문지식이 많을수록 자신의 가설을 방어하는 더 정교한 논리를 만들 수도 있다.
Francis Bacon은 인간의 정신이 이미 받아들인 의견을 지지하는 사례를 더 잘 찾아내고, 반대 사례는 무시하거나 가볍게 여긴다고 지적했다. Wason의 실험은 이러한 오래된 철학적 통찰을 실험적인 형태로 보여준다. 인간은 자신의 생각을 시험한다고 하면서 사실은 확인하는 자료만 선택한다.
Karl Popper의 반증주의와도 직접 연결된다. 과학자는 자신의 이론을 증명하는 사례를 계속 모으기보다, 이론이 틀렸음을 보여줄 수 있는 엄격한 시험을 설계해야 한다. 살아남은 이론은 완전히 참으로 증명된 것이 아니라 현재까지의 반박 시도를 견딘 이론이다.
그러나 Thomas Kuhn의 관점에서 보면 과학자는 반대 사례 하나가 나타났다고 기존 이론을 즉시 폐기하지 않는다. 모든 실험은 장비와 보조 가정, 분석 방법에 의존하기 때문이다. 중성미자 사례에서 연구자들이 먼저 측정 장치를 점검한 것은 합리적이었다. 오래 검증된 이론과 한 번의 이상 결과를 같은 무게로 다루는 것도 적절하지 않다.
Imre Lakatos는 이론을 보호하는 수정이 언제 정당한지 구별하려 했다. 수정이 새로운 예측과 연구를 가능하게 한다면 발전적인 대응일 수 있지만, 반대 결과가 나타날 때마다 사후적인 변명만 추가한다면 퇴행적인 대응이다. 가설을 보호하는 것과 가설에 집착하는 것의 차이는 수정이 새로운 검증 기회를 만드는지에 달려 있다.
심리학적으로 확증편향은 인지적 효율성과 연결된다. 모든 문제에서 가능한 가설을 처음부터 다시 검토하면 많은 시간과 에너지가 든다. 익숙한 설명을 사용하면 빠르게 판단하고 행동할 수 있다. 대부분의 일상에서는 이러한 방식이 유용하지만, 중요한 결정과 복잡한 문제에서는 체계적인 오류를 낳을 수 있다.
감정과 정체성도 가설에 대한 집착을 강화한다. 어떤 믿음이 개인의 정치적 소속이나 종교, 직업적 명성과 연결되면 가설을 수정하는 일이 단순한 지적 변화가 아니라 자신이 누구인지를 위협하는 경험이 된다. 반대 증거는 정보가 아니라 공격처럼 느껴질 수 있다.
조직에서는 권력과 책임이 확증편향을 더욱 강하게 만든다. 지도자가 공개적으로 지지한 계획이 실패할 가능성을 인정하면 자신의 판단력과 권위가 흔들릴 수 있다. 이미 많은 비용을 투자한 사업일수록 철회하기 어렵고, 부정적인 자료를 일시적인 문제로 해석하게 된다. 가설에 대한 집착은 매몰비용과 결합해 장기적인 실패를 키운다.
정치에서는 자신의 진영에 유리한 수치를 사실로 받아들이고 불리한 수치는 조작이나 예외로 처리하는 현상이 반복된다. 같은 기준을 상대 진영에 적용하지 않으면 비판적 사고는 진실을 찾는 도구가 아니라 정파적 무기가 된다. 과학적 태도는 상대방의 오류만 찾는 것이 아니라 자신이 지지하는 주장에 더 엄격한 검증을 적용하는 태도다.
온라인 환경은 확증편향을 강화한다. 추천 체계는 사용자가 이미 좋아하고 동의하는 정보를 반복적으로 보여준다. 같은 의견이 여러 계정과 영상에서 반복되면 독립적인 증거가 많아진 것처럼 느껴지지만, 실제로는 하나의 출처가 복제되었을 수 있다. 반복의 빈도와 증거의 독립성을 구별해야 한다.
인공지능도 사용자의 가설을 강화할 수 있다. 질문에 특정 결론을 전제하면 인공지능은 그 결론을 뒷받침하는 논리를 생성할 수 있다. 반대 사례와 대안 설명을 명시적으로 요청하지 않으면, 사용자는 자신의 생각이 객관적으로 검증되었다고 착각할 수 있다. 도구를 사용하는 사람의 질문 구조가 결과의 편향을 결정한다.
과학적 공동체가 개인보다 더 신뢰받는 이유는 연구자가 편향이 없기 때문이 아니다. 서로 다른 이해관계와 가설을 가진 사람들이 공개적으로 비판하고, 반복 실험과 동료 검토를 통해 오류를 찾기 때문이다. 객관성은 완벽하게 중립적인 한 사람의 마음에서 나오는 것이 아니라, 서로의 가정을 시험하는 공동 절차에서 형성된다.
이 장의 윤리적 의미는 자신의 믿음에 대한 책임이다. 어떤 주장을 믿는 것은 자유지만, 그 주장이 다른 사람의 건강과 권리, 정책과 처벌에 영향을 준다면 믿음을 검증할 의무가 생긴다. 자신에게 유리한 사례만 골라 강한 결론을 내리는 것은 단순한 인지 오류를 넘어 타인에게 피해를 줄 수 있는 행위다.
Foell의 최종적인 요청은 지적 용기다. 자신의 가설을 지지하는 자료를 찾는 일은 편안하지만, 자신이 틀렸음을 보여줄 자료를 찾는 일은 불편하다. 그러나 그 불편함을 감수하지 않으면 우리는 현실을 배우지 못하고 자기 생각의 반복 속에 머문다.
? 핵심 요약
1️⃣ 사람은 여러 설명을 비교한다고 생각하면서도 처음 떠오르거나 직감적으로 자연스러운 하나의 가설을 특별히 선호한다.
2️⃣ Wason의 숫자 실험은 사람들이 자신의 가설과 맞는 사례만 찾아 잘못된 규칙을 계속 확신하는 확증편향을 보여준다.
3️⃣ 가설을 제대로 검증하려면 지지 사례보다 내가 틀렸다면 어떤 결과가 나타날지를 먼저 정하고 반대 사례를 적극적으로 찾아야 한다.
4️⃣ 빛보다 빠른 중성미자 사례는 오래 검증된 이론도 반대 자료 앞에서 다시 검토되어야 하지만, 놀라운 결과 역시 반복과 방법 점검을 거쳐야 함을 보여준다.
? 비교·확장
Foell의 논의는 Francis Bacon의 우상론과 연결된다. Bacon은 인간의 정신이 이미 믿는 생각을 확인하는 자료를 더 쉽게 받아들이고, 반대 자료는 무시하는 경향이 있다고 보았다. 그는 자연을 이해하려면 자신의 마음이 만든 편견을 경계해야 한다고 주장했다.
Karl Popper는 확인 사례를 축적하는 방식만으로 보편적 이론을 증명할 수 없다고 보았다. 과학적 이론은 자신을 무너뜨릴 수 있는 예측을 제시해야 하며, 강한 반박 시도를 견딜수록 신뢰도가 높아진다. Wason의 참가자들이 반박 사례를 찾지 않은 것은 Popper가 비판한 확인 중심의 사고와 정확히 맞닿아 있다.
Thomas Kuhn은 과학 공동체가 기존 패러다임을 일정 기간 보호하는 것이 정상적인 연구에 필요하다고 설명했다. 모든 이상 결과에 따라 이론을 바꾸면 안정적인 지식 축적이 어렵다. 문제는 반대 결과가 반복되는데도 기존 체계를 절대화하고, 모든 모순을 주변적 오류로 처리할 때 발생한다.
Daniel Kahneman은 인간이 일관되고 이해하기 쉬운 이야기를 선호한다고 보았다. 첫 설명이 만들어지면 이후 정보는 그 이야기와 맞도록 배열된다. 설명의 완결성이 증거의 충분함보다 강한 확신을 만들 수 있다.
Charles Darwin은 자신의 이론에 반대되는 사실을 발견하면 바로 기록하려 했다고 알려져 있다. 자신에게 유리한 사실은 오래 기억되지만 반대 사실은 쉽게 잊힌다는 점을 인식했기 때문이다. 이는 개인이 확증편향을 줄이기 위해 사용할 수 있는 실천적 방법이다.
조직 경영에서는 실패를 전제로 검토하는 방법이 유용하다. 중요한 결정을 내리기 전에 계획이 이미 실패했다고 가정하고, 실패 원인을 각자가 독립적으로 적는 방식이다. 이러한 절차는 팀 전체가 성공 가설에 동조하면서 위험을 놓치는 현상을 줄일 수 있다.
법률에서는 유죄 가설에 집중한 수사가 무죄를 보여주는 증거를 놓칠 위험이 있다. 수사기관은 용의자의 유죄를 뒷받침하는 자료뿐 아니라 무죄 가능성과 다른 범인의 설명을 함께 검토해야 한다. 반대 증거의 공개는 공정한 재판의 핵심 조건이다.
의학에서는 진단이 한번 내려진 뒤 모든 증상을 그 진단에 맞게 해석하는 고정 오류가 발생할 수 있다. 의사는 초기 진단과 맞지 않는 증상을 예외로 처리하지 말고 다른 질환의 가능성을 다시 검토해야 한다. 새로운 의사가 환자의 기록을 독립적으로 평가하는 방법도 도움이 된다.
? 연결 독서 제안
✔️ Francis Bacon, Novum Organum
✔️ Karl Popper, Conjectures and Refutations
✔️ Daniel Kahneman, Thinking, Fast and Slow
✔️ Philip Tetlock, Superforecasting
? 사유를 여는 질문
❓ 내가 최근에 강하게 믿게 된 설명을 틀렸다고 판정할 수 있는 구체적인 증거는 무엇인가?
❓ 자신의 가설을 확인하는 자료와 경쟁 가설을 실제로 구별하는 자료는 어떻게 다른가?
❓ 개인과 조직이 반대 의견을 형식적으로 듣는 데 그치지 않고 실제 판단에 반영하려면 어떤 구조가 필요한가?
? Chapter 9. We Do Not Measure What We Think We Measure | 우리는 우리가 측정한다고 생각하는 것을 측정하지 않는다
✅ 장 개요
이 장은 과학적 측정의 결과가 정확하더라도, 그 결과에 붙인 해석은 잘못될 수 있다는 문제를 다룬다. 연구자는 어떤 행동이나 점수를 측정한 뒤 그것이 의지력과 지능, 정신건강과 같은 보이지 않는 특성을 나타낸다고 해석한다. 그러나 실제로 관찰된 행동은 연구자가 의도한 특성뿐 아니라 가정환경과 경제적 조건, 실험자에 대한 신뢰, 교육 경험, 사회적 낙인과 같은 다른 요인의 영향을 받을 수 있다. 숫자를 정확하게 얻었다는 사실만으로 무엇을 측정했는지가 자동으로 확정되는 것은 아니다.
Jens Foell은 이 문제를 유명한 마시멜로 실험을 중심으로 설명한다. 원래 연구에서 유치원생들은 눈앞의 간식을 바로 먹거나 실험자가 돌아올 때까지 기다린 뒤 두 번째 간식을 받을 수 있었다. 기다리는 데 성공한 아이들은 이후 학업과 사회생활에서도 더 좋은 결과를 보이는 것으로 나타났다. 이 결과는 어린 시절의 자제력이 장래의 성공을 예측한다는 매력적인 이야기로 확산되었다.
그러나 더 크고 다양한 표본을 사용한 후속 연구는 결과가 그렇게 단순하지 않음을 보여주었다. 아이가 기다릴 수 있는지는 개인의 의지력만이 아니라 부모의 소득과 가정환경, 실험자의 약속을 신뢰할 수 있는지에 따라 달라질 수 있었다. 자원이 불안정한 환경에서 성장한 아이에게는 지금 손에 들어온 간식을 먹는 것이 충동적인 실패가 아니라 합리적인 선택일 수 있다. 기다렸을 때 나중에 더 많은 보상이 실제로 주어진다는 믿음이 없다면 지연된 보상을 선택할 이유가 줄어든다.
이러한 결과는 마시멜로 실험의 측정값이 거짓이었다는 뜻이 아니다. 아이들이 얼마나 오래 기다렸는지는 실제로 측정되었고, 기다린 시간과 이후 삶의 일부 결과 사이에도 통계적 관계가 나타났다. 문제는 기다린 시간을 순수한 의지력의 척도로 해석한 데 있다. 실험은 자제력과 함께 경제적 안정성, 성인에 대한 신뢰, 미래 보상을 기대할 수 있는 환경까지 동시에 측정했을 가능성이 있다.
저자는 이 문제를 아이큐 검사와 정신질환 통계로 확장한다. 아이큐 점수가 지능만을 반영한다고 자신할 수 있는지, 혹은 교육 기회와 언어 경험, 시험에 익숙한 정도까지 함께 반영하는지 질문해야 한다. 정신질환으로 인한 결근율이 증가했다는 통계도 실제 질환의 급증을 뜻할 수 있지만, 낙인이 줄어들어 사람들이 이전보다 솔직하게 진단과 결근 사유를 밝히게 된 결과일 수도 있다.
이 장의 핵심은 자료를 부정하라는 데 있지 않다. 관찰된 수치와 그 수치에 부여한 의미를 분리하라는 것이다. 측정 도구가 무엇을 기록했는지, 연구자가 무엇을 측정하려 했는지, 그 사이에 어떤 다른 요인이 개입할 수 있는지를 확인해야 한다. 과학적 해석은 숫자에 이름을 붙이는 일이 아니라, 그 숫자가 실제로 어떤 현상을 나타내는지를 반복해서 검증하는 과정이다.
? 상세 설명
Foell은 2011년 독일 Heidelberg에서 Philip Zimbardo의 강의를 들었던 경험으로 이 장을 시작한다. Zimbardo는 독일어권에서도 널리 알려진 심리학자였다. 그의 심리학 교과서는 오랫동안 대학에서 표준 교재로 사용되었고, 그는 Stanford 감옥 실험으로도 유명했다.
Stanford 감옥 실험은 평범한 사람들이 특정한 사회적 역할과 상황에 놓이면 잔인한 행동을 할 수 있다는 주장과 연결되어 널리 알려졌다. 참가자들을 교도관과 죄수 역할로 나누자 교도관 역할의 일부 참가자가 폭력적이고 가학적인 행동을 보였고, 실험은 예정된 기간보다 일찍 중단되었다고 전해졌다.
그러나 Foell은 이 실험의 방법과 해석에 심각한 문제가 있었다고 지적한다. 연구자가 교도관 역할의 행동에 개입했을 가능성이 있고, 참가자들이 역할에 맞는 행동을 연기했을 가능성도 있었다. 실험이 실제 인간 행동을 자연스럽게 관찰했다기보다 연구진이 기대한 상황을 시연한 것에 가까울 수 있다는 비판이 제기되었다.
이 배경은 마시멜로 실험과 중요한 대조를 이룬다. 감옥 실험의 일반적인 해석은 특정 상황이 평범한 사람을 잔인하게 만들 수 있다는 것이었다. 반면 마시멜로 실험은 아주 어린 시절에 나타난 개인의 성향이 장기간에 걸쳐 삶의 결과를 예측한다는 이야기로 받아들여졌다. 한쪽은 상황의 힘을 강조하고 다른 쪽은 안정적인 개인 특성의 힘을 강조했다.
Foell은 이처럼 서로 반대 방향으로 보이는 유명 연구들이 모두 겉으로 드러난 결과보다 복잡하다고 말한다. 연구자가 무엇을 측정했다고 생각하는지와 실험이 실제로 어떤 조건을 포착했는지를 구별하지 않으면, 매력적인 심리학적 이야기가 자료보다 앞서갈 수 있다.
✒️ 핵심 발췌
? “기회가 있을 때마다 나는 다른 연구자들의 강의를 들으려 한다. 이들의 열렬한 팬은 아니더라도 말이다. 이 말을 하는 이유는, 2011년에 독일 하이델베르크에서 필립 짐바르도 교수를 강의를 들었기 때문이다.”
✍️ “저자는 유명 연구자의 권위나 연구의 대중적 명성만을 받아들이지 않고, 실제 실험이 무엇을 보여주었는지 다시 살펴보려 한다. 잘 알려진 설명도 측정과 해석의 관계를 검토해야 한다.”
➡️ 유명한 연구는 반복적으로 소개되는 과정에서 하나의 명확한 교훈으로 단순화되기 쉽다. 그러나 연구가 측정한 행동과 대중이 그 행동에 붙인 심리적 의미는 서로 다를 수 있다.
마시멜로 실험은 1960년대 후반과 1970년대 초반 Stanford University에서 시작되었다. 연구의 원래 목적은 어린아이들이 즉각적인 보상을 포기하고 더 큰 미래 보상을 기다릴 수 있는지를 관찰하는 것이었다. 아이에게 사탕이나 마시멜로 하나를 주고 바로 먹을 수 있다고 말한다. 그러나 실험자가 돌아올 때까지 먹지 않고 기다리면 두 번째 간식을 받을 수 있었다.
연구자들은 아이들이 기다리는 동안 어떤 행동을 하는지 관찰했다. 간식을 계속 바라보는 아이는 유혹을 견디기 어려워했고, 눈을 돌리거나 노래를 부르거나 다른 생각을 하는 아이는 더 오래 기다리는 경향을 보였다. 주의를 다른 곳으로 돌리는 전략이 즉각적인 욕구를 조절하는 데 도움이 된 것이다.
이 초기 관찰만으로도 중요한 통찰을 얻을 수 있었다. 자제력은 단순히 강한 의지를 타고나는 문제가 아니라, 유혹의 대상에서 주의를 돌리고 상황을 다르게 구성하는 전략과 관련될 수 있었다. 그러나 마시멜로 실험이 세계적으로 유명해진 이유는 이러한 구체적인 행동 전략 때문이 아니었다.
연구자들이 참가했던 아이들의 성장 과정을 추적하면서 기다린 시간과 이후 삶의 결과 사이에 관계가 있다는 보고가 나왔기 때문이다. 오래 기다린 아이는 학교 성적과 시험 점수, 건강과 사회적 적응에서 더 나은 결과를 보이는 것으로 해석되었다. 작은 실험실 장면이 한 사람의 미래를 예측하는 시험처럼 받아들여지기 시작했다.
✒️ 핵심 발췌
? “하지만 정작 이 연구는 마시멜로와 관련이 없었다. 사실 처음에는 그런 이름으로 부르지도 않았다. 이 연구는 유치원생들의 의지력에 대해 알아볼 목적으로 이루어졌다.”
✍️ “마시멜로는 실험에 사용된 여러 보상 가운데 하나였을 뿐이며, 연구자가 알고자 했던 것은 아이가 즉각적인 욕구를 얼마나 조절할 수 있는가였다. 이후 이 행동은 개인의 안정적인 의지력을 나타내는 지표로 해석되었다.”
➡️ 측정 대상의 이름은 연구의 해석을 결정한다. 기다린 시간을 의지력이라고 부르는 순간, 행동에 영향을 준 환경과 신뢰, 과거 경험은 배경으로 밀려날 수 있다.
마시멜로 실험의 대중적 해석은 매우 매력적이었다. 어린 시절의 의지력이 이후의 성공을 결정한다면 부모와 교육자는 아이에게 인내와 자기통제를 가르쳐야 한다. 사회적 성공과 실패도 개인이 유혹을 견디고 장기적인 목표를 추구할 수 있는지에 따라 설명할 수 있다.
이 해석은 성공한 사람에게는 자신의 성취가 뛰어난 자기통제의 결과라는 만족감을 준다. 어려움을 겪는 사람에게는 충동을 억제하지 못한 개인적 성향이 원인이라는 설명을 제공한다. 복잡한 사회적 조건과 불평등을 개인의 심리적 능력으로 바꿀 수 있는 간단한 서사다.
그러나 원래 연구의 참가자들은 사회 전체를 대표하지 않았다. 표본에는 Stanford University에서 근무하는 부모의 아이들이 많이 포함되어 있었다. 이들은 비교적 안정적인 경제환경과 교육 자원을 가진 가정에서 성장했을 가능성이 높다. 실험자가 약속한 보상이 실제로 제공될 것이라는 믿음도 상대적으로 강했을 수 있다.
표본이 특정한 사회집단에 집중되어 있으면 그 집단에서 발견한 관계를 다른 환경의 아이들에게 그대로 적용하기 어렵다. 같은 행동도 서로 다른 환경에서는 다른 의미를 가질 수 있기 때문이다. 안정적인 가정에서 간식을 기다리지 못한 행동과 자원이 불안정한 가정에서 즉시 먹은 행동을 같은 충동성으로 해석해서는 안 된다.
Foell은 마시멜로 실험의 재현 연구가 이러한 문제를 드러냈다고 설명한다. 후속 연구진은 원래 연구보다 더 많은 참가자를 모집하고, 경제적 배경과 부모의 특성처럼 결과에 영향을 줄 수 있는 여러 변수를 고려했다.
✒️ 핵심 발췌
? “마시멜로 실험 재현 연구자들은 원래 실험에 비해 더 다양한 표본을 사용하고, 더 많은 교란 변수를 고려하는 데 노력을 기울였다. 교란 변수란 연구 결과를 변경할 수 있는 방해 요소를 말한다. 새로운 연구 그룹은 같은 실험을 더 다양한 표본을 대상으로 진행했다.”
✍️ “후속 연구는 더 폭넓은 가정환경의 아이들을 포함하고, 기다리는 행동과 미래의 결과에 동시에 영향을 줄 수 있는 다른 요인을 분석했다. 이를 통해 의지력으로 보였던 효과의 일부가 사회경제적 조건과 연결되어 있음이 드러났다.”
➡️ 재현은 단순히 같은 실험을 반복하는 데 그치지 않는다. 다른 표본과 더 엄격한 조건을 사용해 처음의 해석이 특정한 집단과 숨은 변수에 의존했는지를 확인하는 과정이다.
새로운 연구에서는 두 번째 간식을 얻기 위해 기다린 아이들의 장기적 이점이 원래 연구에서 보고된 것보다 훨씬 작게 나타났다. 효과가 완전히 사라진 것은 아니었지만, 원래 결과의 절반 정도로 줄어든 것으로 설명되었다. 이는 기다리는 행동이 미래와 아무 관계가 없다는 의미는 아니었다. 다만 처음 주장된 강력한 예측력은 과장되었을 가능성이 있었다.
연구자들이 부모의 교육과 소득, 가정환경을 고려하자 마시멜로 대기 시간의 독립적인 설명력은 더욱 줄어들었다. 경제적으로 안정된 가정의 아이는 장기적인 보상을 신뢰하는 경험을 더 자주 할 수 있다. 부모가 나중에 해주겠다고 약속한 일이 실제로 이루어지는 환경에서는 기다리는 행동이 합리적이다.
반대로 불안정한 환경의 아이는 미래의 보상이 언제나 제공되는 것은 아니라는 경험을 했을 수 있다. 음식과 자원이 제한적이거나 성인의 약속이 자주 지켜지지 않는다면, 지금 확보할 수 있는 보상을 선택하는 편이 더 합리적일 수 있다. 실험자가 돌아와 두 번째 마시멜로를 준다는 말을 믿지 않는 것이 충동성이나 의지 부족의 결과라고 단정하기 어렵다.
이러한 차이는 마시멜로 실험이 아이 내부의 능력만을 측정하지 않았음을 보여준다. 기다리는 시간은 자기통제와 주의 분산 능력뿐 아니라, 미래 보상에 대한 신뢰와 환경의 안정성까지 반영할 수 있다. 동일한 행동이 개인 특성과 사회적 경험이 결합된 결과인 것이다.
✒️ 핵심 발췌
? “새로운 연구 그룹은 같은 실험을 더 다양한 표본을 대상으로 진행했다. 그 결과, 두 번째 마시멜로를 받는 데 성공한 아이들은 통계적으로 원래 실험 결과의 절반 정도밖에 되지 않았다. 이는 좋은 신호는 아니다.”
✍️ “더 다양한 아이들을 조사하자 기다림과 미래 성공의 관계는 원래 연구에서 제시된 것보다 약해졌다. 표본과 가정환경을 넓게 고려하면 개인의 의지력만으로 결과를 설명하기 어려워진다.”
➡️ 효과가 줄어들었다는 사실은 처음의 연구가 완전히 무가치하다는 뜻이 아니다. 처음 측정된 관계가 어떤 조건에서 강해지고 약해지는지를 더 정확하게 이해하게 되었다는 뜻이다.
Foell은 이 문제를 아이의 합리성이라는 관점에서 다시 해석한다. 마시멜로를 바로 먹은 아이를 충동적이라고 부르면, 기다리는 것이 언제나 더 나은 선택이라는 전제를 깔게 된다. 그러나 미래의 보상을 믿을 근거가 없다면 현재의 보상을 선택하는 것이 오히려 현명할 수 있다.
경제적으로 불안정한 환경에서는 기회가 지속될 것이라고 기대하기 어렵다. 지금 눈앞에 있는 자원을 포기하면 다음 기회가 오지 않을 수 있다. 이러한 경험을 가진 아이에게 실험자의 약속을 무조건 신뢰하라고 요구하는 것은 그 아이가 살아온 현실을 무시하는 일이다.
저자는 손 안의 새 한 마리가 지붕 위의 비둘기보다 낫다는 비유를 사용한다. 확실하게 가진 작은 보상을 불확실한 큰 보상과 바꾸지 않는 행동은 상황에 따라 합리적인 위험 관리가 될 수 있다. 기다리지 않은 행동을 실패라고 부르기 전에 그 아이에게 미래의 약속이 얼마나 신뢰할 만한지 살펴야 한다.
✒️ 핵심 발췌
? “따라서 이들은 실험자의 약속을 믿지 않기로 쉽게 결정했을 가능성이 있다. 다시 말해 이들이 이후 인생에서 만족을 덜 느끼는 것은 마시멜로나 자제력과는 전혀 관련이 없다. 단지 그들에게 주어지는 기회가 다른 아이들에 비해 적었기 때문이다.”
✍️ “아이들이 기다리지 않은 이유는 충동을 통제하지 못해서가 아니라 약속된 미래 보상을 신뢰하지 않았기 때문일 수 있다. 이후의 삶에서 나타난 차이도 의지력보다 애초에 주어진 기회의 차이를 반영했을 가능성이 있다.”
➡️ 개인의 행동을 심리적 성향으로 설명하면 사회적 조건이 보이지 않게 된다. 기다림을 의지력으로 해석하는 순간, 누가 안정적인 미래를 기대할 수 있었는가라는 질문이 사라진다.
이 해석이 불편한 이유는 성공과 실패에 관한 도덕적 이야기를 흔들기 때문이다. 자제력이 뛰어난 아이가 성공했다는 설명은 개인의 능력과 노력에 성취의 원인을 둔다. 부모와 사회는 아이에게 인내심을 길러주면 된다고 생각할 수 있다.
반면 부모의 수입과 기회의 안정성이 중요한 요인이었다면 성공은 개인이 통제할 수 없는 출발 조건과 깊이 연결된다. 부유한 가정에서 태어난 아이는 미래의 보상을 기다릴 수 있는 안전한 환경을 경험한다. 가난한 가정의 아이는 현재의 기회를 놓치지 않는 전략을 배울 수 있다.
저자는 타고난 능력으로 성공했다는 설명은 비교적 쉽게 받아들이면서도, 부유한 가정에서 태어났기 때문에 성공했다는 설명에는 더 큰 불공평함을 느낀다고 말한다. 그러나 둘 다 개인이 선택하지 않은 조건이라는 점에서는 비슷하다.
그럼에도 환경적 설명은 중요한 가능성을 제공한다. 타고난 의지력의 차이를 개인의 본질로 받아들이면 사회가 할 수 있는 일은 제한된다. 반면 소득 불평등과 기회의 차이가 핵심이라면 교육과 복지, 사회적 안전망을 개선함으로써 결과를 바꿀 수 있다.
✒️ 핵심 발췌
? “물론 실험에서 이 부분이 상세히 입증된 것은 아니다. 하지만 개인적으로 나는 이 해석이 훨씬 더 그럴듯하게 느껴진다. 왜냐하면 이 해석은 아이들이 합리적으로 행동할 뿐이라는 것을 전제로 하기 때문이다.”
✍️ “저자는 환경적 해석이 실험으로 완전히 증명된 것은 아니라고 인정한다. 그러나 아이를 충동적인 존재로 보는 대신 자신이 경험한 환경에 맞추어 합리적으로 판단한 존재로 이해할 수 있다고 말한다.”
➡️ 저자는 새로운 해석도 확정된 사실로 제시하지 않는다. 마시멜로 실험의 교훈은 기존 설명을 다른 단일 설명으로 대체하는 것이 아니라, 같은 행동에 여러 원인이 작용할 수 있음을 인정하는 데 있다.
마시멜로 실험의 역사는 교란 변수의 중요성을 보여준다. 교란 변수는 연구자가 측정하려는 원인과 결과 모두에 영향을 주어 둘 사이의 관계를 왜곡하는 요인이다. 부모의 소득은 아이가 기다리는 행동에도 영향을 줄 수 있고 이후의 학업과 건강, 직업적 기회에도 영향을 줄 수 있다.
이 경우 기다리는 시간과 성인의 성공이 서로 관련되어 보이더라도, 그 관계의 상당 부분은 부모의 소득에서 비롯되었을 수 있다. 기다림이 성공을 만들어낸 것이 아니라, 안정적인 환경이 기다림과 성공을 모두 만들어낸 것이다.
이를 일상적인 예로 바꾸면 아이스크림 판매량과 물놀이 사고가 함께 증가하는 현상과 비슷하다. 아이스크림이 사고를 일으키는 것이 아니라 더운 날씨가 두 현상을 모두 증가시킨다. 상관관계만 보고 원인을 판단하면 실제로 중요한 세 번째 요인을 놓치게 된다.
심리학 연구에서는 이러한 문제가 더욱 복잡하다. 연구자가 측정하려는 의지력과 지능, 우울과 공감은 눈으로 직접 볼 수 없다. 특정한 행동이나 설문 답변, 시험 점수를 통해 간접적으로 추정해야 한다. 하나의 측정값에 여러 원인이 동시에 영향을 줄 가능성이 크다.
✒️ 핵심 발췌
? “마시멜로 실험의 역사에서 우리가 얻을 수 있는 교훈은 바로 이것이다. 우리는 우리가 측정한다고 생각하는 것을 측정하지 않는다. 어쨌든 결과는 예측한 대로 나왔고, 통계는 확실했으며, 관찰할 수 있는 모든 것에 들어맞는 이론이 있었다.”
✍️ “실험 결과와 통계 자체는 분명했지만, 그 수치가 나타내는 심리적 의미는 잘못 해석되었을 수 있다. 정확한 측정값과 정확한 개념 측정은 서로 다른 문제다.”
➡️ 숫자의 명확성은 해석의 정확성을 보장하지 않는다. 통계가 뚜렷할수록 연구자는 자신이 실제로 무엇을 측정했는지를 더 엄격하게 검토해야 한다.
Foell은 부모의 은행 잔고를 마시멜로 실험의 혼란을 야기하는 요인이라고 표현한다. 아이들의 의지를 시험한다고 생각했지만, 실제로는 부모의 수입에 따른 차이를 상당 부분 측정했을 수 있다는 것이다.
이 대목에서 저자는 아이큐 검사도 마시멜로 실험과 완전히 다르다고 확신할 수 있는지 질문한다. 아이큐 검사는 특정한 문제 해결과 언어, 기억과 공간 능력을 수치화한다. 그러나 그 점수가 인간의 본질적인 지능만을 나타내는지는 별개의 문제다.
시험을 치르는 데 익숙한 정도와 교육의 질, 사용하는 언어, 영양 상태와 스트레스, 가정에서 접한 책과 대화의 양이 점수에 영향을 줄 수 있다. 어떤 문화에서 익숙한 문제 해결 방식이 다른 문화에서는 낯설 수 있다. 시험에 대한 불안과 평가자의 기대도 결과를 바꿀 수 있다.
그렇다고 아이큐 검사가 아무것도 측정하지 않는 것은 아니다. 검사 결과는 학업 성취와 일부 과제의 수행을 예측할 수 있으며, 일정한 조건에서는 반복적으로 비슷한 결과를 낼 수 있다. 문제는 측정한 능력의 범위를 인간 지능 전체와 동일시하는 데 있다.
측정 도구가 실제로 어떤 특성을 포착하는지 검토하는 일을 타당성 평가라고 볼 수 있다. 같은 능력을 측정하는 다른 검사와 관련되는지, 전혀 다른 능력과는 구별되는지, 실제 행동과 결과를 예측하는지, 서로 다른 집단에서 같은 의미를 갖는지를 살펴야 한다.
✒️ 핵심 발췌
? “그러나 아이들의 의지를 시험했다고 생각했지만, 결국엔 부모의 수입으로 인한 차이를 실험한 셈이나 다름없게 됐다. 여기에서 부모의 은행 잔고는 혼란을 야기하는 요인, 즉 예상치 못하거나 인식하지 못한 방식으로 결과를 왜곡하는 변수였다. 이 지점에서 마시멜로 실험이 또 다른 종류의 시험과 유사하다는 점을 나는 지적하지 않을 수 없다.”
✍️ “마시멜로 대기 시간은 아이 개인의 의지력뿐 아니라 부모의 경제적 조건을 반영했을 수 있다. 저자는 아이큐 검사 역시 측정하려는 능력과 사회적 환경의 영향을 완전히 분리할 수 있는지 질문한다.”
➡️ 사람의 능력을 수치로 표현하는 검사는 중립적인 거울이 아니다. 검사 결과에는 개인의 능력과 함께 그 능력을 발휘할 수 있게 한 사회적 조건이 들어갈 수 있다.
이 문제는 연구에서 사용되는 대리 지표 전반에 적용된다. 직업 만족도를 설문 점수로 측정하고, 학교의 질을 시험 성적으로 평가하며, 사회 안전을 신고된 범죄 건수로 판단한다. 이러한 수치는 실제로 중요한 정보를 제공하지만 측정하려는 현상 전체를 그대로 보여주지는 않는다.
신고된 범죄 건수가 증가하면 실제 범죄가 늘었을 수 있다. 그러나 신고 절차가 개선되고 피해자가 경찰을 더 신뢰하게 되어 이전에는 숨겨졌던 사건이 기록되기 시작했을 수도 있다. 통계가 증가했다는 사실은 분명하지만 그 증가가 사회가 더 위험해졌다는 뜻인지는 맥락을 확인해야 한다.
정신질환으로 인한 결근율의 증가도 같은 구조를 가진다. 실제로 우울과 불안, 소진이 증가했을 수 있다. 노동조건이 악화되고 사회적 불안이 커지면서 더 많은 사람이 정신적 어려움을 겪을 가능성이 있다.
그러나 과거에는 정신질환을 이유로 결근했다고 밝히기 어려웠을 수 있다. 정신질환에 대한 낙인이 줄고 진단과 치료에 대한 접근성이 개선되면, 이전에는 신체적 질병이나 개인 사정으로 기록되던 결근이 정신건강 문제로 정확하게 분류될 수 있다. 이 경우 통계의 증가는 부정적인 현상만을 의미하지 않는다.
✒️ 핵심 발췌
? “정신 질환이 급증하는 현상은 우려할 만한 일이지만, 사회 전반적으로 정신 질환에 대한 낙인이 줄어든 결과라면 그것은 환영할 일이다. 우리가 관찰하는 추세가 긍정적인지 부정적인지는 전체 맥락을 모르면 판단할 수 없는 경우가 많다.”
✍️ “정신질환 관련 결근이 늘어난 수치는 실제 고통의 증가를 나타낼 수도 있지만, 사람들이 문제를 숨기지 않고 적절한 이름으로 말하게 된 결과일 수도 있다. 동일한 통계 변화가 서로 반대되는 사회적 의미를 가질 수 있다.”
➡️ 수치가 무엇을 나타내는지는 자료가 만들어진 제도와 문화에 따라 달라진다. 측정값의 증가와 현상 자체의 증가를 자동으로 동일시해서는 안 된다.
이러한 사례는 측정과 분류가 서로 연결되어 있음을 보여준다. 어떤 현상을 세려면 먼저 무엇을 그 현상에 포함할지 결정해야 한다. 정신질환과 범죄, 실업과 빈곤의 기준이 바뀌면 현실이 그대로여도 통계는 달라질 수 있다.
실업률이 감소했더라도 사람들이 좋은 일자리를 얻은 것이 아니라 구직을 포기해 통계에서 빠졌을 수 있다. 학교의 평균 점수가 올랐더라도 학습이 향상된 것이 아니라 시험 문제에 맞춘 교육이 강화되었을 수 있다. 병원의 치료 성공률이 높더라도 중증 환자를 다른 기관으로 보내 표본에서 제외했을 가능성이 있다.
수치가 정책의 목표가 되면 측정 대상 자체가 변할 수 있다. 학교가 시험 점수로 평가되면 교사는 시험에 나오는 내용에 집중한다. 경찰 조직이 검거율로 평가되면 해결하기 쉬운 사건을 우선하거나 통계에 유리한 방식으로 사건을 분류할 수 있다.
이때 지표는 원래 측정하려 했던 현상을 반영하기보다, 지표를 높이기 위해 이루어진 행동을 반영하기 시작한다. 시험 점수가 학습을 측정하기보다 시험 대비 능력을 측정하고, 검거율이 치안의 질보다 조직의 기록 방식을 측정하게 될 수 있다.
Foell의 논의는 모든 측정이 무의미하다는 상대주의로 이어지지 않는다. 마시멜로 실험은 아이가 보상을 기다리는 행동을 실제로 측정했고, 아이큐 검사는 특정한 인지 과제를 수행하는 능력을 측정한다. 정신질환 관련 결근 통계도 어떤 이유로 결근이 보고되었는지 보여준다.
중요한 것은 측정값이 말할 수 있는 범위를 넘어서지 않는 것이다. 기다린 시간을 의지력 전체로, 시험 점수를 지능 전체로, 보고된 결근을 정신질환의 실제 유병률 전체로 확대하지 않아야 한다. 연구자가 사용한 조작적 정의와 우리가 알고자 하는 넓은 개념 사이의 거리를 인식해야 한다.
측정의 타당성을 높이려면 하나의 지표에 의존하지 않아야 한다. 자제력을 연구한다면 마시멜로 대기 시간뿐 아니라 일상에서의 계획 수행과 충동 조절, 부모와 교사의 관찰, 서로 다른 상황의 행동을 함께 볼 수 있다. 여러 방법이 같은 방향을 보여주면 특정한 실험 상황에만 의존한 해석의 위험이 줄어든다.
시간에 따른 반복 측정도 필요하다. 한 번의 시험에서 낮은 점수를 받은 사람이 항상 같은 능력을 보이는지, 수면과 스트레스가 달라지면 결과가 얼마나 바뀌는지를 살펴야 한다. 안정적인 특성을 측정한다고 주장하려면 상황이 달라도 어느 정도 일관된 결과가 나타나야 한다.
서로 다른 사회집단에서 같은 의미를 갖는지도 검증해야 한다. 한 집단에서 기다림이 자제력을 나타내더라도 다른 집단에서는 성인에 대한 신뢰를 더 강하게 나타낼 수 있다. 같은 점수와 행동이 누구에게나 동일한 심리적 의미를 가진다고 가정해서는 안 된다.
연구자는 가능한 교란 변수를 미리 생각하고 측정해야 한다. 부모의 소득과 교육 수준, 가정의 안정성과 아이의 이전 경험을 함께 조사하면 대기 시간의 독립적인 효과를 더 정확하게 추정할 수 있다. 모든 교란 변수를 완전히 제거할 수는 없지만, 주요 대안 설명을 자료 안에 포함할 수 있다.
독자는 연구 결과를 볼 때 무엇을 실제로 측정했는지 질문해야 한다. 연구가 행복을 측정했다고 말해도 실제로는 몇 개 설문 문항에 대한 응답을 측정했을 수 있다. 생산성을 측정했다고 말해도 실제로는 처리한 문서의 수나 근무 시간을 셌을 수 있다. 개념의 이름과 관찰된 자료를 분리해 읽어야 한다.
또한 무엇이 측정되지 않았는지도 살펴야 한다. 시험 점수에는 창의성과 호기심, 협력 능력이 포함되지 않을 수 있다. 병원의 사망률에는 환자의 삶의 질과 치료 경험이 드러나지 않을 수 있다. 하나의 지표를 개선하는 과정에서 다른 중요한 가치가 손상될 수도 있다.
Foell은 자료에 대한 다른 사람의 해석을 받아들일 준비가 필요하다고 말한다. 같은 숫자도 서로 다른 배경지식을 가진 사람은 다른 교란 변수와 맥락을 발견할 수 있다. 경제학자는 소득의 영향을 보고, 사회학자는 제도와 계층의 차이를 보며, 심리학자는 신뢰와 학습 경험을 볼 수 있다.
이러한 다양한 해석이 모든 의견을 똑같이 옳게 만드는 것은 아니다. 각 해석은 추가 자료와 예측을 통해 검토되어야 한다. 부모의 소득이 핵심이라면 소득을 통제했을 때 마시멜로 효과가 줄어들어야 하며, 실험자에 대한 신뢰가 중요하다면 사전에 약속을 지킨 실험자와 지키지 않은 실험자에 따라 대기 시간이 달라져야 한다.
좋은 해석은 현재 자료를 설명할 뿐 아니라 새로운 검증 방법을 제시한다. 무엇을 추가로 측정해야 하는지, 어떤 조건에서 결과가 달라져야 하는지를 알려준다. 반면 모든 결과를 사후적으로 설명하는 해석은 측정의 문제를 해결하지 못한다.
이 장의 결론은 단순하다. 통계가 정확하고 결과가 예상과 일치하며 그럴듯한 이론이 존재하더라도, 우리가 의도한 개념을 측정했다는 보장은 없다. 숫자의 신뢰성과 해석의 타당성은 별도로 검토해야 한다.
✨ 해설과 통찰
이 장의 철학적 핵심은 관찰 가능한 수치와 이론적 개념 사이에 언제나 해석의 다리가 놓인다는 데 있다. 의지력과 지능, 행복과 우울은 자로 직접 잴 수 있는 물체가 아니다. 연구자는 특정 행동과 응답을 이러한 개념의 표시로 정의해야 한다.
이러한 정의를 조작적 정의라고 한다. 자제력을 마시멜로를 기다린 시간으로, 우울을 설문 점수로, 교육 성취를 시험 점수로 표현하는 것이다. 조작적 정의는 추상적 개념을 연구할 수 있게 하지만, 개념 전체를 측정값 하나와 동일시하는 위험을 만든다.
심리측정의 관점에서는 신뢰도와 타당도를 구별해야 한다. 신뢰도는 같은 대상을 반복 측정했을 때 비슷한 결과가 나오는지를 뜻한다. 타당도는 그 검사가 실제로 측정하려는 대상을 측정하는지를 뜻한다. 잘못된 체중계가 매번 정확히 3킬로그램 높게 나온다면 결과는 일관되지만 정확하지 않다.
마시멜로 실험도 대기 시간을 안정적으로 기록했을 수 있다. 그러나 그 시간이 순수한 자제력을 나타내는지, 환경의 안정성과 신뢰를 함께 나타내는지를 따져야 한다. 측정 절차의 정밀성과 개념 해석의 정확성은 다르다.
사회학적으로 이 장은 개인 능력으로 보이는 것이 사회구조의 결과일 수 있음을 보여준다. 미래의 보상을 기다리는 능력은 단순한 성격이 아니라 미래가 예측 가능하고 약속이 지켜지는 환경에서 형성될 수 있다. 경제적 안정은 심리적 능력을 표현할 기회를 제공한다.
Pierre Bourdieu의 문화자본 개념과도 연결할 수 있다. 학교 시험은 중립적인 지능을 평가하는 것처럼 보이지만, 특정 계층의 언어와 문화적 경험에 익숙한 학생에게 더 유리할 수 있다. 시험 성적은 개인의 능력과 함께 가정에서 축적한 문화적 자원을 반영한다.
경제학적으로는 기회의 불평등 문제와 이어진다. 동일한 자기통제 능력을 가진 사람이라도 안정적인 교육과 건강관리, 사회적 연결망을 가진 사람은 더 좋은 결과를 얻을 수 있다. 이후의 성공을 어린 시절의 성향으로만 설명하면 출발 조건의 차이가 자연스러운 능력 차이로 보이게 된다.
정치적으로 측정 지표는 자원의 배분과 처벌을 결정한다. 시험 점수로 학교와 학생을 평가하고, 범죄 위험 점수로 감시 대상을 정하며, 생산성 수치로 노동자의 성과를 판단한다. 지표가 실제 개념을 충분히 반영하지 못하면 숫자의 외형을 가진 불공정이 만들어질 수 있다.
의학에서는 진단 기준의 변화가 질병 통계에 큰 영향을 준다. 환자가 늘어난 것이 실제 발병 증가 때문인지, 진단 기준이 넓어졌거나 의료 접근성이 개선되었기 때문인지 구별해야 한다. 진단이 증가했다는 사실만으로 사회가 더 병들었다고 판단할 수 없다.
이 장은 인공지능과 대규모 자료 분석에도 직접 적용된다. 알고리즘은 측정 가능한 지표를 목표로 삼는다. 직원의 성과를 이메일 수와 처리 속도로 평가하면 깊이 있는 문제 해결과 동료 지원은 보이지 않을 수 있다. 클릭 수를 관심과 만족으로 해석하면 분노와 충격을 유발하는 콘텐츠가 좋은 콘텐츠로 평가될 수 있다.
자료가 방대해져도 개념의 타당성 문제는 사라지지 않는다. 수백만 개의 클릭을 정확하게 기록해도 클릭이 신뢰와 행복, 정보의 질을 의미하는지는 별도로 판단해야 한다. 큰 자료는 잘못 정의된 지표를 더 정밀하게 측정할 수 있을 뿐이다.
Foell의 통찰은 개인 평가에서도 중요하다. 사람을 시험 점수와 연봉, 체중과 운동 기록, 온라인 반응의 수로 평가하면 측정 가능한 일부가 전체 인간을 대신하게 된다. 숫자는 비교하기 쉽기 때문에 숫자로 표현되지 않는 가치보다 더 객관적인 것처럼 보인다.
그러나 측정되지 않는 특성이 중요하지 않은 것은 아니다. 돌봄과 용기, 유머와 충성심, 창의성과 도덕적 판단은 단일한 지표로 포착하기 어렵다. 측정의 어려움이 가치의 부재를 뜻하지 않는다.
이 장의 윤리적 메시지는 측정 결과가 불리한 사람을 본질적인 결함으로 규정하지 말라는 것이다. 아이가 마시멜로를 기다리지 못했을 때 의지력이 약하다고 결론 내리기 전에, 그 아이가 어떤 약속과 기회를 경험했는지를 살펴야 한다. 낮은 점수가 개인의 한계를 나타내는지, 불평등한 환경을 나타내는지를 질문해야 한다.
과학적 겸손은 숫자를 포기하는 태도가 아니다. 숫자가 현실의 어떤 부분을 보여주고 어떤 부분을 가리는지를 인정하는 태도다. 측정은 필요하지만, 측정값과 대상 전체를 동일시하지 않을 때 비로소 더 정확하고 공정한 판단이 가능해진다.
? 핵심 요약
1️⃣ 연구가 어떤 행동이나 점수를 정확하게 측정했더라도, 그 수치가 의도한 심리적 특성을 실제로 나타내는지는 별도로 검증해야 한다.
2️⃣ 마시멜로 실험의 대기 시간은 아이의 자제력뿐 아니라 부모의 소득과 환경의 안정성, 실험자의 약속에 대한 신뢰를 함께 반영했을 수 있다.
3️⃣ 교란 변수는 연구자가 원인이라고 생각한 요인과 결과 모두에 영향을 주어 잘못된 인과 해석을 만들 수 있다.
4️⃣ 아이큐 점수와 정신질환 통계, 시험 성적과 범죄 신고처럼 모든 지표는 자료가 만들어진 사회적 맥락과 측정되지 않은 요소를 함께 검토해야 한다.
? 비교·확장
Donald Campbell의 측정 이론은 지표가 목표가 되는 순간 그 지표가 왜곡될 수 있음을 강조한다. 학교가 시험 점수만으로 평가되면 교육은 시험 점수를 높이는 방향으로 바뀌고, 점수는 실제 학습의 질을 점차 덜 반영하게 된다. 측정 도구가 행동을 변화시키면서 원래 측정 대상과 멀어지는 것이다.
Charles Goodhart의 법칙도 같은 문제를 경제정책과 조직 관리에서 설명한다. 어떤 측정값이 통제의 목표가 되면 좋은 측정값으로서의 기능을 잃기 쉽다. 숫자를 개선하려는 행동이 실제 목적을 개선하는 행동과 달라질 수 있기 때문이다.
Pierre Bourdieu는 학교가 특정 계층의 문화와 언어를 보편적인 능력처럼 평가할 수 있다고 보았다. 시험은 재능을 발견하는 중립적 장치처럼 보이지만, 가정에서 습득한 문화자본을 능력의 차이로 바꾸어 정당화할 수 있다. 아이큐 검사에 대한 Foell의 질문은 이러한 사회학적 비판과 연결된다.
Amartya Sen의 역량 접근은 사람들이 가진 자원뿐 아니라 그 자원을 실제 삶의 가능성으로 바꿀 수 있는 조건을 보아야 한다고 말한다. 동일한 자기통제와 지능도 교육과 건강, 안전과 사회적 지원이 없으면 성취로 이어지기 어렵다. 결과의 차이를 개인 능력만으로 설명해서는 안 된다.
Robert Merton의 자기충족적 예언도 관련된다. 낮은 시험 점수를 능력 부족으로 해석하면 교사와 부모의 기대가 낮아지고, 학생에게 제공되는 기회가 줄어 실제 성취가 낮아질 수 있다. 측정이 단지 현실을 기록하는 것이 아니라 이후의 현실을 만들어낸다.
심리측정에서는 구성 타당도가 핵심이다. 하나의 검사가 측정하려는 개념과 관련된 다른 검사 및 행동과 일치하는지, 관련 없는 개념과는 구별되는지를 확인해야 한다. 자제력 검사라면 경제적 배경과 완전히 같은 것을 측정해서는 안 되며, 다양한 상황의 자기조절 행동을 예측할 수 있어야 한다.
인공지능의 공정성 연구에서도 대리 변수의 문제가 중요하다. 알고리즘이 인종이나 계층 정보를 직접 사용하지 않더라도 우편번호와 학교, 구매 기록이 같은 정보를 대신할 수 있다. 모델이 개인의 위험이나 능력을 측정한다고 주장하면서 실제로는 사회적 불평등의 흔적을 측정할 수 있다.
공중보건에서는 신고와 진단의 증가를 실제 질병의 증가와 구별해야 한다. 정신질환 통계가 높아졌다면 의료 접근성과 낙인, 진단 기준과 기록 방식의 변화까지 검토해야 한다. 통계의 증가는 위험 신호일 수도 있고 사회가 숨겨진 문제를 더 잘 발견하게 되었다는 긍정적 신호일 수도 있다.
? 연결 독서 제안
✔️ Walter Mischel, The Marshmallow Test
✔️ Pierre Bourdieu, Distinction
✔️ Amartya Sen, Development as Freedom
✔️ Cathy O'Neil, Weapons of Math Destruction
? 사유를 여는 질문
❓ 내가 객관적인 능력이나 성과를 보여준다고 믿는 점수에는 어떤 환경적 조건과 교란 변수가 숨어 있는가?
❓ 하나의 측정 지표가 사람과 조직의 중요한 결정을 좌우할 때, 그 지표의 타당성을 어떻게 반복해서 검증해야 하는가?
❓ 개인의 실패처럼 보이는 결과가 사회적 기회와 신뢰의 차이에서 비롯되었는지를 구별하려면 어떤 자료가 필요한가?
? Chapter 10. We Cannot Know Which Explanation Is Right | 우리는 어떤 설명이 옳은지 알 수 없다
✅ 장 개요
이 장은 여러 사람이 동일한 자료를 인정하면서도 그 자료가 무엇을 의미하는지를 두고 전혀 다른 결론에 도달하는 문제를 다룬다. 앞 장에서 Jens Foell은 측정값과 그 측정값에 부여한 의미를 구별해야 한다고 설명했다. Chapter 10은 여기에서 한 걸음 더 나아간다. 자료가 정확하고 모든 연구자가 그 자료에 동의하더라도, 경쟁하는 설명 가운데 어느 것이 옳은지는 쉽게 결정되지 않을 수 있다.
저자는 2킬로그램이 채 되지 않는 화성 운석 ALH 84001을 첫 번째 중심 사례로 제시한다. 이 암석의 화학적 특성과 동위원소를 분석한 결과, 연구자들은 그것이 화성에서 떨어져 나온 매우 오래된 운석이라는 사실을 확인했다. 이후 암석 내부에서 생명체와 관련된 것으로 보이는 물질과 자성 결정, 미생물 화석처럼 보이는 미세한 구조가 발견되었다. 일부 연구자는 이를 고대 화성 생명체의 흔적으로 해석했다.
그러나 다른 연구자들은 같은 자료를 보고 전혀 다른 결론을 내렸다. 생명체와 관련된 화학물질은 생물학적 과정이 아닌 조건에서도 형성될 수 있으며, 미생물처럼 보이는 구조는 실제 생명체가 되기에는 지나치게 작다고 지적했다. 운석이 남극의 얼음과 지구의 실험실을 거치는 동안 오염되었을 가능성도 있었다. 관찰된 구조와 화학물질에는 대체로 동의했지만, 그것이 화성 생명체의 흔적인지 무생물적 과정과 지구 오염의 결과인지에 대해서는 합의가 이루어지지 않았다.
저자는 이 사례를 영리한 벌 연구로 확장한다. 일부 실험에서는 꿀벌이 수를 구별하고, 간단한 계산과 순서 개념을 이해하며, 특정한 규칙을 학습하는 것처럼 보였다. 연구자들은 벌의 행동을 고도의 인지 능력으로 해석했다. 그러나 비판자들은 벌이 인간과 같은 방식으로 수학적 개념을 이해한 것이 아니라, 훈련 과정에서 만들어진 시각적 단서와 단순한 행동 규칙에 반응했을 가능성을 제기했다.
이 논쟁의 핵심은 한쪽이 자료를 보고 다른 쪽이 자료를 무시한 것이 아니라는 데 있다. 양측은 벌이 실험에서 특정한 선택을 했다는 사실에는 동의할 수 있다. 그러나 그 선택이 추상적인 수 개념을 이해한 결과인지, 학습된 감각적 단서를 따른 결과인지는 서로 다르게 해석한다. 관찰된 행동은 하나지만 그것과 양립할 수 있는 설명은 여러 개다.
Foell은 이 문제를 다룰 때 비범한 주장은 비범한 증거를 요구한다는 원칙을 기억하라고 말한다. 화성 생명체와 동물의 고등한 지능처럼 기존 지식에 큰 변화를 요구하는 설명은 한두 개의 흥미로운 관찰만으로 확립되어서는 안 된다. 그러나 무엇이 비범한 주장인지, 얼마나 많은 증거가 비범한 증거에 해당하는지를 결정하는 일도 쉽지 않다. 지나치게 높은 기준은 새로운 발견을 막을 수 있고, 지나치게 낮은 기준은 오류와 과장을 과학적 사실로 만들 수 있다.
이 장의 결론은 모든 설명이 똑같이 옳다는 상대주의가 아니다. 설명은 기존 지식과의 일관성, 자료를 설명하는 범위, 불필요한 가정의 수, 새로운 예측을 만들어내는 능력, 독립적 재현 여부를 통해 비교할 수 있다. 다만 이러한 비교가 즉각적으로 하나의 확실한 정답을 만들어주지는 않는다. 공개적이고 정직한 연구가 이루어져도 과학적 합의에는 오랜 시간이 걸릴 수 있으며, 어떤 문제에서는 끝내 완전한 합의가 이루어지지 않을 수도 있다.
? 상세 설명
Foell은 앞 장의 마지막에서 데이터가 한 방향을 가리키는 것처럼 보이더라도 그 위에 놓인 해석을 의심해야 한다고 강조했다. 마시멜로 실험에서 아이가 기다린 시간은 분명한 자료였지만, 그것이 순수한 의지력을 나타내는지 사회경제적 환경과 신뢰를 나타내는지는 별개의 문제였다. Chapter 10은 사실에 대해서는 동의하지만 의견과 해석이 극단적으로 다른 상황을 다룬다.
이를 가장 극적으로 보여주는 대상이 ALH 84001이라는 암석이다. 이 돌은 남극에서 발견되었으며 무게는 2킬로그램에도 미치지 않았다. 그러나 이 작은 암석은 화성의 역사와 외계 생명체의 가능성을 둘러싼 세계적인 논쟁을 일으켰다.
연구자들은 암석 속 동위원소의 비율을 분석해 그 나이를 추정했다. 불안정한 동위원소는 일정한 비율로 붕괴하므로 오래된 암석의 연대를 추정하는 데 사용할 수 있다. 분석 결과 이 운석은 40억 년 이상 된 매우 오래된 암석으로 여겨졌다.
안정 동위원소의 조합은 암석의 출처를 확인하는 일종의 지문 역할을 했다. ALH 84001의 특성은 인도와 이집트, 프랑스에서 발견된 다른 운석들과 일치했고, 이 운석들의 자료를 Viking 탐사선이 화성 표면에서 보낸 자료와 비교하자 모두 화성에서 왔다는 결론이 가능해졌다.
화성의 암석이 지구까지 이동한 과정도 설명할 수 있었다. 화성 표면에 거대한 천체가 충돌하면 충격으로 암석 일부가 우주 공간으로 튕겨 나갈 수 있다. 그 암석은 오랜 시간 우주를 떠돌다가 지구의 중력에 붙잡혀 떨어질 수 있다. 따라서 화성 운석의 존재 자체는 알려진 물리적 과정으로 설명할 수 있었다.
✒️ 핵심 발췌
? “이 불안정한 동위원소들이 ALH 84001이라는 돌에서 쉽게 발견됐다. 이 돌은 매우, 아주 매우 오래된 것으로, 40억 년 이상 된 암석으로 추정된다. 그런데 수십 억 년간 붕괴되지 않은 안정 동위원소 역시 이 돌에 존재한다.”
✍️ “연구자들은 동위원소의 붕괴와 조합을 이용해 암석의 나이와 출처를 추정했다. 그 결과 ALH 84001은 40억 년이 넘은 화성의 암석으로 판단되었다.”
➡️ 이 부분에서는 연구자들 사이에 비교적 강한 합의가 이루어졌다. 논쟁의 중심은 이 돌이 화성에서 왔는지가 아니라, 그 안에서 발견된 구조와 물질이 무엇을 의미하는가였다.
1996년 한 연구팀은 이 운석 안에 고대 화성 생명체의 흔적이 있을 가능성을 제시했다. 주장의 파급력은 매우 컸다. 당시 미국 대통령 Bill Clinton은 백악관에서 직접 발표를 했고, 발견이 확정된다면 우주에 대한 가장 중요한 통찰 가운데 하나가 될 것이라고 말했다.
정치적 맥락도 이 발표를 더욱 크게 만들었다. 그해는 미국 대통령 선거가 열리는 해였고, 화성 생명체의 가능성은 미국 과학의 성취를 보여주는 상징적인 이야기가 될 수 있었다. 과학적 결과가 정치적 기대와 대중문화의 상상력 속으로 들어가면서 아직 논쟁 중인 해석은 이미 역사적인 발견처럼 전달되기 시작했다.
발표된 연구에는 화성 생명체 가설을 뒷받침하는 여러 종류의 자료가 포함되어 있었다. 암석 내부에서는 생명체와 관련된 것으로 알려진 유기 물질이 발견되었고, 일부 화학물질은 지구에서 화석과 함께 나타나는 방식으로 배열된 것처럼 보였다.
특히 자성 결정이 중요한 근거로 제시되었다. 지구에서는 자성 박테리아가 지구 자기장의 방향을 감지하기 위해 특정한 형태의 결정을 만든다. ALH 84001에서 발견된 결정 가운데 일부가 이러한 생물학적 결정과 유사하다는 주장이 제기되었다.
현미경으로 관찰된 미세한 구조도 화성 생명체 가설에 힘을 실어주는 것처럼 보였다. 그 구조는 길고 둥근 모양을 가지고 있어 작은 미생물의 화석과 닮아 있었다. 유기 물질과 자성 결정, 미생물처럼 보이는 형태가 하나의 암석 안에서 함께 발견되자 생물학적 설명은 상당히 매력적으로 보였다.
✒️ 핵심 발췌
? “바로 그때, 영화에 대통령까지 등장시킨 결정적인 발견이 이루어졌다. 바로 이 돌 속에 화성에서 온 생명체가 들어 있을지 모른다는 발견이었다! 한 연구팀은 이를 뒷받침하는 증거들을 제시한 논문을 발표해서 큰 주목을 받았다.”
✍️ “연구팀은 화성 운석 안에서 생명체와 관련된 화학물질과 결정, 미생물처럼 보이는 구조를 발견했다고 발표했다. 이 여러 단서가 결합되면서 고대 화성 생명체라는 설명이 제시되었다.”
➡️ 하나의 자료만 있었다면 생명체 가설은 약했을 것이다. 서로 다른 종류의 흔적이 같은 방향을 가리키는 것처럼 보였기 때문에 주장은 더 강력한 인상을 주었다.
그러나 각 자료에는 다른 설명이 가능했다. 생명체와 관련된 유기 물질이라고 해서 반드시 생명체가 만들어낸 물질이라는 뜻은 아니다. 유기라는 표현은 생명이 존재했다는 뜻이 아니라 탄소를 포함한 특정한 화학 구조를 가리킬 수 있다. 이러한 물질은 생물학적 과정이 아닌 화학 반응을 통해서도 만들어질 수 있다.
자성 결정 역시 논쟁의 대상이 되었다. 지구의 일부 자성 박테리아가 유사한 결정을 만든다는 사실은 확인되었지만, 그것이 생명체만 만들 수 있는 구조인지는 확실하지 않았다. 높은 온도와 압력, 암석의 화학적 변화 같은 무생물적 과정에서도 비슷한 결정이 만들어질 가능성이 제시되었다.
미생물 화석처럼 보이는 구조는 크기 때문에 더욱 큰 의심을 받았다. 그것은 알려진 미생물보다 훨씬 작았고, 생명체가 기능하는 데 필요한 세포 구조와 유전 물질을 담을 공간이 충분한지 의문이 제기되었다. 형태가 미생물을 닮았다는 사실만으로 그것을 실제 화석이라고 판단하기 어려웠다.
오염 가능성도 무시할 수 없었다. 운석은 수천 년 동안 남극의 얼음 속에 놓여 있었고, 발견된 뒤에는 지구의 실험실에서 여러 연구자의 손과 장비를 거쳤다. 지구의 유기 물질이나 미생물이 암석에 들어갔을 가능성을 완전히 제거하기 어려웠다.
화성 생명체 가설과 무생물적 과정, 지구 오염 가설은 동일한 자료의 상당 부분을 설명할 수 있었다. 생물학적 설명은 여러 단서를 하나의 이야기로 묶었지만, 각 단서가 생명체에만 고유한 것은 아니었다.
✒️ 핵심 발췌
? “한편, 이 암석에서 실제로 화성 생명체의 흔적이 발견됐다는 주장은 그야말로 터무니없는 주장이었다. 우리는 이미 탐사선과 로봇을 화성에 보내 조사했지만, 생명체의 흔적이라고는 전혀 발견하지 못했다. 그리고 무엇을 발견하든 간에, 그것이 얼음 속이든 실험실에서든 지구 미생물에 의한 오염일 가능성이 훨씬 더 크다.”
✍️ “화성 생명체라는 설명은 기존의 관찰과 크게 충돌했고, 운석의 흔적은 지구 오염이나 무생물적 과정으로도 설명될 수 있었다. 따라서 흥미로운 형태와 물질이 발견되었다는 사실만으로 생명체를 확정할 수는 없었다.”
➡️ 비판자들은 자료 자체를 부정하지 않았다. 그 자료가 생명체라는 특별한 원인을 요구하지 않는다고 주장했다.
이 대목에서 Foell은 비범한 주장은 비범한 증거를 요구한다는 원칙을 제시한다. 흔히 ECREE라는 약자로 표현되는 이 원칙은 기존 지식과 크게 충돌하거나 세계에 대한 이해를 근본적으로 바꾸는 주장을 받아들이려면 매우 강한 증거가 필요하다는 뜻이다.
화성 생명체의 발견은 평범한 광물의 발견과 같지 않다. 그것이 사실이라면 생명이 지구에서만 발생한 특별한 현상이 아닐 수 있으며, 우주에 생명체가 널리 존재할 가능성이 크게 높아진다. 이러한 결론을 받아들이려면 형태가 비슷하다는 관찰이나 생명체와 관련된 화학물질만으로는 부족하다.
그러나 비범한 증거의 기준은 단순하지 않다. 화성 생명체를 직접 움직이는 상태로 관찰해야 하는지, 화석과 유기물, 동위원소와 세포 구조가 함께 발견되면 충분한지, 여러 독립적인 연구팀이 같은 결과를 확인해야 하는지를 결정해야 한다.
주장이 기존 지식과 충돌할수록 더 엄격한 기준을 적용하는 것은 합리적이다. 오랫동안 반복 검증된 이론을 한 번의 관찰 때문에 즉시 폐기하면 지식의 안정성이 사라질 수 있다. 그러나 기존 지식과 다르다는 이유만으로 새로운 결과에 끝없이 높은 기준을 요구하면 과학적 변화는 불가능해진다.
따라서 ECREE 원칙은 새로운 주장을 자동으로 거부하는 규칙이 아니다. 그 주장이 얼마나 큰 변화를 요구하는지에 비례해 더 많은 반복과 독립적 검증, 대안 설명의 제거를 요구하는 원칙이다.
화성 운석 논쟁은 단기간에 완전한 결론을 내리지 못했다. 이후 연구에서는 생물학적 흔적으로 제시된 각 자료에 대한 대안적 설명이 발전했다. 그렇다고 모든 연구자가 생명체 가설을 완전히 폐기한 것도 아니었다. 일부 구조와 결정이 여전히 생물학적 기원과 더 잘 맞는다는 주장이 계속 제기되었다.
이 사례는 과학적 합의가 투표나 권위자의 선언으로 즉시 만들어지지 않는다는 사실을 보여준다. 서로 다른 분야의 연구자들이 각 증거를 다시 분석하고, 새로운 실험을 수행하며, 대안적 설명의 가능성을 평가해야 한다. 하나의 설명이 상대적으로 우위를 얻는 데에는 오랜 시간이 걸릴 수 있다.
Foell의 두 번째 중심 사례는 꿀벌의 지능을 다룬 연구다. 벌은 작은 뇌를 가지고 있지만 복잡한 환경에서 길을 찾고, 꽃의 위치를 기억하며, 동료에게 먹이의 방향을 전달한다. 이러한 행동은 벌이 단순한 자극 반응 이상의 능력을 가지고 있음을 보여준다.
일부 연구는 벌이 수를 구별하거나 간단한 계산 규칙을 학습할 수 있다고 주장했다. 벌은 서로 다른 개수의 도형이 놓인 화면을 구별하고, 훈련에 따라 더 많거나 적은 대상을 선택하는 행동을 보였다. 순서와 빈 공간의 개념을 이해하는 것처럼 보이는 결과도 보고되었다.
이러한 결과는 작은 곤충의 뇌도 인간이 고등한 능력으로 여겨온 추상적인 개념을 처리할 수 있다는 해석으로 이어졌다. 동물의 인지 능력을 과소평가해온 인간 중심적 관점을 수정해야 한다는 주장도 제기되었다.
그러나 비판자들은 실험에서 벌이 실제로 수의 개념을 이해했는지 질문했다. 개수가 많은 그림은 전체 면적과 선의 길이, 밀도와 밝기에서도 차이를 보일 수 있다. 벌이 숫자가 아니라 이러한 시각적 특징을 이용했을 가능성이 있었다.
연구자가 일부 단서를 통제했더라도 다른 단서가 남아 있을 수 있었다. 벌은 추상적으로 더 많다와 더 적다를 이해한 것이 아니라, 훈련 과정에서 보상을 예측하는 단순한 시각적 규칙을 학습했을 수 있다.
이 논쟁은 동물의 행동을 인간의 개념으로 번역하는 문제를 보여준다. 벌이 과제에서 정답을 선택했다는 관찰과 벌이 수학을 이해했다는 해석은 다르다. 행동의 정확성은 분명할 수 있지만 그 행동을 만들어낸 내부 과정은 직접 관찰할 수 없다.
✒️ 핵심 발췌
? “영리한 벌이든 화성에서 온 미생물이든, 때로는 여러 사람이 같은 데이터를 보고 극적으로 다른 결론에 도달하기도 한다. 과연 누가 옳은지 어떻게 알 수 있을까? 비범한 주장은 비범한 증거를 요구한다는 ECREE 원칙을 항상 기억하라.”
✍️ “화성 운석과 꿀벌 연구에서는 관찰된 자료가 같아도 연구자들이 전혀 다른 설명을 제시한다. 기존 지식을 크게 바꾸는 해석일수록 더 강하고 독립적인 증거가 필요하다.”
➡️ 저자는 설명의 차이를 자료에 대한 무지나 부정직만으로 보지 않는다. 정직한 연구자들도 같은 행동과 물질에 서로 다른 의미를 부여할 수 있다.
영리한 벌 연구를 둘러싼 논쟁에는 연구 결과를 언제 발표해야 하는가라는 문제도 포함되었다. 새로운 연구를 빠르게 공개하면 다른 연구자가 방법과 결과를 검토하고 재현할 수 있다. 학문적 토론은 자료가 공개될 때 시작될 수 있다.
반면 증거가 충분하지 않은 상태에서 자극적인 결론을 발표하면 대중과 언론이 잠정적인 결과를 확정된 사실로 받아들일 수 있다. 이후 연구가 처음의 주장을 약화하더라도 처음 형성된 인상은 오래 남을 수 있다.
Foell은 백신과 자폐증 사이의 거짓 연관성을 주장했던 연구를 위험한 사례로 언급한다. 해당 연구는 자료 조작과 심각한 방법상의 문제로 철회되었지만, 백신이 자폐증을 일으킨다는 믿음은 지금까지도 남아 있다. 잘못된 연구가 발표되었을 때 사회적 피해는 논문 철회만으로 완전히 되돌릴 수 없다.
이 때문에 일부 연구자는 특별한 주장을 담은 논문은 충분한 검증이 끝날 때까지 발표하지 말아야 한다고 주장한다. 영리한 벌 연구처럼 해석의 범위가 크고 재현 여부가 불확실한 결과는 더 신중하게 다루어야 한다는 것이다.
그러나 완전한 확실성을 요구하면 새로운 연구를 발표하기 어려워진다. 과학 논문은 최종적인 진리를 선언하는 문서라기보다 현재의 방법과 자료를 공개하고 비판을 요청하는 수단이기도 하다. 결과를 공개하지 않으면 독립적 재현과 토론도 이루어질 수 없다.
중요한 것은 발표와 확정의 차이를 분명히 하는 것이다. 연구자는 자료와 방법을 투명하게 제시하고, 대안 설명과 한계를 함께 밝혀야 한다. 언론과 독자도 한 편의 논문이 발표되었다는 사실을 과학적 합의가 이루어졌다는 뜻으로 받아들여서는 안 된다.
✒️ 핵심 발췌
? “따라서 과학 논문은 확실한 데이터가 확보될 때까지 그 내용이 의심스러울 경우에 공개되거나 발표되지 않아야 한다고 반대 측은 주장했다. ‘영리한 벌’ 연구의 경우도 이에 속하므로 그 결과를 발표하기에는 너무 이르다는 주장이다. 그래서 우리는 매우 특별한 주장을 하는 연구에 두 가지 전략으로 대처한다.”
✍️ “증거가 충분하지 않은 특별한 주장을 성급하게 발표하면 오류가 널리 퍼질 수 있다. 그러나 결과를 공개하지 않으면 외부의 검증도 어려워지므로 발표와 사실 확정의 기준을 구별해야 한다.”
➡️ 과학적 개방성과 사회적 책임 사이에는 긴장이 존재한다. 해결책은 침묵이나 무조건적인 발표가 아니라 불확실성을 정확히 표시하고 검증 가능한 자료를 공개하는 데 있다.
Foell은 무엇이 특별한 주장인지를 누가 결정하는가라는 더 어려운 문제를 제기한다. 개인은 자신이 무엇을 믿기 위해 어느 정도의 증거가 필요한지를 자유롭게 정할 수 있다. 친구가 우주왕복선을 샀다고 주장한다면 실제 우주왕복선을 보고 구입 기록을 확인하기 전까지 믿지 않겠다고 결정할 수 있다.
그러나 과학 공동체의 기준은 개인적인 취향으로 정할 수 없다. 한 연구자가 새로운 주장을 싫어한다는 이유로 불가능할 정도로 높은 증거 기준을 요구해서는 안 된다. 반대로 자신이 선호하는 설명이라는 이유로 약한 자료를 충분하다고 평가해서도 안 된다.
과학적 기준은 연구 공동체의 공개적인 논의를 통해 형성되어야 한다. 어떤 측정이 신뢰할 만한지, 어떤 대안 설명을 제거해야 하는지, 어느 정도의 반복이 필요한지 분야별로 합의해야 한다. 이 기준 역시 완전하거나 영구적이지 않으며 새로운 방법과 경험에 따라 바뀔 수 있다.
설명을 비교할 때는 먼저 각 설명이 자료 전체를 얼마나 잘 포괄하는지 살펴야 한다. 화성 생명체 가설이 일부 미세 구조만 설명하고 다른 화학적 특성은 설명하지 못한다면 약점이 된다. 반대로 무생물적 과정이 모든 구조를 별개의 우연으로만 처리해야 한다면 설명력이 떨어질 수 있다.
두 번째로 불필요한 가정을 얼마나 많이 요구하는지 살펴야 한다. 이미 알려진 화학 과정으로 자료를 설명할 수 있다면 새로운 생명체를 가정하지 않는 설명이 우선될 수 있다. 그러나 단순한 설명이 실제 자료의 중요한 특징을 놓친다면 더 복잡한 설명이 필요할 수도 있다.
세 번째로 새로운 예측을 제공하는지를 확인해야 한다. 화성 생명체 가설이 옳다면 다른 화성 운석이나 화성 표면에서도 유사한 구조와 화학적 흔적이 발견되어야 한다. 벌이 추상적인 수 개념을 이해한다면 표면적 특징을 완전히 바꾸어도 새로운 수 과제를 해결할 수 있어야 한다.
네 번째로 서로 독립적인 방법이 같은 결론을 지지하는지를 살펴야 한다. 같은 현미경 사진을 여러 번 분석하는 것보다 화학과 형태, 동위원소와 현장 관찰처럼 오류의 원인이 다른 방법이 같은 설명을 지지할 때 신뢰도가 높아진다.
다섯 번째로 독립적인 연구진이 결과를 재현할 수 있어야 한다. 원래 연구팀만 효과를 발견하고 다른 연구실에서는 나타나지 않는다면 실험의 미세한 조건이나 분석자의 판단이 결과를 만들었을 가능성이 있다.
그러나 이러한 기준을 적용해도 하나의 설명이 즉시 승리하지 않을 수 있다. 두 설명이 현재의 자료를 비슷하게 잘 설명하고, 서로 다른 미래 예측이 아직 시험되지 않았을 수도 있다. 이 경우 가장 정직한 결론은 아직 어느 설명이 옳은지 알 수 없다는 것이다.
모른다는 결론은 과학의 실패가 아니다. 증거가 어느 설명도 결정적으로 선택하지 못한다는 현재 지식의 상태를 정확하게 표현한 것이다. 불확실한 상태에서 하나를 사실로 선언하는 것보다 판단을 유보하는 편이 더 과학적일 수 있다.
✒️ 핵심 발췌
? “하지만 모든 사람이 공개적이고 정직하게 사건에 접근하더라도 하나의 설명이 다른 설명보다 우위를 점하고 과학적 합의가 이루어지기까지는 수년이 걸릴 수 있다. 어떤 경우에는 영원히 합의가 이루어지지 않을 수도 있다.”
✍️ “과학자들이 같은 자료를 성실하게 검토하더라도 증거가 여러 설명과 양립한다면 합의에는 오랜 시간이 필요하다. 새로운 자료가 충분히 나오지 않으면 논쟁이 완전히 해결되지 않을 수도 있다.”
➡️ 과학적 합의는 모든 연구자가 같은 성격과 관점을 갖게 되는 상태가 아니다. 경쟁 설명 가운데 하나가 반복 검증과 새로운 증거를 통해 상대적으로 더 강한 지지를 얻는 과정이다.
이 장은 전문가의 의견이 왜 다를 수 있는지도 설명한다. 전문가들은 동일한 자료를 보더라도 서로 다른 배경지식과 방법론적 경험을 가지고 있다. 미생물학자는 화석과 유기물의 생물학적 의미를 강조할 수 있고, 지질학자는 고온과 압력에 따른 무생물적 형성 과정을 더 중요하게 볼 수 있다.
전문가의 차이는 항상 편견이나 무능력의 증거가 아니다. 복잡한 문제에는 여러 전문 분야의 지식이 필요하며, 각 분야는 서로 다른 오류 가능성을 발견한다. 논쟁은 자료의 약점을 드러내고 더 좋은 실험을 설계하게 할 수 있다.
다만 전문가의 의견이 다르다는 사실을 모든 설명이 동등하다는 근거로 사용해서는 안 된다. 한 설명이 더 많은 자료를 설명하고, 반복 실험을 견디며, 더 적은 보조 가정을 요구한다면 상대적으로 높은 신뢰를 받을 수 있다.
과학적 의견의 차이는 승자와 패자를 가리는 토론보다 신뢰도를 조정하는 과정으로 이해해야 한다. 새로운 자료가 나올 때마다 각 설명의 가능성을 높이거나 낮출 수 있다. 완전한 확신에 도달하지 못하더라도 한 설명이 다른 설명보다 훨씬 더 타당하다고 판단할 수 있다.
Foell은 독자에게 과학적 논쟁을 접했을 때 누가 확신에 차서 말하는지만 보지 말라고 요구한다. 연구자가 어떤 자료에 동의하는지, 어디에서 해석이 갈리는지, 각 설명을 반박할 수 있는 결과가 무엇인지 살펴야 한다.
언론에서는 과학 논쟁을 찬성과 반대의 대립으로 단순화하기 쉽다. 화성 생명체가 발견되었다와 발견되지 않았다는 두 입장이 동등하게 맞서는 것처럼 보도할 수 있다. 그러나 실제 논쟁은 각각의 화학물질과 구조가 어떤 과정으로 생성될 수 있는지를 둘러싼 세부적인 신뢰도 평가에 가깝다.
한 명의 찬성 전문가와 한 명의 반대 전문가를 나란히 소개한다고 해서 균형 있는 보도가 되는 것도 아니다. 연구 공동체 전체에서 어느 설명이 더 많은 지지를 받고 있는지, 그 지지가 어떤 자료에 근거하는지를 함께 전달해야 한다.
이 장의 교훈은 일상적인 논쟁에도 적용된다. 회사의 매출이 감소했다는 자료에는 모두 동의할 수 있지만, 원인이 제품의 품질인지 시장 침체인지 경쟁사의 등장인지 설명은 다를 수 있다. 한 사람이 피곤하고 대화가 줄었다는 사실을 보고 관심이 사라졌다고 해석할 수도 있고 업무 스트레스 때문이라고 설명할 수도 있다.
같은 사실에서 여러 설명이 가능할 때는 자신의 설명을 확정하기 전에 각 설명이 예측하는 추가 결과를 찾아야 한다. 품질 문제라면 고객 불만과 반품이 늘어야 하고, 시장 침체라면 경쟁사도 비슷한 감소를 보여야 한다. 관계의 관심이 줄었다면 다른 상황에서도 거리감이 나타날 수 있고, 업무 스트레스가 원인이라면 휴식 이후 변화가 나타날 수 있다.
설명은 자료에 의미를 부여하지만, 의미를 부여했다는 사실만으로 진실이 되지는 않는다. 우리는 관찰된 사실과 자신이 덧붙인 원인을 구별해야 한다. 설명을 잠정적인 가설로 유지할 때 새로운 자료에 따라 수정할 수 있다.
✨ 해설과 통찰
이 장의 철학적 핵심은 자료에 의한 이론의 미결정성에 있다. 하나의 자료 집합이 서로 다른 이론과 동시에 양립할 수 있다면 자료만으로 이론을 자동 선택할 수 없다. 연구자는 기존 지식과 단순성, 설명 범위와 예측력 같은 추가 기준을 사용해야 한다.
Pierre Duhem과 Willard Van Orman Quine은 어떤 가설도 홀로 시험되지 않는다고 보았다. 실험 결과는 핵심 이론뿐 아니라 측정 장비와 보조 가정, 표본의 상태와 분석 방법에 의존한다. 예상과 다른 결과가 나왔을 때 어느 부분이 틀렸는지 즉시 알 수 없다.
화성 운석의 경우 미생물 구조처럼 보이는 형태가 발견되었다는 자료만으로 생명체를 확정할 수 없었다. 그 구조가 화석이라는 보조 가정과 지구 오염이 없었다는 가정, 무생물적 과정으로는 같은 형태가 만들어지지 않는다는 가정이 모두 필요했다.
Thomas Kuhn의 관점에서는 기존 패러다임이 무엇을 정상적이고 비범한 주장으로 보는지 결정한다. 화성에 생명체가 없다는 기존 기대가 강할수록 생명체 가설에는 높은 증거 기준이 적용된다. 그러나 새로운 증거가 누적되면 과거에는 비범했던 주장이 정상적인 설명으로 바뀔 수도 있다.
Carl Sagan이 널리 알린 비범한 주장은 비범한 증거를 요구한다는 원칙은 회의주의의 유용한 기준이다. 그러나 비범함은 절대적인 속성이 아니라 현재의 지식과 관계된 판단이다. 세균이 질병을 일으킨다는 주장이나 대륙이 움직인다는 주장도 처음에는 비범하게 여겨졌다.
Bayesian 추론은 이러한 상황을 확률의 변화로 이해하게 한다. 기존 지식과 잘 맞는 설명에는 비교적 높은 초기 가능성을 부여하고, 매우 이례적인 설명에는 낮은 초기 가능성을 부여한다. 이후 새로운 자료가 각 설명에서 얼마나 예상되는지를 비교해 믿음의 정도를 조정한다.
화성 운석에서 생물학적 과정에서만 만들어질 수 있는 구조가 반복적으로 발견된다면 생명체 가설의 가능성은 크게 높아질 것이다. 반대로 같은 구조가 실험실의 무생물적 조건에서도 만들어진다면 가능성은 낮아진다. 설명은 참과 거짓의 즉각적인 이분법보다 증거에 따라 달라지는 신뢰도로 평가된다.
꿀벌 연구는 인간 중심주의의 문제를 드러낸다. 과거에는 곤충이 복잡한 인지 능력을 가질 수 없다는 가정이 강했다. 이 가정은 새로운 결과를 지나치게 회의적으로 보게 할 수 있다. 반대로 동물의 지능을 강조하고 싶은 연구자는 단순한 학습 행동을 인간의 수학적 이해와 비슷한 것으로 과장할 수 있다.
따라서 열린 태도와 엄격한 검증은 동시에 필요하다. 벌이 추상적인 개념을 가질 가능성을 원천적으로 배제해서는 안 되지만, 인간과 유사한 능력을 보여주었다는 표현에는 엄격한 실험이 필요하다. 동물의 능력을 존중하는 것과 인간의 개념을 동물 행동에 투사하는 것은 다르다.
과학사회학의 관점에서는 합의가 자료만으로 이루어지지 않는다는 사실도 중요하다. 연구비와 학술지, 언론과 정치적 관심은 어떤 설명이 더 빠르게 확산되는지에 영향을 줄 수 있다. Bill Clinton의 발표는 화성 생명체 가설에 엄청난 가시성을 부여했다.
그러나 정치적 관심이 있었다는 이유만으로 연구 결과가 거짓이 되는 것은 아니다. 반대로 권위 있는 대통령과 연구기관이 발표했다는 이유로 참이 되는 것도 아니다. 지식의 생산 조건을 살펴보되 최종적으로는 자료와 방법을 평가해야 한다.
이 장은 과학적 합의에 대한 오해도 교정한다. 합의는 모든 과학자가 같은 의견을 가진다는 뜻이 아니며, 소수의 반대가 존재한다고 합의가 없는 것도 아니다. 현재의 증거를 가장 잘 설명하는 견해에 상당수 전문가가 높은 신뢰를 부여하는 상태에 가깝다.
과학적 합의는 확정적인 진리보다 행동을 위한 가장 신뢰할 만한 기준을 제공한다. 정책과 개인의 선택은 모든 논쟁이 끝날 때까지 기다릴 수 없다. 현재 어느 설명이 더 강한 증거를 갖는지 확인하고, 불확실성의 크기에 맞게 판단해야 한다.
온라인 정보 환경에서는 전문가의 의견 차이가 과학 전체에 대한 불신으로 이용되기 쉽다. 연구자들이 논쟁하고 있다는 사실을 아무것도 모른다는 증거로 해석할 수 있다. 그러나 논쟁은 과학의 결함이 아니라 여러 설명을 공개적으로 비교하는 과정이다.
반대로 과학적 합의를 비판할 수 없는 권위로 만들어서도 안 된다. 새로운 자료와 더 좋은 설명이 나타나면 합의는 수정될 수 있어야 한다. 합의의 신뢰성은 변화하지 않는 데서가 아니라 공개된 증거에 따라 변화할 수 있는 데서 나온다.
이 장의 윤리적 메시지는 해석의 책임이다. 동일한 사실에서 여러 설명이 가능할 때 자신에게 유리한 설명을 사실처럼 전달하면 다른 사람의 판단을 왜곡할 수 있다. 관찰과 추론, 합의된 부분과 논쟁 중인 부분을 분명히 나누어 말해야 한다.
모른다고 말하는 능력도 중요하다. 설명을 선택할 증거가 부족한 상태에서 확실한 결론을 제공하면 단기적으로는 만족을 줄 수 있지만 장기적으로 신뢰를 약화한다. 불확실성을 정확하게 표현하는 것은 무능력이 아니라 지적 정직성이다.
? 핵심 요약
1️⃣ 동일한 자료에 동의하더라도 그 자료를 설명하는 가설이 여러 개라면 연구자들은 전혀 다른 결론에 도달할 수 있다.
2️⃣ 화성 운석 ALH 84001의 유기물과 자성 결정, 미생물처럼 보이는 구조는 고대 생명체의 흔적으로도, 무생물적 과정과 지구 오염의 결과로도 해석될 수 있었다.
3️⃣ 꿀벌의 실험 행동은 추상적인 수 개념의 증거일 수도 있지만, 시각적 단서와 단순한 학습 규칙에 따른 행동일 가능성도 검토해야 한다.
4️⃣ 비범한 주장은 더 강한 증거를 요구하지만, 무엇이 비범한지와 어느 정도의 증거가 충분한지를 결정하는 기준 역시 공개적으로 검토되어야 한다.
? 비교·확장
Pierre Duhem의 논의는 실험이 하나의 가설만을 검증하지 않는다는 점을 보여준다. 결과가 예상과 다르면 핵심 이론뿐 아니라 측정 장치와 보조 가정 가운데 어느 것이 잘못되었는지 판단해야 한다. 화성 운석의 해석도 오염과 화학 과정, 형태 분석에 관한 여러 가정에 의존했다.
Willard Van Orman Quine은 우리의 지식이 서로 연결된 하나의 그물처럼 작동한다고 보았다. 새로운 자료와 충돌할 때 어느 믿음을 수정할지는 논리만으로 자동 결정되지 않는다. 중심적인 이론을 유지하고 주변 가정을 바꿀 수도 있으며, 자료가 충분히 강하면 중심 이론을 수정할 수도 있다.
Carl Sagan의 비범한 증거 원칙은 초자연적 주장과 외계 생명체 연구에서 특히 중요하다. 다만 이 원칙을 새로운 생각을 배제하는 구호로 사용해서는 안 된다. 특별한 주장을 공개적으로 시험하고, 필요한 증거의 조건을 분명히 하는 기준으로 사용해야 한다.
Thomas Bayes의 확률적 사고는 설명을 확정적 진실보다 신뢰도의 문제로 보게 한다. 기존 지식과 새로운 자료를 함께 고려해 각 설명의 가능성을 조정한다. 하나의 자료가 여러 설명에서 모두 예상된다면 그 자료는 설명들을 구별하는 힘이 약하다.
Thomas Kuhn은 과학적 합의가 패러다임과 공동체의 역사 속에서 형성된다고 보았다. 연구자는 순수한 자료만 보는 것이 아니라 어떤 문제가 중요하고 어떤 설명이 정상적인지를 규정하는 기존 체계 안에서 판단한다. 새로운 설명은 자료뿐 아니라 연구 공동체의 기준과도 경쟁해야 한다.
Karl Popper의 반증주의는 경쟁 설명을 구별하는 데 유용하다. 화성 생명체 가설과 무생물적 형성 가설이 서로 다른 결과를 예측하도록 만들어야 한다. 어느 설명도 위험한 예측을 제공하지 않고 현재 자료를 모두 사후적으로 설명한다면 논쟁은 해결되기 어렵다.
현대 인공지능 연구에서도 같은 문제가 나타난다. 하나의 언어모델이 시험에서 높은 점수를 얻었을 때 그것이 실제 추론 능력의 증거인지, 학습 자료의 패턴과 문제 형식을 이용한 결과인지 논쟁이 생긴다. 관찰된 성능에는 동의해도 내부 능력에 대한 설명은 달라질 수 있다.
의학에서도 같은 증상에 여러 원인이 존재할 수 있다. 검사의 결과와 환자의 상태가 하나의 진단과 일치하더라도 다른 질병이 같은 결과를 만들 수 있다. 의사는 가장 눈에 띄는 설명을 확정하기보다 경쟁 진단을 비교하고 추가 검사로 범위를 좁혀야 한다.
법정에서는 동일한 증거를 검찰과 변호인이 다른 이야기로 구성한다. 피고인의 현장 उपस्थित 여부는 범행 참여의 증거로도, 우연한 उपस्थित으로도 설명될 수 있다. 중요한 것은 각 설명이 전체 증거와 얼마나 일치하고 다른 가능성을 얼마나 배제하는지를 평가하는 것이다.
? 연결 독서 제안
✔️ Carl Sagan, The Demon-Haunted World
✔️ Thomas Kuhn, The Structure of Scientific Revolutions
✔️ Karl Popper, Conjectures and Refutations
✔️ Elliott Sober, Evidence and Evolution
? 사유를 여는 질문
❓ 동일한 사실을 설명하는 여러 가설 가운데 하나를 선택할 때 나는 어떤 기준을 가장 중요하게 사용하는가?
❓ 비범한 주장에 더 강한 증거를 요구하는 원칙이 합리적 회의주의와 새로운 발견의 억압 사이에서 균형을 잡으려면 무엇이 필요한가?
❓ 전문가들의 해석이 갈릴 때 현재의 합의를 존중하면서도 새로운 반대 증거에 열린 태도를 유지하는 방법은 무엇인가?
? Chapter 11. We Classify According to Our Expectations | 우리는 기대에 따라 분류한다
✅ 장 개요
이 장은 과학적 자료가 수집된 뒤에만 해석되는 것이 아니라, 자료를 수집하고 정리하는 순간부터 연구자의 기대와 기준이 개입한다는 문제를 다룬다. 우리는 흔히 측정값이 먼저 객관적으로 주어지고, 그다음에 사람이 그 값을 해석한다고 생각한다. 그러나 Jens Foell은 무엇을 정상으로 보고 무엇을 이상으로 분류할지 결정하는 단계에서 이미 하나의 관점이 적용된다고 설명한다. 자료는 아무런 이름도 붙지 않은 채 스스로 연구 결과가 되지 않는다. 연구자는 어떤 값은 믿을 만한 관찰로 남기고, 어떤 값은 오류나 예외, 이상치로 분류한다.
저자는 독일인의 평균 월급을 조사하는 가상 연구로 논의를 시작한다. 연구자가 무작위로 1,000명에게 전화를 걸어 월급을 묻고, 첫 999명의 평균에서 3,539유로라는 결과를 얻었다고 가정한다. 마지막 통화 상대가 독일 축구 국가대표팀 감독 Julian Nagelsmann이고, 그가 한 달에 약 40만 유로를 번다고 답한다면 전체 산술평균은 크게 상승한다. 연구자는 이 값을 그대로 포함할지, 지나치게 특이한 사례이므로 제외할지 결정해야 한다.
Nagelsmann도 독일에 거주하며 실제 소득을 정확히 답한 조사 대상자라면 자료에서 제외할 명백한 이유는 없다. 그러나 연구자가 기대한 평범한 월급과 너무 다르기 때문에 그의 답변은 자연스럽게 이상치로 보인다. 반대로 월급이 3,500유로인 사람이 답했다면 연구자는 아무런 의심 없이 정상적인 자료로 받아들였을 것이다. 측정값의 진위가 아니라 기존 기대와의 일치 여부가 정상과 오류를 나누는 기준으로 작동하는 것이다.
이 문제는 통계 방법의 선택과도 연결된다. 소득처럼 극단적인 값이 존재하는 자료에서는 산술평균이 집단의 전형적인 상황을 제대로 보여주지 못할 수 있다. 이때 중앙값을 사용하면 소수의 고소득자가 전체 결과를 크게 움직이는 문제를 줄일 수 있다. 중요한 것은 특정 숫자를 연구자의 기대에 맞지 않는다는 이유로 사후에 삭제하는 것이 아니라, 자료의 성격에 맞는 통계 방법과 이상치 처리 기준을 연구 전에 정하는 것이다.
저자는 혈압과 온도계의 사례를 통해 기대에 따른 분류가 언제나 잘못된 것은 아니라고 설명한다. 환자의 혈압이 999와 99로 측정되거나 평범한 방의 온도계가 99도를 가리킨다면, 장비나 기록에 오류가 있다고 의심하는 것이 합리적이다. 기존의 생리학과 일상 경험은 터무니없는 측정값을 빠르게 찾아내게 해준다. 아무런 기대도 없다면 명백한 오류까지 사실로 받아들일 수 있다.
그러나 같은 전략은 새로운 발견을 제거하는 장벽이 될 수도 있다. 기존 이론과 맞지 않는 결과를 모두 장비 오류나 이상치로 분류하면, 과학자는 자신이 예상한 세계만 보게 된다. 특히 정상과 비정상, 대표와 예외, 과학적으로 흥미로운 결과와 쓸모없는 잡음을 나누는 기준이 명확하지 않을 때 연구자의 관점은 사실의 범위를 바꿀 수 있다.
이 장의 핵심은 기대와 분류를 완전히 제거하라는 것이 아니다. 인간은 어떤 기준 프레임도 없이 자료를 이해할 수 없으며, 사전 지식은 오류를 발견하고 현상을 빠르게 판단하는 데 필수적이다. 필요한 것은 자신이 어떤 기준을 적용하고 있는지 의식하고, 그 기준을 연구 과정과 결과에 공개하는 것이다. 그래야 다른 사람이 동일한 자료를 다른 틀에서 검토하고, 무엇이 관찰된 사실이며 무엇이 연구자의 분류인지 구별할 수 있다.
? 상세 설명
Foell은 과학적으로 허용되는 것과 허용되지 않는 것을 구분하는 문제가 논문 심사나 학술회의에서 처음 발생하는 것이 아니라고 말한다. 연구 결과가 외부에 공개되기 전, 실제 자료를 모으고 정리하는 실험실에서 이미 그 구분은 시작된다. 연구자는 측정값을 보면서 어떤 자료를 분석에 포함하고 어떤 자료를 제외할지를 판단한다.
이 판단은 흔히 순수한 기술적 절차처럼 보인다. 장비가 고장 났거나 참가자가 지시를 따르지 않았다면 해당 자료를 제거하는 것이 당연해 보인다. 그러나 현실에서는 오류와 진짜 예외를 구분하기 어려운 경우가 많다. 기대에서 크게 벗어난 값이 장비의 실수인지, 드물지만 실제로 존재하는 현상인지 측정값 하나만으로 알기 어렵다.
독일인의 평균 월급을 조사하는 가상 연구는 이 문제를 간단하게 보여준다. 연구자는 가능한 대표적인 표본을 얻기 위해 무작위 전화번호를 사용한다. 첫 999통의 전화에서는 독일에 거주하며 자신의 수입을 솔직하게 알려주는 사람들이 응답하고, 이들의 월급을 산술평균한 결과 3,539유로가 나온다.
이 숫자는 연구자의 상식과도 대체로 잘 맞는다. 독일의 일반적인 임금 수준을 생각할 때 불가능해 보이지 않으며, 특별한 오류를 의심할 이유도 없다. 연구자는 연구가 계획대로 순조롭게 진행되고 있다고 생각한다.
마지막 통화에서 독일 축구 국가대표팀 감독이 응답한다. 그는 한 달에 약 40만 유로를 번다고 답한다. 이 수치는 앞선 999명의 월급과 비교하면 압도적으로 크다. 이 한 사람을 포함하면 전체 평균은 약 3,935유로로 올라간다. 한 사람의 자료가 1,000명의 평균을 약 400유로나 변화시키는 것이다.
✒️ 핵심 발췌
? “단순화를 위해, 첫 999통의 전화가 완벽하게 이루어졌다고 가정해보겠다. 즉, 독일에 거주하며 자신의 소득에 대해 솔직한 정보를 제공할 의향이 있는 사람이 매번 전화를 받는다는 가정이다. 모든 전화를 마치고 나서 지금까지의 평균을 계산한 결과, 3,539유로라는 수치를 얻는다.”
✍️ “첫 999명의 응답은 연구자가 예상한 범위에 들어왔고, 그 결과는 독일인의 일반적인 월급을 보여주는 자연스러운 수치로 받아들여졌다. 연구자는 이 자료들을 의심하거나 별도로 분류할 필요를 느끼지 않았다.”
➡️ 자료가 기대와 일치할 때 우리는 그것이 어떤 기준을 통과했는지 거의 의식하지 않는다. 정상이라는 분류는 적극적인 판단처럼 보이지 않지만, 실제로는 기존 지식과 기대가 작동한 결과다.
여기서 연구자는 곤란한 선택을 마주한다. Nagelsmann의 소득을 그대로 포함하면 연구 설계의 원칙을 지키는 셈이다. 그는 무작위로 선택되었고 독일에 거주하며 질문에 사실대로 답했으므로 연구 대상의 조건에 정확히 맞는다. 연구자는 일반적인 월급을 가진 사람만 조사하겠다고 처음부터 정하지 않았다.
그러나 이 값을 포함한 평균은 많은 사람이 실제 생활에서 경험하는 월급을 제대로 표현하지 못하는 것처럼 보인다. 한 명의 극단적인 고소득자가 전체 집단의 수치를 크게 끌어올린다. 이 숫자를 독일의 보통 노동자가 받는 월급이라고 소개한다면 독자에게 잘못된 인상을 줄 수 있다.
반대로 이 값을 제외하면 연구자는 결과를 본 뒤 분석 기준을 바꾸는 셈이 된다. 40만 유로가 너무 크다는 이유로 삭제한다면, 얼마부터 지나치게 큰 값으로 볼 것인지 정해야 한다. 10만 유로는 제외하고 5만 유로는 포함할 것인지, 혹은 평균에서 일정 거리 이상 떨어진 값을 모두 삭제할 것인지 객관적인 기준이 필요하다.
극단적인 값이 연구자의 예상에 맞지 않는다는 이유만으로 제거되면, 연구 결과는 현실보다 연구자의 기대를 더 잘 반영하게 된다. 실제 사회에는 고소득자가 존재하지만 이들을 모두 오류처럼 삭제하면 소득 분포의 불평등은 통계에서 사라진다.
✒️ 핵심 발췌
? “이런, 우연히 독일 축구 국가대표팀 감독의 번호로 전화를 걸어버렸다! 보도에 따르면, 그는 한 달에 약 40만 유로를 번다고 한다. 전화로 정중히 작별 인사를 하기 전에 그가 대답한 내용도 그와 같다.”
✍️ “마지막 조사 대상자는 비현실적인 응답을 한 사람이 아니라 실제로 매우 높은 소득을 받는 사람이었다. 그의 답변은 정확했지만 다른 사람들의 월급과 너무 달랐기 때문에 오류나 예외처럼 보이게 되었다.”
➡️ 이상치는 반드시 잘못된 자료가 아니다. 그것은 연구자가 조사하는 현실 속에 실제로 존재하는 극단적인 사례일 수 있으며, 그 사례를 제거할 것인지는 연구 질문에 따라 달라져야 한다.
이 문제는 평균이라는 단어가 여러 통계값을 가리킬 수 있다는 사실과 연결된다. 일상에서는 평균이라고 하면 주로 모든 값을 더한 뒤 사람 수로 나누는 산술평균을 생각한다. 산술평균은 많은 자료를 하나의 숫자로 요약하는 유용한 방법이지만 극단값에 매우 민감하다.
중앙값은 모든 값을 크기 순서로 배열했을 때 가운데에 놓이는 값이다. 일부 사람이 압도적으로 높은 소득을 받더라도 중앙값은 거의 변하지 않는다. 일반적인 사람이 어느 정도의 월급을 받는지를 설명하려는 목적이라면 산술평균보다 중앙값이 더 적합할 수 있다.
그러나 중앙값만 사용하면 전체 소득 규모와 고소득층이 차지하는 비중을 충분히 보여주지 못할 수 있다. 산술평균이 틀리고 중앙값이 항상 옳은 것이 아니다. 연구 질문에 따라 어떤 통계값이 더 적절한지를 선택해야 한다.
독일 사회 전체에서 한 사람에게 돌아가는 평균적인 소득을 계산하려면 산술평균이 의미가 있을 수 있다. 반면 전형적인 노동자의 생활수준을 보여주려면 중앙값이 더 유용할 수 있다. 동일한 자료에서 나온 두 숫자가 서로 다른 질문에 답하는 것이다.
Foell은 문제의 핵심을 잘못된 실험 설계에서 찾는다. 소득처럼 극단적인 값이 예상되는 자료에 산술평균만 적용하면 처음부터 오해가 생길 가능성이 있다. 결과가 나온 뒤 특정 자료를 삭제할지 고민하기보다, 연구 설계 단계에서 자료의 분포와 연구 질문에 맞는 통계 방법을 정했어야 한다.
✒️ 핵심 발췌
? “우리가 ‘평균’이라고 할 때는, 보통 산술평균을 의미한다. 만약 다른 평균, 즉 중앙값을 사용하면, 원하는 결과인 월 3,539유로를 얻을 수 있다. 중앙값은 개별적인 극단값에 따라 쉽게 왜곡되지 않기 때문이다.”
✍️ “소득처럼 일부 극단적인 값이 전체 수치를 크게 움직이는 자료에서는 중앙값이 전형적인 상황을 더 잘 보여줄 수 있다. 문제는 불편한 값을 임의로 지우는 것이 아니라 질문에 적합한 요약 방식을 선택하는 것이다.”
➡️ 통계 방법은 이미 존재하는 사실을 중립적으로 전달하는 포장지가 아니다. 같은 자료도 어떤 계산법을 선택하느냐에 따라 다른 사회적 현실을 보여준다.
연구자는 평균을 계산하기 전에 자신이 무엇을 알고 싶은지 명확하게 해야 한다. 전체 소득의 균등 배분값을 알고 싶은지, 가장 전형적인 사람의 소득을 알고 싶은지, 소득이 어느 정도 불평등하게 분포하는지를 알고 싶은지에 따라 필요한 지표가 달라진다.
하나의 평균값만 제시하면 분포의 중요한 특징이 가려질 수 있다. 같은 평균을 가진 두 사회도 한 사회는 대부분의 사람이 비슷한 소득을 받고, 다른 사회는 극소수가 대부분의 소득을 차지할 수 있다. 평균 외에도 중앙값과 범위, 상위와 하위 집단의 차이를 함께 제시해야 현실을 더 정확하게 이해할 수 있다.
이 사례는 이상치를 어떻게 다룰 것인가라는 일반적인 연구 문제로 이어진다. 이상치는 다른 값들과 크게 떨어져 있는 측정값이다. 장비가 잘못 작동하거나 자료를 입력할 때 숫자를 틀린 경우에도 이상치가 생기고, 실제로 매우 드문 사람이 연구에 포함되어도 이상치가 나타난다.
두 경우는 동일하게 처리할 수 없다. 오류라면 수정하거나 제외해야 하지만, 실제 사례라면 그것을 제거하는 일이 현실의 중요한 부분을 삭제하는 결과가 될 수 있다. 극단값은 평균을 불안정하게 만들지만 동시에 연구자가 몰랐던 새로운 현상이나 집단을 보여줄 수도 있다.
예를 들어 신약 실험에서 대부분의 참가자가 가벼운 반응을 보였지만 한 명에게 매우 심각한 부작용이 나타났다면, 그 사례를 통계적 예외로 삭제해서는 안 된다. 드문 반응이더라도 사람의 생명과 관련된 중요한 정보일 수 있다. 반면 체중이 70킬로그램인 참가자의 자료가 700킬로그램으로 입력되었다면 기록 오류를 의심해야 한다.
문제는 기록만 보고 두 경우를 즉시 구별하기 어렵다는 점이다. 연구자는 원자료와 측정 장비를 확인하고, 같은 참가자를 다시 측정하며, 해당 결과가 생물학적이나 사회적으로 가능한지 검토해야 한다.
Foell은 혈압 측정값을 통해 이러한 판단이 기대에 의존한다는 사실을 보여준다. 환자의 혈압이 135와 85로 측정되면 연구자는 자연스럽게 실제 값으로 받아들인다. 일반적으로 나타날 수 있는 혈압 범위에 들어오기 때문이다.
그러나 측정값이 999와 99로 나오면 장비나 기록에 오류가 있다고 판단한다. 인간의 혈압에 관한 기존 지식에 비추어 매우 비현실적인 결과이기 때문이다. 연구자는 해당 값을 그대로 사실로 발표하지 않고 다시 측정하거나 장비를 검사한다.
✒️ 핵심 발췌
? “환자의 혈압을 측정했는데 999와 99라는 결과가 나왔다면, 기술적인 오류가 발생했을 가능성이 매우 높다. 반면에 결과가 135와 85라면 의심할 이유가 없다. 이는 우리가 기존의 의견과 잘 맞는 결과는 자연스럽게 사실로 받아들이고, 다른 것은 의심하거나 거부하는 상황으로 이어진다.”
✍️ “예상 가능한 혈압 수치는 별도의 검토 없이 사실로 인정되지만, 기존 지식으로 이해하기 어려운 수치는 장비 오류로 분류된다. 측정값의 처리에는 이미 정상 범위에 대한 기대가 들어 있다.”
➡️ 사전 지식은 명백한 오류를 발견하는 데 필수적이지만, 정상 범위 밖의 모든 결과를 자동으로 제거하면 실제 예외와 새로운 발견도 사라질 수 있다.
이 판단은 대부분의 경우 합리적이다. 인간이 생존한 상태에서 999라는 수축기 혈압이 나타날 가능성은 거의 없으므로 먼저 장비와 기록을 의심하는 것이 타당하다. 모든 측정값을 동일하게 믿는 태도는 과학적 개방성이 아니라 무분별함에 가깝다.
방의 온도계가 99도를 가리키는 경우도 마찬가지다. 사람이 평범하게 머물 수 있는 방에서 그런 결과가 나왔다면 온도계의 단위나 장비 고장, 표시 오류를 확인해야 한다. 만약 실제로 섭씨 99도라면 방 안의 상황 자체가 측정값보다 먼저 명백한 이상을 보여주었을 것이다.
기대는 현실의 규칙성을 압축한 지식이다. 과거의 수많은 관찰을 통해 사람의 혈압과 방의 온도가 어느 범위에 놓이는지 알고 있으므로, 새 측정값을 빠르게 평가할 수 있다. 사전 기준이 없다면 매번 모든 가능성을 처음부터 검토해야 한다.
하지만 기존의 기준은 완전하지 않다. 정상 혈압의 범위는 집단과 시대, 의학적 기준에 따라 달라질 수 있고, 과거에 불가능하다고 생각했던 자연현상이 새로운 기술로 발견되기도 한다. 기대는 오류를 찾아주는 도구이면서 동시에 새로운 사실을 가로막을 수 있는 필터다.
과학의 역사에서는 예상과 맞지 않는 자료가 중요한 발견의 출발점이 된 경우가 많다. 기존 이론으로 설명할 수 없는 천체의 운동과 방사선, 실험 결과가 반복되면서 새로운 이론이 필요해졌다. 처음의 이상치는 측정 오류로 의심되었지만, 독립적으로 재현되면서 실제 현상으로 인정되었다.
따라서 이상한 결과가 나타났을 때 적절한 반응은 무조건 받아들이거나 즉시 버리는 것이 아니다. 먼저 오류 가능성을 점검하고, 측정을 반복하며, 다른 방법과 장비로 같은 결과가 나오는지 확인해야 한다. 반복 검증을 견딘 이상치는 연구 대상에 관한 새로운 정보를 제공할 수 있다.
Foell은 우리가 기대에 따라 분류한다는 말이 이론적인 연구 결과에만 해당하지 않는다고 강조한다. 연구자가 사람과 행동, 사회집단을 분류하는 경우에도 같은 문제가 발생한다. 어떤 사람을 정상과 비정상, 전문가와 비전문가, 대표적 사례와 특수한 사례로 나누는 판단에는 사회적 기대가 들어간다.
연구 참가자를 모집할 때부터 이러한 분류가 작동한다. 정상 성인을 조사한다고 할 때 정상의 기준을 누가 결정하는지 질문해야 한다. 진단을 받은 사람만 제외할 것인지, 약물을 복용하거나 특정한 생활 경험이 있는 사람도 제외할 것인지에 따라 연구 표본이 달라진다.
지나치게 엄격한 제외 기준을 사용하면 연구자가 원하는 전형적인 사람만 남을 수 있다. 그 결과 실험실에서는 매우 깨끗한 결과가 나오지만, 실제 사회의 다양한 사람에게는 적용하기 어려운 지식이 만들어진다. 현실의 복잡성을 오류처럼 제거한 뒤 이상적인 인간의 행동을 측정하게 되는 것이다.
반대로 모든 차이를 아무 구분 없이 포함하면 중요한 효과를 발견하기 어려울 수 있다. 연구 질문과 관련된 집단을 구분하고 조건을 통제하는 일은 필요하다. 문제는 분류의 존재가 아니라 그 기준을 자연적이고 자명한 사실처럼 숨기는 데 있다.
분류는 관찰 이후에 붙는 이름이 아니라 무엇을 볼 것인지 결정하는 장치다. 연구자가 공격적인 행동만을 문제 행동으로 정의하면 침묵과 회피, 관계 단절은 분석에서 빠질 수 있다. 정치 참여를 투표와 정당 활동으로만 정의하면 돌봄과 지역 공동체 활동은 정치적 행동으로 보이지 않는다.
사회적 범주에서도 기대는 강하게 작동한다. 연구자가 특정 집단은 학업 성취가 낮을 것이라고 예상하면 낮은 점수를 집단 특성으로 받아들이고 높은 점수는 예외적인 개인의 성취로 분류할 수 있다. 반대 집단에서는 높은 점수를 정상으로, 낮은 점수를 특수한 실패로 볼 수 있다.
같은 자료가 누구에게서 나왔는지에 따라 다른 의미를 부여받는 것이다. 사람의 이름과 성별, 인종과 소속 기관을 알고 평가할 때 연구자와 심사자의 기대가 판단에 개입할 수 있다. 따라서 가능한 경우 평가자가 불필요한 신원 정보를 알지 못하게 하는 절차가 필요하다.
과학 공동체 내부의 분류도 중요하다. 어떤 주제가 정통 과학에 속하고 어떤 주제가 주변적이거나 비과학적인 것으로 취급되는지는 연구비와 발표 기회, 논문 출판에 영향을 준다. 새로운 분야의 연구자는 자료의 질과 별개로 익숙하지 않은 주제를 다룬다는 이유로 더 큰 의심을 받을 수 있다.
반대로 유명한 연구자와 권위 있는 기관에서 나온 결과는 기대에 맞는다는 이유로 충분한 검토 없이 받아들여질 수 있다. 연구 내용보다 연구자의 이름이 정상과 예외를 나누는 기준으로 작용하는 것이다.
Foell이 강조하는 기준 프레임은 이처럼 자료를 바라보는 관점의 틀을 뜻한다. 사람은 완전히 열린 마음으로 연구 질문에 접근하지 않는다. 어떤 결과가 가능한지, 어떤 값이 정상인지, 어떤 설명이 과학적인지에 관한 사전 기준을 자동으로 적용한다.
✒️ 핵심 발췌
? “우리는 절대로 완전히 열린 마음으로 연구 질문에 접근할 수 없다. 우리는 항상 자동적으로 자신의 기준 프레임을 적용한다. 이와 같은 사전 분류에는 목적이 있다는 점을 명심하자.”
✍️ “연구자는 아무런 전제 없이 자료를 바라볼 수 없으며, 이미 가진 지식과 기대를 이용해 측정값을 정리한다. 이러한 분류는 오류를 발견하고 연구를 가능하게 하지만 동시에 무엇을 사실로 인정할지를 제한할 수 있다.”
➡️ 객관성은 관점이 전혀 없는 상태가 아니다. 자신의 관점이 무엇인지 드러내고 다른 관점에서 검토할 수 있게 하는 절차에 가깝다.
기준 프레임은 단순한 편견과 같지 않다. 사람의 혈압이나 방의 온도에 관한 지식은 수많은 관찰과 연구를 통해 형성된 신뢰할 만한 기준이다. 이러한 지식을 적용하는 것은 합리적인 판단이다.
그러나 기준이 강하게 확립되어 있을수록 그것과 다른 결과를 진지하게 검토하기 어려워질 수 있다. 연구자는 기존 이론을 지지하는 자료는 정상으로 분류하고, 모순되는 자료는 불량한 표본과 장비 오류로 처리할 유혹을 받는다.
이러한 문제는 자료 정제라는 이름 아래에서 발생할 수 있다. 통계 분석 전에 결측값과 오류, 이상치를 제거하는 일은 필수적이다. 그러나 자료 정제의 기준이 결과를 본 뒤 정해지면 연구자가 원하는 방향으로 결과를 만들 수 있다.
특정 참가자를 포함했을 때 효과가 사라지고 제외했을 때 효과가 나타난다면, 연구자는 제외할 이유를 더 쉽게 찾을 수 있다. 참가자가 지시를 완벽히 이해하지 못했다거나 응답 시간이 너무 느렸다는 기준을 사후에 적용할 수 있다.
이 문제를 줄이려면 제외 기준을 가능한 한 자료를 분석하기 전에 정해야 한다. 장비 오류를 어떤 조건으로 판단할지, 응답 시간이 어느 범위를 벗어나면 제외할지, 이상치를 어떤 통계 기준으로 처리할지를 미리 기록해야 한다.
원자료를 보존하고, 어떤 자료를 왜 제외했는지 공개하는 것도 중요하다. 독립적인 연구자는 포함 기준을 달리 적용했을 때 결과가 어떻게 변하는지 다시 분석할 수 있다. 하나의 분석만 제시하기보다 합리적인 여러 기준에서 결론이 유지되는지를 보여주면 신뢰도가 높아진다.
소득 연구에서는 산술평균과 중앙값을 함께 제시할 수 있다. Nagelsmann을 포함한 결과와 제외한 결과를 모두 보여주고, 각 숫자가 어떤 질문에 답하는지 설명할 수도 있다. 극단값을 숨기는 대신 그것이 전체 결과에 미친 영향을 독자에게 알리는 것이다.
이 방식은 연구자가 하나의 완벽한 분류를 선택해야 한다는 부담을 줄인다. 현실에서는 포함과 제외의 경계가 모호한 경우가 많으므로, 여러 합리적인 선택에서 결과가 얼마나 달라지는지를 보여주는 편이 더 정직하다.
Foell은 자신의 관점을 인식하면 나중에 사실을 논의할 때 그 프레임 자체도 함께 논의할 수 있다고 말한다. 연구자가 평균적인 독일인의 생활수준을 보여주려 했기 때문에 중앙값을 선택했다고 밝히면, 독자는 그 목적과 방법이 적절한지 평가할 수 있다.
반면 연구자가 극단값을 제외했다는 사실을 숨기고 하나의 숫자만 객관적인 평균으로 제시하면, 숫자를 만든 판단 과정은 보이지 않는다. 결과는 사실처럼 보이지만 그 사실은 특정한 질문과 분류 기준을 통과한 결과다.
✒️ 핵심 발췌
? “하지만 이러한 전략이 문제나 실수로 이어질 수도 있다. 이런 경우에는 ‘자신의 관점’을 인식하는 것이 도움이 된다. 그러면 우리가 수집한 사실들을 나중에 논의할 때, 그 프레임을 식별하고 논의할 수 있다.”
✍️ “기존 기대를 이용한 분류는 유용하지만 잘못된 판단을 만들 수도 있다. 연구자가 자신의 기준과 관점을 공개하면 다른 사람은 자료 자체와 분류 방식을 나누어 검토할 수 있다.”
➡️ 관점을 없애겠다는 약속보다 관점을 드러내는 절차가 더 현실적이다. 숨겨진 전제는 검토할 수 없지만 공개된 전제는 비판과 수정의 대상이 될 수 있다.
이 장의 논리는 언론과 정치적 통계에도 적용된다. 실업자와 빈곤층, 범죄와 이민자의 범위를 어떻게 정의하는지에 따라 같은 사회의 모습이 달라진다. 숫자가 거짓이 아니더라도 분류 기준이 다르면 통계는 크게 달라질 수 있다.
실업률을 계산할 때 구직을 포기한 사람을 실업자에 포함하지 않으면 수치는 낮아질 수 있다. 빈곤을 절대적인 생계 기준으로 정의할지, 사회 중간소득과 비교해 정의할지에 따라 빈곤 인구가 달라진다. 범죄 통계도 신고된 사건만 셀지, 조사에서 확인된 피해 경험까지 포함할지에 따라 달라진다.
정치인은 자신에게 유리한 분류와 지표를 선택해 사실을 전달할 수 있다. 제시한 숫자 자체는 정확할 수 있지만, 다른 합리적인 기준에서 나온 숫자를 제외하면 독자는 한쪽 방향으로 유도된다. 사실과 선전의 경계는 숫자의 진위뿐 아니라 어떤 분류를 선택했는지에서 나타난다.
개인의 일상에서도 우리는 기대에 따라 사람과 사건을 분류한다. 좋아하는 사람의 실수는 우연으로 보고, 싫어하는 사람의 같은 실수는 성격의 증거로 받아들일 수 있다. 자신의 집단이 성공하면 능력으로 설명하고 실패하면 불리한 환경을 탓하지만, 다른 집단에는 반대 기준을 적용할 수 있다.
이러한 분류는 매우 빠르게 일어나므로 자신이 판단했다는 사실조차 느끼지 못한다. 결과는 처음부터 명백했던 사실처럼 보인다. 그러나 같은 행동을 다른 사람이 했을 때 자신이 어떤 이름을 붙일지 비교하면 숨은 기준을 발견할 수 있다.
과학적 사고는 모든 분류를 중단하는 것이 아니라 분류 기준을 일관되게 적용하는 것이다. 자신이 지지하는 사람과 반대하는 사람, 예상한 결과와 예상 밖의 결과에 같은 검증 기준을 적용해야 한다.
이 장은 다음 Chapter 12와도 직접 연결된다. 기대는 자료를 정상과 이상으로 분류할 뿐 아니라, 관찰 상황에서 대상의 행동 자체를 변화시킬 수 있다. 연구자는 세상을 있는 그대로 기록한다고 생각하지만, 관찰과 분류의 방식은 연구 대상과 결과에 영향을 준다.
결국 과학적 사실은 현실에서 곧바로 떨어져 나온 순수한 숫자가 아니다. 측정 장비와 연구 질문, 포함과 제외의 기준, 통계 방법과 분류 체계를 거쳐 만들어진다. 이 과정이 존재한다는 이유로 사실이 임의적인 의견이 되는 것은 아니다.
오히려 과학은 이러한 판단을 공개하고 검증 가능하게 만드는 방식으로 사실의 신뢰성을 높인다. 자료를 어떻게 얻었고 어떤 값을 제외했으며 어떤 통계를 사용했는지 설명하면 다른 연구자가 같은 과정을 반복하거나 다른 기준과 비교할 수 있다.
✨ 해설과 통찰
이 장의 철학적 핵심은 관찰과 분류가 분리될 수 없다는 데 있다. 우리는 세상을 있는 그대로 받아들인 뒤 나중에 이름을 붙이는 것이 아니다. 어떤 것이 같은 종류에 속하고 어떤 것이 예외인지를 판단하면서 비로소 자료를 이해한다.
Immanuel Kant의 인식론과 연결하면 인간은 감각자료를 아무런 형식 없이 받아들이지 않는다. 시간과 공간, 인과성과 범주를 통해 경험을 조직한다. Foell의 기준 프레임도 현실을 이해하기 위해 인간이 적용하는 인식의 틀로 볼 수 있다.
Thomas Kuhn은 과학의 패러다임이 정상적인 문제와 이상 현상을 구분한다고 설명했다. 동일한 결과도 지배적인 이론 안에서 해결 가능한 작은 문제로 보일 수도 있고, 이론의 근본적 한계를 드러내는 위기로 보일 수도 있다. 무엇을 의미 있는 이상치로 볼지는 과학 공동체의 기대에 영향을 받는다.
Mary Douglas의 문화이론은 분류 체계가 사회 질서를 반영한다고 본다. 어떤 대상을 깨끗함과 더러움, 정상과 위험으로 구분하는 방식은 자연적 특성만이 아니라 사회가 유지하려는 경계와 연결된다. 과학의 분류도 사회와 완전히 분리된 활동은 아니다.
통계학에서 이상치 처리는 단순한 기술적 문제가 아니다. 극단적인 값은 분석을 왜곡할 수 있지만, 동시에 불평등과 희귀질환, 위험한 부작용처럼 중요한 현실을 드러낼 수 있다. 평균적인 경향만 강조하면 가장 큰 피해를 겪는 소수자의 경험이 사라질 수 있다.
소득의 산술평균과 중앙값은 경제적 현실을 표현하는 서로 다른 관점이다. 산술평균은 전체 소득의 규모를 사람 수로 나눈 결과를 보여주지만 소수의 고소득자에게 크게 영향을 받는다. 중앙값은 전형적인 사람의 위치를 보여주지만 상위층에 집중된 부의 규모를 충분히 나타내지 못한다.
따라서 좋은 통계적 설명은 어느 한 숫자를 진짜 평균으로 선언하기보다 여러 지표를 함께 제시하고 차이의 이유를 설명한다. 숫자 사이의 차이는 오류가 아니라 사회구조에 관한 정보가 될 수 있다.
의학에서는 정상 범위라는 개념이 중요한 역할을 한다. 검사 결과가 정상 범위 밖에 있으면 질병 가능성을 조사하지만, 정상 범위는 절대적인 건강과 질병의 경계가 아니다. 인구집단의 분포와 위험 수준, 의료적 판단을 토대로 정해진 기준이다.
기준을 조금 바꾸면 정상과 환자로 분류되는 사람의 수가 크게 달라질 수 있다. 고혈압과 당뇨병의 진단 경계가 바뀌면 하루아침에 많은 사람이 새로운 진단 범주에 들어간다. 신체가 갑자기 변한 것이 아니라 분류 기준이 바뀐 것이다.
정신의학에서도 진단 범주는 경험을 이해하고 치료를 제공하는 데 도움을 주지만, 개인의 복잡한 삶을 하나의 이름으로 축소할 위험이 있다. 진단 기준에 약간 미치지 못하는 사람과 약간 넘는 사람 사이에 본질적인 차이가 있다고 단정하기 어렵다.
사회적 편견은 어떤 행동을 정상과 이상으로 분류하는 데 개입한다. 같은 적극적인 행동도 남성에게는 지도력으로, 여성에게는 공격성으로 해석될 수 있다. 같은 침묵도 한 사람에게는 신중함으로, 다른 사람에게는 능력 부족으로 분류될 수 있다.
인공지능의 분류 체계에서도 이 문제가 반복된다. 알고리즘은 사람과 이미지, 행동을 정해진 범주로 나눈다. 그러나 학습자료의 라벨은 사람이 붙였으며, 정상과 위험, 적합과 부적합의 정의에는 기존 사회의 기대가 들어간다.
자동화된 분류는 인간의 판단을 제거하지 않는다. 인간의 판단을 자료와 규칙 속에 고정하고 대규모로 반복할 수 있다. 따라서 알고리즘의 정확도뿐 아니라 어떤 범주를 사용하고 누가 경계에 놓이는지를 검토해야 한다.
이 장의 정치적 함의는 통계가 항상 분류의 결과라는 점이다. 정치적 논쟁에서 숫자를 제시하는 것만으로 중립성이 확보되지 않는다. 어떤 사람을 통계에 포함했고 어떤 기준으로 사건을 셌는지를 함께 밝혀야 한다.
Foell의 주장은 사실이 모두 관점에 따라 임의로 만들어진다는 의미가 아니다. 혈압 측정값과 소득 응답은 현실의 제약을 받는다. 연구자는 원하는 숫자를 자유롭게 만들 수 없다. 다만 현실을 하나의 결과로 요약하려면 선택과 분류가 필요하다.
객관성은 이러한 선택이 없다는 주장보다 선택을 공개하고 같은 기준을 일관되게 적용하는 데서 형성된다. 다른 연구자가 원자료를 보고 다른 분류를 적용할 수 있을 때, 한 사람의 기대가 사실 전체를 독점하는 것을 막을 수 있다.
지적 겸손은 자신의 관점이 있다는 사실을 인정하는 데서 시작된다. 우리는 상대방에게만 프레임이 있고 자신은 사실만 본다고 생각하기 쉽다. 그러나 정상과 예외를 판단하는 모든 사람은 특정한 기준을 적용한다.
더 나은 질문은 누가 편견이 없는가가 아니라 어떤 프레임이 적용되었고, 그 프레임이 어떤 자료를 보이게 하거나 감추는가이다. 자신의 기준을 검토할 수 있는 사람은 관점에서 완전히 자유로운 사람보다 더 신뢰할 만하다.
? 핵심 요약
1️⃣ 연구자는 자료를 해석하기 전부터 어떤 값을 정상과 오류, 대표적 사례와 이상치로 분류하며, 이 과정에는 기존 지식과 기대가 개입한다.
2️⃣ 독일인의 평균 월급 조사에서 한 명의 극단적인 고소득자를 포함할지 제외할지는 측정값의 진위가 아니라 연구 질문과 통계 방법의 문제다.
3️⃣ 산술평균과 중앙값은 같은 자료를 서로 다르게 요약하므로 어떤 숫자가 적절한지는 연구자가 무엇을 설명하려는지에 따라 달라진다.
4️⃣ 기대는 명백한 측정 오류를 발견하게 해주는 필수적인 틀이지만, 예상 밖의 결과를 모두 오류로 처리하면 실제 예외와 새로운 발견을 놓칠 수 있다.
? 비교·확장
Thomas Kuhn의 패러다임 이론은 과학자가 기대에 따라 자료를 분류하는 구조를 설명한다. 패러다임은 어떤 문제가 의미 있고 어떤 측정이 신뢰할 만하며 어떤 결과가 이상 현상인지를 규정한다. 과학자는 패러다임 없이 연구할 수 없지만, 그 틀이 너무 강해지면 새로운 현상을 보지 못할 수 있다.
Immanuel Kant의 인식론은 인간이 경험을 수동적으로 받아들이지 않는다고 말한다. 감각자료는 인간의 인식 형식과 범주를 거쳐 의미 있는 경험이 된다. Foell의 기준 프레임은 이러한 철학적 문제를 연구실의 실제 판단으로 구체화한다.
Mary Douglas의 Purity and Danger는 사회가 경계를 벗어난 대상을 위험하거나 더러운 것으로 분류하는 방식을 분석한다. 이상치는 단순한 숫자가 아니라 기존 범주에 들어맞지 않는 대상이다. 사회와 과학은 이러한 경계 사례를 제거하거나 새로운 범주를 만들어 처리한다.
Ian Hacking은 사람을 분류하는 범주가 분류된 사람의 행동과 정체성에 영향을 줄 수 있다고 설명했다. 정신질환과 학업 능력, 위험 집단의 이름은 현실을 묘사할 뿐 아니라 그 범주에 속한 사람이 자신을 이해하고 제도가 그들을 다루는 방식을 바꾼다.
Daniel Kahneman의 기준점 효과도 연결된다. 사람은 절대적인 값보다 자신이 정상이라고 예상한 기준과 비교해 결과를 판단한다. 같은 소득과 점수도 어떤 비교집단을 기준으로 삼는지에 따라 높거나 낮은 것으로 분류된다.
통계학자 John Tukey의 탐색적 자료 분석은 이상치를 즉시 제거하기보다 자료가 들려주는 이야기를 살펴보라고 요구한다. 극단값은 오류일 수도 있지만 새로운 현상과 하위집단의 존재를 알려주는 단서일 수도 있다. 시각화와 여러 요약 통계를 함께 사용하면 하나의 평균에 가려진 구조를 발견할 수 있다.
의학의 기준 범위는 분류의 실용적 성격을 보여준다. 정상과 비정상의 경계는 자연 속에 선으로 그어져 있는 것이 아니라 질병 위험과 치료 효과, 비용과 부작용을 고려해 설정된다. 경계가 필요하지만 경계 근처의 사람들을 본질적으로 다른 존재로 보아서는 안 된다.
인공지능의 분류 문제에서는 자료 라벨의 출처를 검토해야 한다. 과거의 인사 담당자가 성공적인 직원이라고 분류한 자료를 학습하면 알고리즘은 과거 조직의 기대를 객관적인 성과 기준처럼 반복할 수 있다. 기술적 정확성과 분류 기준의 정당성은 별개의 문제다.
언론의 통계 보도에서도 평균값 하나보다 분포를 살펴야 한다. 평균소득이 상승했더라도 증가분이 상위 집단에 집중되었다면 다수의 생활은 개선되지 않았을 수 있다. 평균과 중앙값, 계층별 변화가 함께 제시되어야 사회적 의미를 판단할 수 있다.
? 연결 독서 제안
✔️ Thomas Kuhn, The Structure of Scientific Revolutions
✔️ Mary Douglas, Purity and Danger
✔️ Ian Hacking, The Social Construction of What
✔️ Daniel Kahneman, Thinking, Fast and Slow
? 사유를 여는 질문
❓ 나는 예상에서 벗어난 자료를 새로운 정보로 보기보다 오류나 예외로 먼저 분류하고 있지는 않은가?
❓ 정상과 이상, 대표와 예외의 경계를 설정할 때 어떤 기준이 사용되었으며 그 기준으로 인해 누가 보이지 않게 되는가?
❓ 동일한 자료에서 여러 통계값이 서로 다른 이야기를 보여줄 때 어떤 숫자를 선택하고 어떻게 그 이유를 공개해야 하는가?
? Chapter 12. We Cannot Observe Without Expectations | 우리는 기대 없이 관찰할 수 없다
✅ 장 개요
Chapter 12는 인간이 세계를 있는 그대로 바라볼 수 있다는 믿음에 근본적인 의문을 제기한다. 저자는 우리가 대상을 관찰할 때 감각기관을 통해 정보를 수동적으로 받아들이는 것이 아니라, 이미 형성된 경험과 개념, 가치관, 기대를 바탕으로 정보를 선택하고 해석한다고 설명한다. 관찰은 현실을 그대로 복사하는 행위가 아니라 현실에 대한 하나의 모델을 구성하는 행위다. 따라서 동일한 사건을 본 두 사람이 서로 다른 기억과 판단을 갖는 것은 단순한 오류가 아니라 인간 인식의 기본 구조에서 비롯되는 결과다.
이 장은 먼저 관찰자가 관찰 대상에 영향을 미치는 현상을 설명한다. 양자물리학의 측정 문제와 사회과학의 호손 효과를 함께 언급하면서, 측정은 이미 존재하는 현실을 아무 변화 없이 기록하는 중립적 과정이 아닐 수 있음을 보여준다. 사람들은 자신이 관찰되고 있다는 사실을 알면 행동을 바꾸며, 연구자가 무엇을 측정하고 어떤 방식으로 기록하는지에 따라 결과 역시 달라진다. 중요한 것은 관찰자의 영향을 완전히 제거할 수 있다고 믿는 것이 아니라, 그 영향력을 인식하고 공개하며 가능한 범위에서 측정하는 것이다.
이어 저자는 객관성과 주관성을 단순히 대립시키는 사고방식을 비판한다. 주관적인 감정이나 경험은 언제나 제거해야 할 방해물이 아니다. 어떤 상황에서는 관찰자가 느낀 공포와 불안, 낯섦과 충격이 사건의 본질을 이해하게 해주는 중요한 정보가 될 수 있다. 곤조 저널리즘과 과학 저널리스트의 사례는 관찰자의 위치를 숨기는 것보다 드러내는 편이 오히려 더 정직할 수 있음을 보여준다.
장 후반부에서 저자는 스티븐 호킹과 레너드 믈로디노프가 제시한 모델 의존적 실재론을 중심으로 논의를 확장한다. 우리는 현실 자체를 직접 소유하거나 파악하는 것이 아니라, 관찰과 측정, 가설과 해석을 통해 구성한 모델을 통해 현실에 접근한다. 좋은 모델은 모든 관련 데이터를 설명하고, 검증 가능한 예측을 제시하며, 불필요한 예외를 최소화하고, 가능한 단순하고 우아해야 한다. 저자는 이러한 관점이 사실을 의견으로 해체하는 상대주의와는 다르다고 강조한다. 모델은 현실에 적응해야 하며, 새로운 사실이 기존 모델과 충돌할 때는 모델을 수정하거나 폐기해야 한다. 결국 과학적 객관성이란 기대와 관점을 완전히 제거하는 상태가 아니라, 자신의 기대를 의식하고 여러 관찰자의 모델을 비교하며 지속적으로 수정하는 절차적 태도다.
? 상세 설명
저자는 이 장을 인간 인식의 불완전성에 대한 압축적인 진술로 시작한다. 우리는 동일한 세계에 살지만 누구나 서로 다른 방식으로 세계를 본다. 감각기관이 받아들이는 정보는 제한되어 있으며, 기억은 그 정보를 그대로 저장하지 않는다. 사람은 자신이 중요하다고 생각하는 것을 선택적으로 주목하고, 빠진 부분은 경험과 기대를 이용해 채운다. 이전 장에서 다룬 관찰력과 기억의 오류, 측정 가능한 대상만 연구하는 경향, 이미 가진 가설에 맞추어 자료를 해석하는 문제는 모두 이 장에서 하나의 결론으로 모인다. 우리는 아무런 전제 없이 대상을 바라볼 수 없다.
여기서 기대란 단순히 무엇인가가 일어나기를 바라는 감정만을 뜻하지 않는다. 기대는 세계가 어떤 방식으로 움직일 것인지에 대해 우리가 이미 가지고 있는 암묵적인 모델이다. 식당에서 음식을 주문한 사람이 그 음식을 먹었을 것이라고 생각하고, 정장을 입은 사람을 특정 직업과 연결하며, 어떤 연구 결과가 기존 이론과 지나치게 다르면 측정 오류부터 의심하는 태도가 모두 기대의 작용이다. 기대는 세계를 빠르게 이해하도록 돕지만, 동시에 우리가 보지 못하는 것을 만들어낸다.
저자가 사용하는 가로등 비유는 이러한 문제를 잘 드러낸다. 어두운 거리에서 열쇠를 잃어버린 사람이 실제로 열쇠를 떨어뜨린 곳이 아니라 가로등 아래에서만 열쇠를 찾는다면, 그는 찾기 쉬운 곳을 탐색하는 것이지 열쇠가 있을 가능성이 가장 높은 곳을 탐색하는 것이 아니다. 과학 연구도 측정하기 쉬운 대상과 접근 가능한 집단에 집중하면서 동일한 오류를 범할 수 있다. 그러나 측정 범위의 한계를 아는 것만으로는 충분하지 않다. 측정된 결과를 해석하는 순간에도 기대와 이론이 개입하기 때문이다.
✒️ 핵심 발췌
? “우리는 각자 고유한 관찰 방식을 가졌다. 앞서 설명했듯이 우리는 명확하고 선명한 인식을 기록하고 그것을 기억하는 데 매우 서툴다. 가까스로 그 모든 것을 완벽하게 해낸다고 해도 여전히 자신만의 가로등 아래에서 탐색을 하며, 이미 형성된 선입견에 따라 평가를 한다.”
✍️ “인간의 관찰은 현실을 있는 그대로 복사하지 않는다. 우리는 제한된 범위에서 정보를 선택하고, 기억과 선입견을 이용해 그 의미를 구성한다.”
➡️ 이 대목은 Chapter 12의 출발점을 압축한다. 관찰의 오류는 단지 집중력이 부족해서 생기는 실수가 아니다. 무엇을 보고, 무엇을 중요하게 여기며, 어떤 결과를 이상하다고 판단할지 결정하는 전체 과정에 관찰자의 경험과 세계관이 개입한다.
저자는 관찰자의 개입이 단지 철학적인 문제가 아니라 실제 연구 결과를 바꿀 수 있는 방법론적 문제라고 설명한다. 물리학과 사회과학은 연구 대상과 방법에서 크게 다르지만, 관찰이 대상에 영향을 줄 수 있다는 점에서는 흥미로운 공통점을 갖는다. 양자물리학에서는 측정 행위와 측정 결과를 완전히 분리하기 어렵다. 저자는 이를 슈뢰딩거의 고양이라는 대중적인 사고실험을 통해 설명한다. 상자를 열어 상태를 확인하는 행위는 단지 이미 정해진 결과를 들여다보는 행위로만 이해되지 않는다.
사회과학에서는 이와 비슷한 문제를 호손 효과라는 개념으로 설명한다. 사람은 자신이 관찰되고 있음을 알면 평소와 다르게 행동할 수 있다. 호손 공장의 노동환경 연구에서는 근무시간, 휴식시간, 조명 등 여러 조건을 변경할 때 생산성이 달라지는 결과가 나타났다. 이후 이 현상은 구체적인 조건 변화보다 연구에 참여하고 관찰받는다는 사실 자체가 행동을 바꿀 수 있다는 의미로 확대되었다.
요양 시설의 손 씻기 연구는 호손 효과가 현실적인 문제임을 보여준다. 관찰자가 현장에 나타나 직원들의 손 씻기 행동을 기록하면, 직원들은 평소보다 위생 규칙을 더 잘 지킬 수 있다. 연구 결과는 요양 시설의 실제 위생 수준이 아니라 관찰받을 때의 위생 수준을 보여주게 된다. 그렇다고 몰래카메라처럼 비밀리에 관찰하면 윤리적 문제가 발생한다. 비누 사용량을 측정하는 간접적인 방법도 가능하지만, 그 역시 실제 손 씻기 행동을 완전히 재현하지는 못한다.
중요한 점은 완벽한 관찰법을 찾는 것이 아니다. 관찰자가 결과에 영향을 미칠 가능성을 인정하고, 그 영향의 방향과 크기를 가능한 한 추정하는 것이 과학적으로 더 책임 있는 태도다. 관찰자의 존재를 감추면서 자신이 완전히 중립적이라고 주장하는 것보다, 자신이 어디에 서 있으며 어떤 조건에서 자료를 얻었는지 밝히는 편이 더 정직하다.
✒️ 핵심 발췌
? “하지만 관찰자가 측정 데이터에 영향을 미친다면 또는 그럴 가능성을 완전히 배제할 수 없다면, 우리가 취해야 할 책임 있는 방법은 단 하나뿐이다. 자신의 영향력을 인식하고, 그것을 인정하며, 가능하다면 그것을 수치화하는 것이다.”
✍️ “관찰자의 영향을 완전히 제거할 수 없다면, 그 영향을 숨기지 말고 연구 과정의 일부로 인정해야 한다. 가능하다면 그것이 결과에 어느 정도 영향을 주었는지도 측정해야 한다.”
➡️ 객관성은 관찰자의 존재를 부정하는 데서 생기지 않는다. 자신의 위치와 개입 가능성을 공개하고, 다른 사람이 그 조건을 검토할 수 있게 만드는 데서 생긴다. 저자가 말하는 과학적 정직성은 완전한 중립성보다 투명성에 가깝다.
이러한 논의는 저널리즘으로 확장된다. 전통적인 보도는 기자가 자신의 감정과 판단을 배제하고 사건만 전달해야 한다고 요구한다. 하지만 어떤 사건에서는 관찰자가 경험한 감정 자체가 상황을 이해하는 데 필요한 정보일 수 있다. 헌터 S. 톰슨으로 대표되는 곤조 저널리즘은 기자가 자신의 경험과 감정, 혼란과 반응을 적극적으로 드러낸다. 물론 시의회의 결정이나 공식 통계를 전달할 때 기자의 개인적 경험이 중심이 될 필요는 없다. 그러나 폭력적이고 위협적인 정치집회처럼 현장의 분위기와 정서가 사건의 중요한 일부일 때, 감정을 제거한 보도는 오히려 현실을 축소할 수 있다.
과학 저널리스트 리 코워트가 도널드 트럼프의 선거 행사에서 느낀 공포와 소외감을 기록한 사례가 이를 보여준다. 그가 더 중립적인 관찰자였다면 현장을 더 잘 견딜 수 있었을 것이라고 자문한 문장은 객관적인 정책 분석과는 다르다. 그러나 그 현장에 존재했던 증오와 위협의 분위기를 이해하는 데는 중요한 자료가 된다. 영화 콘택트에서 과학자 엘리 애로웨이가 압도적인 경험 앞에서 자신보다 시인이 필요하다고 말하는 장면 역시, 현실의 어떤 측면은 숫자와 보고서만으로 충분히 전달되지 않음을 암시한다.
저자는 여기에서 주관성을 객관성보다 우월한 것으로 선언하지 않는다. 오히려 어떤 관찰 방식이 해당 현상을 가장 잘 설명하는지를 따져야 한다고 주장한다. 행정적 사실을 전달할 때는 절제된 기록이 적절할 수 있고, 인간의 공포와 고통을 이해해야 하는 상황에서는 관찰자의 경험을 포함하는 서술이 필요할 수 있다. 객관성과 주관성은 고정된 서열을 가진 두 범주라기보다 목적에 따라 선택하고 조합해야 할 관찰 도구다.
이 장의 핵심적인 전환은 세계지도와 과학적 모델에 관한 논의에서 이루어진다. 한 사람이 세계 전체를 한눈에 완전하게 볼 수는 없다. 어떤 사람은 남부 독일을 자세히 알고 다른 사람은 동부 독일을 잘 안다. 이들이 서로의 지도를 겹쳐보고 빈 영역을 다른 관찰자의 정보로 채운다면, 어느 한 사람의 지도보다 더 넓고 정확한 지도를 만들 수 있다. 과학도 이와 비슷하게 작동한다. 각 연구자는 제한된 범위에서 자료를 수집하지만, 결과를 공개하고 비교하고 재현함으로써 더 큰 현실의 지도를 구성한다.
지도는 현실 그 자체가 아니다. 실제 지형의 일부를 선택하고 단순화해 표현한 모델이다. 지도에는 건물과 도로, 고도와 국경처럼 목적에 필요한 정보만 포함된다. 모든 세부 사항을 담으려 한다면 지도는 현실과 같은 크기가 되어 쓸모를 잃을 것이다. 과학적 모델 역시 현실을 단순화하지만, 단순화되었다는 이유만으로 무가치한 것은 아니다. 모델의 가치는 현실과 완전히 같다는 데 있지 않고, 현상을 설명하고 예측하게 해준다는 데 있다.
✒️ 핵심 발췌
? “물론 실제 생태계는 이보다 더 복잡하다. 마찬가지로 우리 지구도 지구본보다 훨씬 복잡하다. 모델을 사용해 세상을 단순화된 방식으로 이해하려는 태도는 기본적으로 위험하다는 주장은 과학 전반, 특히 심리학에서 종종 거론된다.”
✍️ “모델은 실제 세계보다 단순할 수밖에 없다. 이 단순화는 오류의 위험을 만들지만, 동시에 복잡한 현실을 이해하고 예측할 수 있게 해주는 조건이기도 하다.”
➡️ 모델은 현실의 불완전한 축소판이다. 따라서 모델이 단순하다는 사실 자체가 문제는 아니다. 어떤 요소가 생략되었으며, 그 생략이 예측과 판단에 어떤 영향을 주는지를 점검하지 않는 것이 문제다.
저자는 지구본과 로트카 볼테라 방정식을 통해 모델의 기능을 설명한다. 지구본은 실제 지구보다 단순하지만 로켓 발사 위치와 이동 방향을 추론하는 데 도움을 준다. 포식자와 피식자의 개체 수 변화를 계산하는 로트카 볼테라 방정식도 실제 생태계의 모든 조건을 포함하지 않지만, 토끼가 감소하면 여우가 감소하고 여우가 줄면 다시 토끼가 늘어날 수 있다는 기본적인 관계를 보여준다.
모델은 설명과 비슷하지만 설명보다 더 엄격한 요구를 받는다. 설명은 이미 일어난 현상을 그럴듯하게 해석하는 데 그칠 수 있다. 반면 모델은 아직 관찰되지 않은 결과에 대해 예측을 제시해야 한다. 예측이 맞으면 모델의 신뢰도가 높아지고, 틀리면 수정되거나 폐기되어야 한다. 따라서 모델은 현실을 이해하는 틀이면서 동시에 현실에 의해 끊임없이 시험받는 가설의 체계다.
문제는 인간이 자신이 만든 모델에 정서적으로 집착한다는 데 있다. 우리는 낯선 사람을 만나거나 면접을 앞두었을 때 제한된 정보를 바탕으로 상대방과 상황에 관한 모델을 만든다. 이러한 모델은 불확실성을 줄여주지만, 실제 경험이 예상과 다를 때도 기존 모델을 유지하고 싶은 욕망을 만들어낸다. 어떤 사람을 이기적이라고 판단한 뒤에는 그의 친절한 행동조차 계산된 행동으로 해석할 수 있다. 이렇게 되면 모델은 현실을 설명하는 도구가 아니라 현실을 왜곡하여 자기 자신을 보호하는 장치가 된다.
과학적 태도는 모델을 갖지 않는 것이 아니라 모델을 수정할 준비가 되어 있는 것이다. 새로운 사실을 설명하지 못하는 모델은 아무리 익숙하고 아름답더라도 바꾸거나 버려야 한다. 사실은 모델을 보호하기 위해 선택되는 재료가 아니라 모델을 시험하는 기준이어야 한다.
스티븐 호킹과 레너드 믈로디노프의 모델 의존적 실재론은 이 논의를 철학적으로 확장한다. 이 관점에서 인간은 현실 자체를 모델과 분리해 인식할 수 없다. 우리는 감각자료를 받아들이는 순간부터 뇌가 구성한 모델을 통해 세계를 경험한다. 색과 소리, 거리와 위험, 타인의 의도는 모두 감각정보와 기존 경험이 결합된 해석의 결과다. 따라서 우리는 모델 없이 현실을 말할 수 없다.
호킹과 믈로디노프는 좋은 모델이 갖추어야 할 조건을 제시한다. 첫째, 모델은 현재까지 확인된 관찰 자료를 설명할 수 있어야 한다. 둘째, 미래의 관찰을 통해 반박될 수 있는 예측을 제시해야 한다. 셋째, 임의적이고 변경 가능한 요소가 적어야 한다. 결과가 나올 때마다 예외 조건을 추가해야 하는 모델은 현실을 설명하는 것이 아니라 실패를 숨기는 장치가 된다. 넷째, 모델은 우아해야 한다. 여기서 우아함은 장식적 아름다움이 아니라, 적은 수의 원리로 많은 현상을 설명하는 단순성과 일관성을 의미한다.
모델 의존적 실재론은 모든 의견이 똑같이 옳다는 상대주의를 의미하지 않는다. 어떤 사람이 지구가 평평하다는 모델을 주장한다면, 그 모델은 위성의 움직임과 시간대, 항공기의 이동, 지평선의 형태 등 이미 확인된 수많은 자료를 설명해야 한다. 설명하지 못한다면 대안적 의견이라는 이유만으로 존중받을 수 없다. 모델은 현실을 구성하지만, 마음대로 구성되는 것은 아니다. 현실의 저항과 검증을 견뎌야 한다.
✒️ 핵심 발췌
? “그런데 착각하지 말아야 할 점이 있다. 이 세상에는 분명히 의견과는 무관하게 존재하는, 확립된 사실들이 있다는 것이다. 모델 의존적 실재론은 우리가 마음에 들지 않는 어떤 것을 단지 의견이라며 무시할 수 있는 뒷문을 제공하지 않는다.”
✍️ “우리가 모델을 통해 현실을 이해한다고 해서 모든 판단이 임의적인 의견이 되는 것은 아니다. 유효한 모델은 확인된 자료를 설명해야 하며, 현실과 충돌하면 수정되어야 한다.”
➡️ 저자는 구성주의적 통찰과 사실의 객관성을 동시에 지키려 한다. 인간은 해석 없이 사실을 인식할 수 없지만, 해석이 들어간다는 이유로 모든 주장이 같은 가치를 갖는 것은 아니다. 더 많은 데이터를 설명하고 더 정확한 예측을 제공하는 모델이 더 신뢰할 만하다.
두 사람이 동일한 강도 사건을 목격해도 서로 다른 진술을 할 수 있다. 그들의 감각기관이 받은 기본 정보는 비슷할 수 있지만, 뇌는 그것을 의식에 전달하기 전에 이미 중요도와 의미를 해석한다. 한 사람은 무기에 집중하고 다른 사람은 범인의 얼굴에 집중할 수 있다. 한 사람의 과거 경험은 상황을 강도로 분류하게 만들고, 다른 사람의 경험은 장난이나 다툼으로 해석하게 만들 수 있다. 전통적인 객관주의에서는 사건의 완전한 현실이 따로 존재하고 두 사람이 그것을 불완전하게 기록했다고 본다. 모델 의존적 실재론은 우리가 현실에 접근할 때 언제나 이러한 모델을 통과한다는 사실을 더 적극적으로 인정한다.
닐스 보어가 물리학은 자연 자체가 무엇인지보다 자연에 대해 우리가 무엇을 말할 수 있는지를 탐구한다고 말한 것도 같은 의미다. 과학은 신의 시점에서 세계를 묘사하지 않는다. 특정한 관찰 장치와 개념, 수학적 언어를 사용해 인간이 확인하고 말할 수 있는 범위를 확장한다. 따라서 과학의 강점은 절대적 관점을 소유하는 데 있지 않다. 서로 다른 관찰자가 사용한 방법을 공개하고, 그 결과가 겹치는 지점을 찾으며, 더 나은 설명이 등장하면 기존 모델을 수정할 수 있는 집단적 절차에 있다.
장 마지막에서 저자는 두 모델이 모든 자료를 동등하게 설명하고, 똑같이 검증 가능하며, 같은 수준의 단순성과 우아함을 갖는 상황을 가정한다. 이때 과학은 두 모델 중 하나를 억지로 선택할 필요가 없다. 두 모델은 동일한 수준의 현실성을 가진 것으로 받아들일 수 있다. 중요한 것은 하나의 궁극적 진리를 선언하는 것이 아니라, 이용 가능한 사실을 가장 잘 설명하고 새로운 탐구를 가능하게 하는 모델을 유지하는 것이다.
이 결론은 책 제목인 사실은 의견일 뿐이다의 반어적 의미를 선명하게 드러낸다. 사실은 단순한 의견이 아니다. 그러나 사실은 언제나 관찰자의 감각과 개념, 언어와 모델을 통해 알려진다. 우리가 해야 할 일은 관점이 없다고 가장하는 것이 아니라, 관점의 존재를 드러내고 모델을 검증 가능한 상태로 유지하는 것이다. 관찰의 불완전성을 인정하는 태도는 진리를 포기하는 회의주의가 아니라, 진리에 더 가까이 다가가기 위한 인식론적 겸손이다.
✨ 해설과 통찰
Chapter 12의 핵심은 객관성을 결과가 아니라 과정으로 다시 정의하는 데 있다. 객관성은 관찰자가 아무런 감정과 기대를 갖지 않는 불가능한 상태가 아니다. 관찰자가 자신의 위치와 방법, 한계와 이해관계를 공개하고, 다른 관찰자들이 그 결과를 검토하고 반박할 수 있게 만드는 절차다. 다시 말해 객관성은 개인의 무색무취한 시선이 아니라 여러 불완전한 관점이 공개적으로 충돌하고 수정되는 사회적 성취다.
철학적으로 이 장은 칸트의 인식론과 연결된다. 칸트에 따르면 인간은 사물 자체를 직접 인식하지 못하며, 감각과 오성의 형식을 통해 구성된 현상만을 경험한다. 저자의 모델 의존적 실재론 역시 인간이 모델 바깥의 현실을 직접 파악할 수 없다고 본다. 그러나 저자는 이러한 한계를 극단적인 상대주의로 끌고 가지 않는다. 모델은 현실의 자료와 예측에 의해 제한되며, 모든 모델이 동등한 것은 아니다.
칼 포퍼의 반증주의도 이 장의 중요한 배경이 된다. 좋은 모델은 자신이 틀렸음을 보여줄 수 있는 예측을 제시해야 한다. 어떤 결과가 나오더라도 설명할 수 있다고 주장하는 모델은 강력한 것이 아니라 공허한 것이다. 반증 가능성은 모델을 현실의 심판 아래 놓아두는 장치다. 모델 의존적 실재론이 관찰자의 역할을 강조한다면, 반증주의는 그 관찰자가 자신의 믿음을 보호하기 위해 현실을 왜곡하지 못하게 한다.
토머스 쿤의 패러다임 이론과도 비교할 수 있다. 쿤은 과학자들이 순수한 자료만을 보고 판단하는 것이 아니라 특정한 패러다임 안에서 무엇이 문제이며 무엇이 해답인지를 결정한다고 보았다. 새로운 자료가 기존 패러다임과 충돌해도 과학자들은 즉시 패러다임을 버리지 않는다. 일정 기간 예외로 처리하거나 측정 오류로 해석한다. Chapter 12가 말하는 기대와 모델은 바로 이러한 패러다임의 개인적이고 인지적인 형태로 이해할 수 있다.
심리학적으로는 예측 처리 이론과 연결된다. 뇌는 외부 정보를 수동적으로 받아들이지 않고, 세계에 관한 예측을 먼저 형성한 뒤 감각정보와 비교한다. 감각자료가 예상과 일치하면 기존 모델을 유지하고, 차이가 크면 모델을 수정한다. 우리가 기대 없이 관찰할 수 없다는 것은 뇌가 결함이 있기 때문만이 아니라, 제한된 정보 속에서 빠르게 생존하기 위해 예측 중심으로 작동하기 때문이다.
정치와 언론의 영역에서 이 장의 의미는 더욱 크다. 서로 다른 정치집단은 동일한 사건을 다른 모델 안에 배치한다. 한쪽에서는 시위를 시민 저항으로 보고 다른 쪽에서는 공공질서의 파괴로 본다. 문제는 관점이 다르다는 사실 자체가 아니다. 자신의 모델을 사실 그 자체라고 주장하고, 반대되는 자료를 모두 음모나 거짓으로 처리하는 태도가 문제다. 민주적 공론장은 관점을 없애는 공간이 아니라, 각 관점이 어떤 전제와 자료에 근거하는지를 공개적으로 검증하는 공간이어야 한다.
이 장의 가장 중요한 윤리적 함의는 인식론적 겸손이다. 자신의 관찰이 불완전하다는 사실을 인정하면 타인의 관점을 무조건 오류로 치부하기 어려워진다. 그러나 겸손은 모든 주장에 동의하는 태도가 아니다. 어떤 모델이 더 많은 사실을 설명하고, 반박 가능하며, 수정에 열려 있는지를 엄격하게 따지는 태도다. 겸손과 엄밀함은 대립하지 않는다. 자신의 한계를 인정하기 때문에 오히려 더 철저한 검증이 필요하다.
? 핵심 요약
1️⃣ 인간의 관찰은 경험과 기억, 문화와 세계관, 기존의 기대를 통해 이루어지므로 완전히 중립적인 관찰은 불가능하다.
2️⃣ 관찰자가 대상과 자료에 영향을 줄 수 있다면, 과학적 책임은 그 영향을 숨기는 것이 아니라 인정하고 가능한 범위에서 측정하는 데 있다.
3️⃣ 과학적 모델은 현실을 단순화하지만, 관련 자료를 설명하고 반박 가능한 예측을 제시할 때 현실을 이해하는 유용한 도구가 된다.
4️⃣ 모델 의존적 실재론은 모든 의견이 동등하다는 상대주의가 아니라, 현실에 의해 검증되고 수정될 수 있는 모델을 통해 사실에 접근해야 한다는 주장이다.
? 비교·확장
저자의 논의는 임마누엘 칸트의 현상과 사물 자체의 구분과 맞닿아 있다. 칸트는 인간이 세계를 있는 그대로 받아들이지 않고 시간과 공간, 인과성과 같은 인식의 형식을 통해 경험한다고 보았다. Chapter 12의 모델은 이러한 인식 형식을 현대 과학의 언어로 재해석한 것에 가깝다. 우리는 현실 자체를 직접 소유하지 못하지만, 그렇다고 현실이 존재하지 않는 것은 아니다.
칼 포퍼는 과학과 비과학을 구별하는 기준으로 반증 가능성을 제시했다. 저자가 말하는 좋은 모델 역시 틀릴 가능성을 공개적으로 허용해야 한다. 모든 결과를 사후적으로 설명하는 모델은 현실을 예측하지 못한다. 반면 자신의 실패 조건을 명확히 제시하는 모델은 잠정적이지만 과학적이다.
토머스 쿤은 관찰이 이론에 의존한다는 점을 강조했다. 과학자는 자료를 아무런 배경 없이 바라보지 않는다. 어떤 현상이 중요한지, 무엇을 측정해야 하는지, 어떤 결과를 이상 현상으로 볼지는 기존 패러다임에 의해 결정된다. 저자의 주장은 이러한 패러다임 의존성을 개인의 지각과 사회적 관찰까지 확장한다.
대니얼 카너먼의 인지편향 연구는 기대가 판단을 구성하는 구체적인 방식을 보여준다. 인간은 새로운 정보를 객관적으로 평가하기보다 자신이 이미 믿고 있는 것을 강화하는 방향으로 선택하고 해석하는 경향이 있다. 따라서 더 나은 판단을 위해서는 편향을 완전히 제거하려 하기보다, 독립적인 관찰과 반대 사례, 사전 등록과 반복 검증처럼 편향을 견제하는 절차를 마련해야 한다.
현대의 인공지능 역시 이 문제에서 자유롭지 않다. 인공지능 모델은 데이터 속의 패턴을 학습하지만, 어떤 데이터를 수집하고 어떤 목표를 설정하며 어떤 결과를 오류로 간주할지는 인간이 결정한다. 인공지능이 객관적인 판단을 제공한다고 믿는 순간, 학습 자료와 설계자의 기대가 보이지 않게 된다. Chapter 12의 관점에서 중요한 것은 인간과 기계 중 누가 편향되지 않았는가가 아니라, 각각의 모델이 어떤 자료와 전제 위에서 작동하며 어떻게 검증되고 수정되는가이다.
? 연결 독서 제안
✔️ Stephen Hawking and Leonard Mlodinow, The Grand Design
✔️ Karl Popper, The Logic of Scientific Discovery
✔️ Thomas Kuhn, The Structure of Scientific Revolutions
✔️ Daniel Kahneman, Thinking, Fast and Slow
? 사유를 여는 질문
❓ 관찰자의 기대를 완전히 제거할 수 없다면, 객관적인 사실은 어떤 절차를 통해 성립할 수 있는가?
❓ 새로운 사실이 자신의 기존 모델과 충돌할 때, 우리는 어떤 기준으로 모델을 수정하거나 폐기해야 하는가?
❓ 서로 다른 두 모델이 동일한 자료를 똑같이 잘 설명한다면, 하나의 진리를 선택해야 하는가 아니면 복수의 현실을 인정해야 하는가?
? Chapter 13. We Do Not Understand Each Other | 우리는 서로를 이해하지 못한다
✅ 장 개요
Chapter 13은 과학적 사실이 발견되고 해석된 뒤에도 마지막 관문이 남아 있음을 보여준다. 그것은 바로 다른 사람에게 사실을 전달하는 일이다. 저자는 인간의 의사소통이 단순한 정보 전송이 아니라, 서로 다른 현실 모델을 맞추는 복잡한 추론 과정이라고 설명한다. 말하는 사람은 상대방이 무엇을 알고 있는지 추측해야 하고, 듣는 사람은 말에 생략된 정보와 숨은 의도를 해석해야 한다. 이 과정에서 자신의 관점이 먼저 작동하기 때문에 우리는 상대방의 말을 정확히 이해했다고 쉽게 착각한다.
저자는 프레디와 기차를 타고 가던 일화, 케이크를 더 먹고 싶어 하는 친구의 우회적인 표현, 이발사가 언급한 앙겔라를 자신의 지인으로 오해한 사례를 통해 일상 언어의 모호성을 보여준다. 같은 말도 대화의 상황과 공동의 배경지식에 따라 전혀 다른 의미를 가질 수 있다. 언어는 모든 정보를 명시하지 않으며, 대화 참여자들은 생략된 내용을 각자의 경험과 기대를 바탕으로 채운다.
장 중반부에서는 어린이와 성인이 다른 사람의 관점을 얼마나 잘 고려하는지를 실험한 장난감 트럭 연구가 소개된다. 성인은 어린이보다 실수가 적지만, 처음부터 상대방의 시각을 자동으로 채택하지는 않는다. 자신의 관점을 먼저 적용한 뒤, 시간과 정신적 노력을 들여 그것을 수정한다. 주의가 분산되거나 인지적 부담이 커질수록 이러한 수정은 더 어려워진다. 따라서 관점 취하기는 선의나 공감의 문제만이 아니라 제한된 정신적 자원을 요구하는 인지 작업이다.
저자는 사람들이 대화 과정에서 특정 사물을 함께 지칭하기 위해 암묵적인 용어의 약속을 만든다는 사실도 설명한다. 상대방이 어떤 물체를 처음부터 반짝이는 원통이라고 불렀다면, 특별한 이유 없이 갑자기 은색 튜브라고 바꿀 경우 듣는 사람은 혼란을 느낀다. 대화는 단어의 사전적 의미만으로 이루어지지 않는다. 특정한 사람과 특정한 맥락에서 형성된 공동의 표현에 의존한다.
이러한 문제는 과학적 사실을 전달할 때 더욱 중요해진다. 일상에서는 어느 정도의 모호함이 큰 문제를 일으키지 않을 수 있지만, 연구 결과와 위험도, 진단과 정책 효과를 설명하는 상황에서는 작은 언어 차이가 결론을 바꿀 수 있다. 과학이 때때로 읽기 어렵고 지나치게 구체적인 언어를 사용하는 이유는 모호함을 줄이고, 서로 다른 관찰자들이 같은 개념을 최대한 동일하게 이해하도록 만들기 위해서다. 이 장의 결론은 명확하다. 우리는 서로를 완벽히 이해할 수 있다는 낙관적 가정을 버리고, 명확하게 말하고 주의 깊게 듣는 데 의식적인 노력을 기울여야 한다.
? 상세 설명
저자는 앞 장에서 인간이 현실 자체를 직접 바라보는 것이 아니라 각자의 경험과 기대를 바탕으로 구성된 모델을 통해 세계를 이해한다고 설명했다. Chapter 13은 이 인식론적 문제를 의사소통의 영역으로 옮긴다. 모든 사람이 자신만의 현실 모델을 가지고 있다면, 대화란 한 사람의 머릿속에 있는 모델을 다른 사람에게 그대로 복사하는 일이 될 수 없다. 우리는 말과 몸짓, 표정과 상황을 단서로 삼아 상대방의 모델을 추측할 뿐이다.
저자가 프레디와 기차를 타고 프랑크푸르트로 가던 중 겪은 일화는 이 문제를 단순하고 명료하게 보여준다. 프레디가 지금 어디냐고 물었을 때 저자는 기차 안이라고 대답한다. 이 답은 사실이지만 프레디가 원했던 정보는 아니다. 프레디는 자신들이 어느 지역을 지나고 있는지 알고 싶었지만, 질문에는 그 내용이 명시되어 있지 않았다. 의미 있는 답을 하려면 듣는 사람이 질문자의 상황과 의도를 추론해야 한다.
✒️ 핵심 발췌
? “물론 그 답은 도움이 되지 않았다. 지구 위에 있어라는 대답도 마찬가지였을 것이다. 하지만 엄밀히 말하자면, 문제는 질문이 충분히 구체적이지 않다는 것이었다.”
✍️ “프레디의 질문은 사실 여러 방식으로 해석될 수 있었다. 저자는 질문의 문자적 의미가 아니라 친구가 실제로 알고 싶어 한 정보가 무엇인지 추론해야 했다.”
➡️ 이 대목은 사실인 문장과 유용한 문장이 언제나 일치하지는 않는다는 점을 보여준다. 의사소통에서는 정보의 정확성뿐 아니라 상대방이 어떤 질문에 대한 답을 원했는지를 파악하는 일이 중요하다.
우리는 일상적으로 매우 불완전한 문장을 사용하면서도 대체로 소통에 성공한다. 이는 대화 참여자들이 공동의 상황을 공유하고 있으며, 상대방의 지식과 의도를 끊임없이 추정하기 때문이다. 프레디가 자신이 기차 안에 있다는 사실을 모를 가능성은 거의 없다. 따라서 저자는 친구가 장소에 관해 다른 수준의 정보를 요구한다고 판단해야 한다. 이 판단에는 상대방이 이미 무엇을 알고 있는지에 대한 모델이 필요하다.
그러나 상대방의 내면을 직접 볼 수 없기 때문에 이러한 모델은 언제든 틀릴 수 있다. 저자는 케이크를 먹던 친구와의 대화를 두 번째 사례로 든다. 친구가 케이크가 맛있다고 한 번 말했을 때 저자는 단순한 칭찬으로 받아들인다. 그러나 친구가 같은 말을 유난히 강조하자, 저자는 그 말의 표면적 의미 뒤에 다른 의도가 있다고 추론한다. 친구는 케이크를 한 조각 더 먹고 싶지만, 직접 요구하면 식탐이 많아 보일까 걱정하고 있었다. 저자가 케이크를 더 잘라주자 친구는 흔쾌히 받아들인다.
이 사례에서 친구는 원하는 것을 직접 말하지 않았다. 듣는 사람이 상황과 말투, 반복의 의미를 해석해 숨은 의도를 발견해야 했다. 이러한 간접 표현은 무례함을 피하고 체면을 지켜준다는 장점이 있지만, 상대방이 의도를 제대로 알아차리지 못할 가능성을 남긴다. 언어가 모호한 이유는 인간이 표현 능력이 부족해서만이 아니다. 인간관계에서 직접 말하기 어려운 욕구와 감정을 우회적으로 전달해야 하기 때문이기도 하다.
✒️ 핵심 발췌
? “우리는 다른 사람과 대화할 때 항상 모든 정보를 드러내지는 않는다. 때로는 사실을 간략하게 표현해 틈이 생기게 되거나 혹은 우리가 전달하고자 하는 다른 내용이나 추가적인 내용이 수신자에게 제대로 전달되지 않는 경우가 생긴다. 두 경우 모두, 우리는 상대방의 내면세계를 들여다봐야 한다.”
✍️ “대화에서는 정보가 자주 생략되고, 실제 의도가 말의 표면에 그대로 나타나지 않는다. 따라서 듣는 사람은 상대방이 무엇을 알고 무엇을 원하는지 추론해야 한다.”
➡️ 의사소통은 문장을 해독하는 작업이 아니라 다른 사람의 정신상태를 추론하는 작업이다. 말의 의미는 단어 안에 완성된 형태로 들어 있는 것이 아니라, 대화의 관계와 상황 속에서 구성된다.
저자는 메시지를 듣는 사람뿐 아니라 말하는 사람도 상대방의 관점을 고려해야 한다고 지적한다. 자신의 설명을 명확하게 전달하려면 상대방이 사용하는 언어와 사전지식, 관심과 경험을 생각해야 한다. 전문가가 비전문가에게 설명할 때 전문용어를 그대로 사용하면, 내용은 정확할 수 있지만 이해되지 않을 수 있다. 반대로 지나치게 단순화하면 중요한 조건과 불확실성이 사라질 수 있다. 좋은 설명은 자신의 지식을 나열하는 것이 아니라 상대방이 이해할 수 있는 출발점을 찾는 일이다.
그럼에도 우리는 대화를 시작할 때 자신의 관점에서 벗어나지 못하는 경우가 많다. 이발소에서 이발사가 갑자기 앙겔라에게 무슨 일이 있었느냐고 물었을 때, 저자는 몇 블록 떨어진 사무실에서 일하는 자신의 친구 앙겔라를 떠올린다. 그는 친구가 최근 둘째 아이를 낳았고 잘 지낸다고 대답한다. 그러나 이발사가 말한 앙겔라는 당시 독일 총리였던 앙겔라 메르켈이었다. 저자는 이발사와 자신의 친구가 같은 지역에 산다는 이유만으로 서로 알고 있을 것이라고 무의식적으로 가정했다.
이 오해는 언어 자체의 오류라기보다 확률 판단과 맥락 선택의 오류다. 앙겔라라는 이름은 여러 사람을 가리킬 수 있지만, 저자는 자신에게 가장 가까운 인물을 먼저 떠올렸다. 인간은 주어진 단어가 가리킬 수 있는 모든 가능성을 검토하지 않는다. 최근 기억과 개인적 관계, 현재의 관심에 따라 가장 접근하기 쉬운 해석을 선택한다. 이 과정은 빠르고 효율적이지만, 상대방이 전혀 다른 맥락을 전제할 때 오해를 만든다.
누군가 어떻게 지내느냐고 물을 때도 우리는 질문의 시간 범위와 관심 대상을 추론한다. 오랜만에 만난 친구라면 지난 몇 달의 생활을 묻는 것일 수 있고, 전날 아팠던 사람에게 하는 질문이라면 현재의 건강 상태를 묻는 것일 수 있다. 질문은 같지만 맥락에 따라 적절한 답은 달라진다. 저자는 사람들이 매번 자세한 설명을 요구하지 않고도 상당한 수준으로 서로 이해한다는 사실이 오히려 기적에 가깝다고 평가한다.
어린이의 의사소통은 이러한 관점 취하기가 타고난 완성품이 아니라 발달하고 훈련되는 능력임을 보여준다. 어린아이에게 자신이 본 인형극을 설명하라고 하면, 아이는 전체 줄거리를 알려주기보다 자신이 인상 깊게 느낀 장면부터 말할 수 있다. 아이의 머릿속에서는 시장이 보물찾기를 도와준 일이 놀라운 반전이지만, 인형극을 보지 않은 사람은 시장이 누구인지, 왜 그 행동이 놀라운지 알 수 없다. 아이는 자신이 알고 있는 정보와 상대방이 알고 있는 정보를 아직 충분히 구분하지 못한다.
그렇다고 어린아이에게 공감 능력이 없다고 단정해서는 안 된다. 아이들도 사랑과 연민을 표현한다. 문제는 타인의 관점을 고려하는 일이 단순한 감정적 선의보다 훨씬 복잡한 인지 과정을 필요로 한다는 데 있다. 상대방이 무엇을 보고 무엇을 모르며, 자신의 말이 상대방에게 어떻게 들릴지를 계산해야 하기 때문이다.
저자는 장난감 트럭 실험을 통해 이 과정을 설명한다. 어린이와 성인은 크기가 다른 여러 장난감이 놓인 테이블 앞에 앉는다. 맞은편에 있는 실험자는 작은 트럭을 옮기라고 지시한다. 그런데 참가자에게 가장 작게 보이는 트럭은 나뭇조각 뒤에 가려져 있어 실험자에게는 보이지 않는다. 참가자가 자신의 시각만 적용하면 가장 작은 트럭을 고르지만, 실험자의 관점을 고려하면 실험자가 볼 수 있는 트럭 중 가장 작은 것을 골라야 한다.
어린이들은 약 절반의 경우 자신에게 가장 작게 보이는 트럭을 선택했다. 나이가 어릴수록 이러한 실수가 많았다. 그러나 성인도 처음부터 완벽하게 상대방의 관점을 적용하지는 않았다. 성인은 어린이보다 실수를 적게 하고 더 빠르게 수정했지만, 상대방에게 보이지 않는 트럭이 있을 때 반응 시간이 길어졌다. 이는 자신의 관점이 먼저 활성화되고, 이후 정신적 노력을 통해 상대방의 관점에 맞게 수정된다는 사실을 보여준다.
✒️ 핵심 발췌
? “성인은 어린아이보다 속도가 빠르고 실수를 덜 하지만, 트럭이 가려져 있을 때는 반응 시간이 눈에 띄게 길어졌다. 처음에 트럭을 잘못 보았을 경우, 성인이 실수를 수정하는 확률은 약 절반이었지만, 어린이가 실수를 바로잡는 확률은 약 5분의 1에 불과했다.”
✍️ “성인은 다른 사람의 관점을 더 잘 고려하지만, 처음부터 자기중심적 관점에서 자유로운 것은 아니다. 자신의 시각을 먼저 적용한 뒤 시간과 노력을 들여 수정한다.”
➡️ 성숙한 의사소통은 자기중심성이 사라진 결과가 아니다. 자신의 첫 판단이 상대방의 관점과 다를 수 있음을 알아차리고 수정하는 능력이 발달한 결과다.
이 연구에서 특히 중요한 것은 관점 취하기가 정신적 자원을 소비한다는 점이다. 참가자에게 여러 숫자를 동시에 기억하게 하면서 과제를 수행하게 하면 상대방의 관점을 고려하는 능력이 약해진다. 주의력이 다른 곳에 사용되면 자신의 관점을 수정할 여유가 줄어드는 것이다. 피곤하거나 바쁘고, 불안하거나 여러 일을 동시에 처리해야 할 때 오해가 늘어나는 이유도 여기에 있다.
따라서 누군가가 상대방의 입장을 고려하지 못했다고 해서 언제나 이기적이거나 악의적이라고 판단할 수는 없다. 인지적 부담이 큰 상태에서는 평소 공감 능력이 뛰어난 사람도 자신의 관점에 머물 가능성이 커진다. 그러나 이러한 설명이 모든 오해를 정당화하는 것은 아니다. 중요한 결정을 내리거나 민감한 사실을 전달하는 상황에서는 충분한 시간과 주의를 확보하고, 자신이 이해한 내용이 맞는지 확인해야 한다.
저자는 대화 상대에 따라 특정한 표현을 기억하고 유지하는 현상도 소개한다. 실험 참가자들이 어떤 물체를 처음에 반짝이는 원통이라고 부른 뒤, 같은 사람이 갑자기 은색 튜브라고 표현하면 상대방의 반응이 늦어진다. 두 표현은 같은 물체를 가리킬 수 있지만, 특별한 이유 없이 명칭이 바뀌면 듣는 사람은 다른 물체를 뜻하는지 다시 판단해야 한다.
반면 첫 번째 사람이 떠나고 새로운 사람이 들어온 뒤 다른 용어를 사용하면 혼란이 상대적으로 적다. 사람들은 각 대화 상대가 어떤 용어를 사용하는지를 기억하고, 같은 사람이 같은 사물에 대해 일관된 표현을 사용할 것이라고 기대한다. 대화는 단어와 사물 사이의 고정된 관계만으로 이루어지는 것이 아니라, 특정한 사람과 함께 형성한 공동의 약속에 의존한다.
✒️ 핵심 발췌
? “이는 우리가 어떤 사람이 어떤 물체에 대해 어떤 용어를 사용하는지 기억하고, 그 용어가 특별한 이유 없이 바뀌지 않으리라고 가정함을 보여준다. 여기에서 중요한 것은 다른 사람의 입장이 돼 생각해보는 것이다. 왜 다른 용어가 사용됐는가? 그리고 어떤 상황에서 그 용어를 바꿀 것인가?”
✍️ “사람들은 대화 상대와 함께 정한 표현을 기억하며, 같은 사람이 갑자기 다른 표현을 사용하면 그 변화에 특별한 의미가 있다고 추측한다.”
➡️ 언어의 의미는 사전에서만 결정되지 않는다. 대화 참여자들이 이전 상호작용을 통해 형성한 공동의 사용 방식이 의미를 안정시키는 역할을 한다.
저자는 이 원리를 자신의 실제 대화에서도 적용하려 노력한다고 말한다. 누군가 개에 대한 불안이 있다고 말하면, 저자는 그것을 임의로 공포나 신경증, 초조함 같은 다른 표현으로 바꾸지 않는다. 비슷해 보이는 단어라도 사람마다 의미하는 강도와 경험이 다르기 때문이다. 불안이라는 말이 심각한 공포를 의미하는지, 약간의 불편함을 뜻하는지는 추가 대화를 통해 확인해야 한다.
전문가가 상대방의 말을 더 정확한 전문용어로 바꾸고 싶은 유혹을 느낄 수 있지만, 그러한 교정은 오히려 상대방의 경험을 왜곡할 수 있다. 특히 의료 상담이나 심리치료, 법률 면담과 같은 상황에서 단어를 함부로 바꾸면 진술의 의미가 달라진다. 상대방이 사용한 표현을 유지하면서 그 의미를 질문하는 태도가 더 안전하다.
✒️ 핵심 발췌
? “다소 모호한 이 용어가 어느 정도의 상태를 의미하는지, 즉 그것이 심각한 두려움인지, 아니면 개에 대한 약간의 불안인지 여부는 그 사람의 머리를 들여다볼 수 없기 때문에 단박에 판단할 수 없다. 그러므로 양측이 표현해야 하는 내용에 정확히 동의할 때까지 상대방의 용어를 계속 사용하는 것이 바람직하다고 느낀다.”
✍️ “상대방이 사용한 단어의 의미를 확실히 알기 전에는 비슷해 보이는 다른 말로 바꾸지 않는 편이 좋다. 같은 단어도 사람마다 다른 경험과 강도를 가리킬 수 있기 때문이다.”
➡️ 정확한 소통은 상대방의 표현을 자신의 개념으로 즉시 번역하는 것이 아니라, 그 표현이 상대방에게 어떤 의미인지를 확인하는 데서 시작한다.
이 원칙은 과학의 언어를 이해하는 데도 중요하다. 일상 언어에서는 같은 단어가 상황에 따라 다른 의미를 가질 수 있다. 이론은 일상에서 추측이나 의견이라는 뜻으로 쓰이지만 과학에서는 많은 관찰과 검증을 조직하는 체계를 뜻한다. 유의미하다는 표현도 일상에서는 중요하다는 의미지만, 통계학에서는 특정한 계산 기준을 통과했다는 제한된 뜻으로 사용될 수 있다. 이러한 용어 차이를 모르면 대중은 과학자의 말을 실제보다 강하거나 약한 주장으로 오해할 수 있다.
과학은 이러한 혼란을 줄이기 위해 구체적인 정의와 공식, 표준화된 측정 단위를 사용한다. 과학 논문이 반복적이고 읽기 어려울 정도로 정확한 표현을 고집하는 이유도 여기에 있다. 연구자는 어떤 집단을 조사했고, 어떤 조건에서 측정했으며, 어떤 통계 기준을 적용했는지를 명시해야 한다. 그 내용을 생략하면 독자는 연구자의 머릿속에 있었던 상황 모델을 재구성할 수 없다.
그러나 전문용어가 많다고 언제나 정확한 것은 아니다. 전문가는 용어를 정의하지 않은 채 상대방도 자신과 같은 의미로 이해할 것이라고 가정할 수 있다. 그러므로 과학적 소통에서는 전문적인 정확성과 독자의 관점에 대한 고려가 동시에 필요하다. 정확하지만 이해할 수 없는 설명은 전달에 실패한 것이며, 이해하기 쉽지만 핵심 조건을 제거한 설명 역시 사실을 왜곡한다.
이 장에서 저자가 제시하는 해결책은 완벽한 언어를 만드는 것이 아니다. 인간의 언어는 근본적으로 모호하며, 대화에는 언제나 추론과 해석이 개입한다. 따라서 우리는 서로를 완전히 이해했다고 섣불리 확신하지 말아야 한다. 상대방이 무엇을 알고 있는지, 같은 단어를 같은 의미로 사용하는지, 자신의 설명에서 어떤 정보가 생략되었는지를 점검해야 한다.
명확하게 말하고 주의 깊게 듣는 일은 단순한 예절이 아니다. 상대방의 관점을 이해하기 위해 정신적 에너지를 사용하는 인식론적 실천이다. 우리가 피곤하거나 서두를 때, 상대방의 말이 익숙한 주장처럼 들릴 때, 이미 결론을 알고 있다고 생각할 때 오해의 가능성은 커진다. 과학적 사실을 다루는 상황에서는 이러한 작은 오해가 연구 결과에 대한 불신과 잘못된 정책 판단으로 이어질 수 있다.
✨ 해설과 통찰
Chapter 13은 인간의 의사소통을 투명한 정보 전달 과정으로 보는 단순한 모델을 해체한다. 말하는 사람이 문장을 만들어 보내면 듣는 사람이 동일한 의미를 받아들이는 것이 아니다. 듣는 사람은 자신의 경험과 지식, 기대와 관심을 바탕으로 문장의 의미를 재구성한다. 소통은 정보의 복사가 아니라 서로 다른 현실 모델 사이의 조정이다.
철학적으로 이 장은 언어의 의미가 사용되는 맥락에서 형성된다는 루트비히 비트겐슈타인의 관점과 연결된다. 같은 단어도 어떤 상황에서 누가 누구에게 말했는지에 따라 다른 기능을 수행한다. 케이크가 맛있다는 말은 음식에 대한 평가일 수도 있지만, 한 조각을 더 달라는 우회적인 요청일 수도 있다. 단어의 의미를 정확히 이해하려면 문장만이 아니라 그 문장이 사용된 삶의 상황을 보아야 한다.
화용론의 관점에서 보면 저자의 사례들은 사람들이 말로 표현된 내용보다 더 많은 의미를 전달한다는 사실을 보여준다. 대화자는 상대방이 협력적으로 말하고 있다고 가정하고, 왜 지금 이 말을 했는지를 추론한다. 반복과 강조, 생략과 말투는 모두 숨은 의도를 해석하는 단서가 된다. 그러나 이러한 추론은 개인의 경험과 문화적 규범에 따라 달라지므로 오해를 완전히 제거할 수 없다.
심리학적으로 이 장은 인간의 자기중심성이 어린 시절에만 나타나는 결함이 아니라 성인에게도 남아 있는 기본값임을 보여준다. 성인은 타인의 관점을 더 잘 이해하지만, 자신의 관점이 자동으로 사라지는 것은 아니다. 우선 자신의 시각으로 상황을 해석하고, 이후 시간과 노력을 들여 수정한다. 따라서 관점 취하기는 인격적 선함만으로 보장되지 않는다. 충분한 주의와 인지적 여유가 필요하다.
사회적 갈등에서도 같은 문제가 나타난다. 서로 다른 정치집단은 동일한 단어를 다른 의미로 사용한다. 자유와 공정, 안전과 책임 같은 개념은 모두가 동의하는 것처럼 보이지만, 각 집단이 실제로 가리키는 제도와 경험은 다를 수 있다. 단어가 같다는 이유로 의미까지 같다고 가정하면 논쟁은 반복될 수밖에 없다. 생산적인 대화를 위해서는 상대방이 그 용어로 무엇을 지칭하는지 먼저 확인해야 한다.
과학 커뮤니케이션에서도 이 원리는 중요하다. 연구자는 위험 증가가 상대적 위험인지 절대적 위험인지, 연관성이 인과관계를 의미하는지, 통계적으로 유의미한 결과가 실제 생활에서 중요한 차이인지를 구체적으로 밝혀야 한다. 대중 역시 익숙한 일상적 의미를 과학용어에 그대로 적용하지 않도록 주의해야 한다. 과학에 대한 불신의 일부는 연구 내용보다 서로 다른 언어 규칙에서 비롯될 수 있다.
이 장은 이해를 단순한 감정적 공감과 구별한다. 상대방에게 선의를 가지고 있다고 해서 그 사람의 의미를 정확히 파악하는 것은 아니다. 진정한 이해에는 질문하고 확인하며, 자신의 첫 해석이 틀릴 수 있음을 인정하는 과정이 필요하다. 이해는 즉각적인 직관이 아니라 반복적인 교정의 결과다.
? 핵심 요약
1️⃣ 인간의 대화는 모든 정보를 명시적으로 전달하지 않으며, 듣는 사람은 상대방의 지식과 의도, 상황을 추론해 의미의 빈틈을 채운다.
2️⃣ 어린이뿐 아니라 성인도 자신의 관점을 먼저 적용하며, 다른 사람의 관점을 고려하려면 시간과 정신적 노력이 필요하다.
3️⃣ 주의가 분산되거나 인지적 부담이 커질수록 자신의 관점을 수정하기 어려워지고 의사소통의 오류가 증가한다.
4️⃣ 대화 참여자들은 특정 사물에 대한 공동의 표현을 형성하므로, 합의 없이 용어를 바꾸면 의미의 혼란이 발생할 수 있다.
5️⃣ 과학적 소통에서는 용어를 구체적으로 정의하고 상대방의 배경지식을 고려해야 하며, 완전한 이해를 당연하게 가정해서는 안 된다.
? 비교·확장
루트비히 비트겐슈타인은 언어의 의미가 단어 자체에 고정된 것이 아니라 실제 사용 속에서 형성된다고 보았다. Chapter 13의 반짝이는 원통과 은색 튜브 사례는 이 주장을 심리학적으로 보여준다. 같은 사물을 가리키는 두 표현이라도 대화 상대와 형성한 사용 규칙에 따라 서로 다른 효과를 낳는다.
폴 그라이스의 대화 이론은 사람들이 말의 문자적 의미를 넘어 화자의 의도를 추론하는 방식을 설명한다. 케이크가 정말 맛있다는 반복된 말은 표면적으로는 평가지만, 대화의 맥락에서는 케이크를 더 먹고 싶다는 요청으로 해석된다. 인간의 대화는 말하지 않은 내용을 협력적으로 추론하는 능력에 의존한다.
대니얼 카너먼의 이중과정 이론과도 연결할 수 있다. 자신의 관점에서 즉시 판단하는 과정은 빠르고 자동적이지만, 상대방의 관점을 고려해 첫 판단을 수정하는 과정은 느리고 노력이 필요하다. 장난감 트럭 실험은 이러한 두 과정의 차이를 구체적으로 보여준다.
한스 게오르크 가다머의 해석학에서는 이해를 서로 다른 지평이 만나는 과정으로 본다. 상대방을 이해한다는 것은 자신의 관점을 버리고 상대방과 완전히 같아지는 일이 아니다. 자신의 전제를 의식하면서 상대방의 언어와 경험을 통해 관점을 수정하는 일이다. Chapter 13이 권하는 태도 역시 이러한 지평의 조정에 가깝다.
현대의 온라인 소통은 이 문제를 더욱 심화한다. 표정과 억양, 관계의 맥락이 사라진 짧은 글에서는 같은 문장이 농담인지 비판인지 구별하기 어렵다. 알고리즘은 유사한 관점을 가진 사람들끼리 묶어 각 집단이 특정 용어를 서로 다른 의미로 사용하게 만든다. 따라서 온라인 논쟁에서는 상대방의 말이 자신이 익숙한 의미와 다를 수 있음을 더 적극적으로 고려해야 한다.
? 연결 독서 제안
✔️ Ludwig Wittgenstein, Philosophical Investigations
✔️ Paul Grice, Studies in the Way of Words
✔️ Hans Georg Gadamer, Truth and Method
✔️ Nicholas Epley, Mindwise
? 사유를 여는 질문
❓ 우리는 상대방의 말을 이해한 것일까, 아니면 자신의 경험으로 그 말의 빈틈을 채운 것일까?
❓ 같은 단어를 사용하면서 서로 다른 의미를 전제할 때, 대화의 공통 기준은 어떻게 만들 수 있을까?
❓ 과학적 정확성과 대중적 이해 가능성이 충돌할 때, 설명자는 어느 쪽을 우선해야 하는가?
? Chapter 14. We Do Not Know How to Read Research Papers | 우리는 연구 자료를 읽는 방법을 모른다
✅ 장 개요
Chapter 14는 과학적 사실의 근원에 직접 접근하려면 학술 논문을 읽을 수 있어야 하지만, 대부분의 사람은 그 방법을 배운 적이 없다는 문제에서 출발한다. 저자는 학술 논문이 전문가를 위해 작성된 문서라는 점을 인정하면서도, 사실과 의견을 구분해야 하는 시대에는 일반인도 최소한 논문의 기본 구조와 신뢰성을 판단하는 기준을 알아둘 필요가 있다고 주장한다. 인터넷 기사와 사회관계망의 짧은 요약만으로는 연구가 실제로 무엇을 증명했는지, 어떤 한계를 가지고 있는지 확인하기 어렵기 때문이다.
이 장은 학술 논문의 전형적인 구조를 초록, 서론, 방법론, 결과, 논의, 결론, 참고 문헌의 순서로 설명한다. 초록은 연구 전체의 압축된 지도이며, 서론은 연구가 왜 필요한지와 기존 연구에서 무엇이 알려졌는지를 제시한다. 방법론은 연구가 누구를 대상으로 어떤 절차와 분석법을 사용해 수행됐는지를 보여주는 핵심 부분이다. 결과는 실제로 관찰된 내용을 제시하고, 논의는 그 결과가 무엇을 의미하며 어떤 한계를 갖는지를 해석한다.
저자는 특히 표본의 크기와 대표성을 구분해야 한다고 강조한다. 참가자가 많다고 무조건 좋은 연구가 되는 것은 아니다. 표본이 연구가 설명하려는 집단을 제대로 대표하는지, 조사하려는 현상이 얼마나 복잡하고 드문지에 따라 적절한 표본 규모가 달라진다. 남성이나 대학생만을 대상으로 한 결과를 모든 인간에게 적용하거나, 동물실험 결과를 곧바로 인간에게 적용하는 것은 위험하다.
또한 좋은 논문은 다른 연구자가 동일한 절차를 반복할 수 있을 정도로 방법을 상세하게 공개해야 한다. 결과를 이해할 때는 본문의 주장만 읽기보다 도표와 통계적 불확실성을 확인하는 것이 중요하다. 논의 부분에서는 연구자가 자신의 연구의 약점과 제한 사항을 얼마나 솔직하게 밝히는지를 살펴봐야 한다. 저자는 한계가 많이 적힌 논문일수록 오히려 더 신뢰할 수 있다고 말한다. 자신의 연구를 비판적으로 검토하고 반론의 가능성을 인정하는 태도가 과학적 성실성의 증거이기 때문이다.
장 마지막에서는 사전 등록이 연구 신뢰성을 높이는 중요한 신호로 소개된다. 연구자는 실험을 시작하기 전에 가설과 방법, 분석 절차를 공개적으로 등록함으로써 결과를 본 뒤 유리한 가설을 새로 만들어내거나 분석 방법을 바꾸는 일을 제한할 수 있다. 학술지는 결과가 흥미롭거나 통계적으로 유의미한지와 상관없이 정해진 절차를 충실히 따른 연구를 게재하기로 약속한다. 이는 연구자의 선의에만 의존하지 않고 연구 과정 자체를 투명하게 만드는 제도적 장치다.
? 상세 설명
저자는 이 장에서 지금까지 다룬 문제들과는 조금 다른 종류의 장애물을 설명한다. 앞선 장들에서는 인간의 기억과 인지편향, 관찰과 측정의 한계, 가설과 해석의 오류처럼 인간과 과학의 구조에서 자연스럽게 발생하는 문제를 다루었다. 그러나 학술 논문을 읽지 못하는 문제는 인간의 본성 때문이라기보다 교육과 전문성의 장벽에서 비롯된다.
모든 사람이 학술 논문을 읽는 법을 배워야 한다고 요구하는 것은 현실적이지 않다. 일반인이 건축 도면이나 교향곡 악보를 읽지 못한다고 해서 문제가 되는 것은 아니다. 전문적인 문서는 해당 분야의 전문가가 사용하기 위해 만들어진다. 과학 논문 역시 연구자들이 서로 방법과 결과를 공유하고 검증하기 위한 문서이므로 일정한 전문 지식을 요구한다.
하지만 과학 연구는 건축 도면이나 악보와 다른 점이 있다. 과학은 건강과 환경, 교육과 정책, 식품과 기술에 관한 사회적 결정을 뒷받침한다. 언론 기사와 인터넷 게시물은 연구 결과를 짧고 흥미롭게 전달하는 과정에서 중요한 조건과 한계를 생략할 수 있다. 따라서 논문의 모든 세부 사항을 해독할 필요는 없더라도, 원본 자료가 실제로 어떤 주장을 하는지 확인할 수 있는 최소한의 능력은 필요하다.
✒️ 핵심 발췌
? “한편으로 학술 논문은 전문가들을 위한 것이므로 우리가 그것을 모른다고 해도 괜찮다. 모든 사람이 건축 도면이나 교향곡 악보를 읽는 법을 배우지 않아도 괜찮은 것과 같다. 하지만 우리는 사실과 의견을 구분하는 것이 점점 더 중요한 세상에 살고 있다.”
✍️ “학술 논문을 완전히 해독하는 능력이 모든 사람에게 필수적인 것은 아니다. 그러나 연구 결과가 일상과 정치적 판단에 큰 영향을 미치는 시대에는, 원본 연구가 무엇을 말하는지 최소한 확인할 수 있어야 한다.”
➡️ 저자는 전문가와 일반인의 차이를 없애야 한다고 주장하지 않는다. 대신 과학적 지식이 사회적 권위를 갖는 만큼, 과학계는 논문을 더 투명하게 작성하고 독자는 연구를 점검할 기본적인 도구를 익혀야 한다고 말한다.
학술 논문의 구조는 이 책의 전체 흐름과 닮아 있다. 연구자는 먼저 기존의 관찰을 검토하고 가설을 세운다. 이어 가설을 검증하기 위한 방법을 선택하고 데이터를 수집한다. 마지막으로 결과를 해석하고 그것이 기존 지식에 어떤 의미를 갖는지 설명한다. 논문의 각 부분은 이러한 과정을 독자가 역으로 추적할 수 있게 한다.
가장 먼저 등장하는 부분은 초록이다. 초록은 논문의 목적과 방법, 핵심 결과와 결론을 짧게 요약한 글이다. 소설처럼 결말을 숨겨 독자의 흥미를 유지하려는 글이 아니므로, 좋은 초록은 연구의 결론을 처음부터 공개한다. 연구가 무엇을 조사했는지, 예상한 결과가 나왔는지, 그렇지 않았다면 어떤 결과가 발견됐는지를 초록만으로 대략 파악할 수 있어야 한다.
논문의 제목도 중요한 역할을 한다. 잘 만들어진 제목은 연구 대상과 핵심 결과를 구체적으로 드러낸다. 제목을 지나치게 흥미롭게 꾸미거나 모호하게 만들면 독자는 연구가 자신에게 필요한지 판단하기 어려워진다. 저자는 자신의 과거 논문 제목이 충분히 명확하지 않았다고 솔직하게 인정하며, 과학자도 명료한 전달법을 처음부터 잘 아는 것은 아니라고 말한다.
초록을 읽을 때 주의해야 할 점도 있다. 초록은 공간이 제한되어 있어 연구의 세부적인 조건과 한계가 충분히 설명되지 않는다. 언론 기사나 인터넷 게시물은 대개 초록의 문장만을 근거로 작성되기 때문에, 논문 전체의 신중한 표현보다 더 단정적인 결론을 제시할 수 있다. 따라서 초록은 논문의 입구이지 최종적인 평가의 근거는 아니다.
그다음에 이어지는 서론은 연구가 왜 수행되었는지를 설명한다. 연구자는 해당 분야에서 이미 알려진 내용과 아직 해결되지 않은 문제를 정리하고, 자신이 검증하려는 질문이나 가설을 제시한다. 좋은 서론은 기존 연구에서 현재 연구가 어떻게 논리적으로 도출됐는지를 보여준다.
서론이 중요한 이유는 과학적 가설이 아무런 배경 없이 생겨서는 안 되기 때문이다. 강력한 가설은 이전의 관찰과 연구 결과에서 나와야 한다. 연구자가 기존의 합의와 반대되는 주장을 한다면, 왜 기존 결과가 부족하며 어떤 새로운 근거가 필요한지를 설명해야 한다. 서론에서 이전 연구가 편향되게 선택되거나 자신의 가설을 지지하는 자료만 인용된다면, 이후의 실험이 정교해도 연구의 출발점에는 문제가 있을 수 있다.
✒️ 핵심 발췌
? “연구의 맥락은 그 일부이기 때문에 서론은 근본적으로 중요할 수밖에 없다. 강력한 가설은 이전에 알려진 것, 즉 이전의 관찰이나 실험에서 비롯된다. 서론 부분을 평가하는 경험 법칙은 이전 연구의 가정이 명확하게 전개된 연구가 신뢰성이 높다는 것이다.”
✍️ “좋은 연구는 갑자기 등장하지 않는다. 기존 지식과 관찰에서 질문이 어떻게 만들어졌는지를 명확히 보여주는 논문일수록 연구의 출발점과 논리를 검토하기 쉽다.”
➡️ 서론은 단순한 배경 설명이 아니다. 연구자가 기존 연구를 공정하게 이해했는지, 자신의 가설을 뒷받침하기 위해 어떤 전제를 선택했는지를 확인하는 부분이다.
저자가 가장 중요하게 여기는 부분은 방법론이다. 방법론에는 연구를 실제로 어떻게 수행했는지가 기록된다. 어떤 참가자나 자료를 선택했는지, 어떤 실험 조건을 사용했는지, 무엇을 측정했는지, 어떤 통계 분석을 적용했는지가 구체적으로 설명돼야 한다.
연구 결과의 신뢰성은 방법의 적절성에 의해 결정된다. 같은 데이터라도 측정 방식과 분석 기준이 다르면 결과가 달라질 수 있다. 따라서 연구자가 왜 특정한 방법을 선택했는지, 다른 방법은 왜 사용하지 않았는지를 이해하는 것이 중요하다. 방법론이 불충분하면 독자는 연구가 실제로 무엇을 검증했는지 알 수 없으며, 다른 연구자도 결과를 재현할 수 없다.
사람을 대상으로 하는 연구에서는 참가자의 특성이 특히 중요하다. 나이와 성별은 기본적인 정보지만, 연구 분야에 따라 교육 수준과 건강 상태, 언어와 문화, 사용 중인 약물, 왼손잡이 여부 같은 요소도 결과에 영향을 줄 수 있다. 기능적 자기공명영상으로 언어 영역을 연구할 때는 왼손잡이와 오른손잡이의 뇌 조직이 다를 가능성을 고려해야 한다. 이러한 요소를 무시하면 연구 결과의 차이가 실제 현상 때문인지 참가자의 특성 때문인지 판단하기 어렵다.
방법론을 볼 때 많은 사람이 가장 먼저 확인하는 것은 표본의 수다. 일반적으로 참가자가 많으면 우연한 변동의 영향이 줄어들고 결과의 안정성이 높아진다. 그러나 표본이 크다는 사실만으로 연구의 신뢰성을 평가할 수는 없다.
새로운 희귀 질환처럼 대상자가 매우 적은 연구에서는 적은 표본도 중요한 정보를 제공할 수 있다. 반대로 참가자가 수천 명이라도 특정 대학의 학생이나 한 지역의 주민만 조사했다면 전체 인구를 대표하지 못할 수 있다. 표본의 수와 표본의 대표성은 서로 다른 문제다.
저자는 대머리 비율을 조사하는 간단한 연구를 예로 든다. 어느 정도의 사람을 조사한 뒤 대머리의 비율이 약 10퍼센트로 안정되면, 참가자를 수천 명 더 늘려도 결과가 크게 달라지지 않을 수 있다. 이 경우 조사 대상의 전체 인구가 수천만 명인지 수십억 명인지는 표본 규모 결정에 결정적인 영향을 주지 않는다. 조사하려는 특성이 단순하고 흔하기 때문이다.
반면 매우 드물거나 복잡한 특성을 조사할 때는 훨씬 더 큰 표본이 필요하다. 특정 유전자와 희귀 질병의 관계, 여러 사회적 조건과 정신건강의 상호작용처럼 작은 차이를 찾아야 하는 연구는 참가자가 적으면 우연과 실제 효과를 구분하기 어렵다.
✒️ 핵심 발췌
? “첫째, 표본이 인위적으로 제한됐는지 확인하라. 예를 들어, 모든 사람의 진술을 필요로 하는 연구에서 연구 대상이 남성이나 학생만으로 한정되지 않았는지를 확인한다. 둘째, 표본의 크기가 특성에 비례하는지 확인하라. 즉, 더 복잡하거나 희귀한 특성을 조사하기 위해서는 더 많은 연구 참가자가 필요하다.”
✍️ “표본을 평가할 때는 사람의 수만 보아서는 안 된다. 연구 대상이 전체 집단을 제대로 대표하는지, 조사하는 현상의 희귀성과 복잡성에 비해 표본이 충분한지를 함께 살펴야 한다.”
➡️ 큰 숫자는 연구에 권위를 부여하는 것처럼 보이지만, 편향된 표본을 크게 늘리면 편향된 결론이 더 정밀해질 뿐이다. 대표성과 적절성이 단순한 규모보다 중요하다.
사람에 관한 결론을 내리는 연구가 실제로 사람을 대상으로 수행됐는지도 확인해야 한다. 언론에서는 동물실험 결과가 인간에게 곧바로 적용되는 것처럼 보도되는 경우가 많다. 그러나 동물의 생리와 인간의 생리는 완전히 같지 않으며, 동물에게 효과가 있는 치료법이 사람에게는 효과가 없거나 위험할 수 있다.
저자는 인공 감미료인 아스파탐을 사례로 든다. 아스파탐이 암을 일으킬 수 있다는 주장의 상당 부분은 고용량을 사용한 동물실험에서 비롯되었다. 그러나 건강한 인간을 대상으로 한 연구에서는 같은 결과가 확실하게 입증되지 않았다. 동물실험이 필요 없다는 뜻이 아니라, 동물에서 관찰된 결과가 인간에게도 그대로 나타난다는 결론을 내려서는 안 된다는 의미다.
약물 개발에서도 동물실험에서 효과를 보인 물질 중 일부만 인간에게 유효한 것으로 확인된다. 한 암 연구자가 암에 걸린 쥐라면 확실히 치료할 수 있다고 냉소적으로 말한 이유가 여기에 있다. 실험실 동물과 실제 환자의 차이를 무시하면 초기 연구 결과가 치료 가능성에 대한 과장된 희망으로 전달될 수 있다.
✒️ 핵심 발췌
? “사람에 대해 무언가를 말하고자 하는 연구는, 가능하다면 사람을 대상으로 수행돼야 한다는 것이다. 당연한 말임에도 불구하고, 종종 쥐나 다른 설치류를 대상으로 얻은 결과가 사람에게도 똑같이 적용되는 것처럼 보고되고 있다. 동물실험 결과가 마치 인간에게도 똑같이 적용되는 양 보도하는 것은 무책임하다고 생각된다.”
✍️ “동물실험은 중요한 출발점이지만 인간에 관한 최종 증거는 아니다. 연구 대상이 무엇인지 확인하지 않으면 동물에서 발견된 가능성을 인간에게 확립된 사실로 오해할 수 있다.”
➡️ 연구 결과를 읽을 때 가장 먼저 물어야 할 질문 중 하나는 누구 또는 무엇을 대상으로 조사했는가이다. 연구 대상이 달라지면 결론을 적용할 수 있는 범위도 달라진다.
방법론의 궁극적인 목적은 다른 연구자가 같은 연구를 반복할 수 있도록 하는 데 있다. 사용한 재료와 장비, 실험 절차와 통계 분석이 충분히 자세히 기록되어야 한다. 동일한 조건에서 연구를 다시 수행했을 때 비슷한 결과가 나온다면 원래 연구에 대한 신뢰가 높아진다.
그러나 실제 논문에서는 방법이 지나치게 전문적인 약어나 기술적 표현으로 설명되는 경우가 많다. 이는 연구자 사이에서 짧고 정확하게 소통하기 위한 목적이 있지만 일반 독자에게는 큰 장벽이 된다. 더 심한 경우에는 세부 방법을 설명하지 않고 이전 논문을 참고하라고만 적는다. 그러면 독자는 해당 논문을 다시 찾아가며 여러 단계의 전문 자료를 읽어야 한다.
이 문제는 과학적 정확성과 가독성 사이의 긴장을 보여준다. 방법을 지나치게 단순화하면 재현 가능성이 떨어지고, 지나치게 전문적으로만 쓰면 연구 공동체 밖에서는 검토하기 어렵다. 저자는 과학계가 전문성을 유지하면서도 더 읽기 쉬운 설명을 제공해야 한다고 본다.
방법론 다음에는 결과가 나온다. 결과 부분은 연구자가 실제로 얻은 데이터를 보고하는 곳이다. 가설과 방법이 분명하다면 결과는 오히려 간단할 수 있다. 가설이 지지됐는지, 차이가 나타났는지, 아무런 효과가 없었는지를 명확히 보여주면 된다.
저자는 결과를 빠르게 파악하려면 도표를 먼저 살펴보라고 권한다. 좋은 도표는 핵심 결과와 데이터의 분포를 한눈에 보여준다. 평균값만 적힌 문장에서는 알 수 없는 개인차와 이상 수치, 통계적 불확실성도 도표에서는 비교적 쉽게 확인할 수 있다.
예를 들어 소득의 평균은 극소수의 고소득자 때문에 크게 올라갈 수 있다. 데이터의 분포를 보지 않고 평균만 읽으면 전형적인 참가자의 상황을 잘못 이해할 수 있다. 오차 막대와 신뢰 구간이 넓다면 결과의 불확실성이 크다는 뜻일 수 있다. 두 집단의 평균이 달라 보여도 자료가 크게 겹치면 개인 수준에서 구분하기 어려울 수 있다.
결과 부분에서 연구자는 관찰된 사실과 해석을 구분해야 한다. 데이터가 무엇을 보여주는지는 결과에 제시하고, 왜 그런 결과가 나왔는지에 대한 설명은 논의에서 다뤄야 한다. 두 부분이 섞이면 독자는 실제 자료와 연구자의 추론을 구별하기 어려워진다.
마지막으로 논의 부분에서는 연구 결과의 의미를 설명한다. 가설이 지지됐는지, 기존 연구와 일치하는지, 예상하지 못한 결과는 무엇인지, 앞으로 어떤 연구가 필요한지를 다룬다. 언론 기사에서 인용되는 흥미로운 문장들은 대개 논의에 있지만, 이 부분은 결과 자체가 아니라 연구자의 해석이라는 사실을 기억해야 한다.
논의에서 가장 중요하게 확인해야 할 내용은 연구의 한계다. 모든 연구에는 측정의 부정확성, 표본의 제한, 대안적 해석, 분석 방법의 문제처럼 결론을 약화할 수 있는 요소가 있다. 신뢰할 만한 연구자는 이러한 약점을 숨기지 않고 구체적으로 밝힌다.
저자는 한계가 많이 적힌 논문을 실패한 연구로 보지 않는다. 오히려 연구자가 자신의 결과를 비판적으로 검토하고, 무엇을 확실히 말할 수 있으며 무엇은 아직 말할 수 없는지를 구분했다는 증거로 본다. 모든 것이 완벽했다고 주장하는 논문이 더 의심스러울 수 있다.
✒️ 핵심 발췌
? “직관과는 상반된, 경험에 근거한 나의 생각을 말하자면 한계에 대한 내용이 많을수록, 그 논문은 신뢰할 만하다. 연구자가 자신의 연구 내용을 진지하게 검토하면서, 반론의 가능성을 인지하고, 그 문제를 어떻게 해결하려 했는지를 한계 부분을 통해 설명하고 있기 때문이다. 반대로, 한계에 대한 언급이 전혀 없는 논문은 의심스러울 수 있다.”
✍️ “좋은 논문은 자신의 약점을 감추지 않는다. 연구자가 결론이 성립하지 않을 수 있는 조건과 대안적 해석을 솔직하게 설명할수록 독자는 연구의 실제 신뢰 범위를 더 정확하게 판단할 수 있다.”
➡️ 과학적 신뢰는 확신에 찬 문체에서 생기지 않는다. 무엇을 모르는지, 어떤 조건에서 결론이 달라질 수 있는지를 공개하는 태도에서 생긴다.
논문에는 마지막으로 결론과 참고 문헌이 포함될 수 있다. 결론은 연구 전체를 간략하게 정리하며, 잘 작성된 경우 연구가 실제로 말할 수 있는 범위를 명확하게 보여준다. 그러나 때로는 초록의 내용을 반복하거나 결과보다 더 과장된 주장을 제시할 수도 있으므로 결론만 따로 읽어서는 안 된다.
참고 문헌은 연구가 어떤 지식 위에 세워졌는지를 보여준다. 연구의 배경과 방법, 개념과 해석에 기여한 이전 자료가 모두 포함돼야 한다. 독자는 참고 문헌을 통해 주장과 방법의 근원을 직접 확인할 수 있다.
인용 문헌이 많다고 무조건 좋은 연구는 아니지만, 충분한 참고 문헌은 연구자가 관련 분야를 폭넓게 검토했다는 신호가 될 수 있다. 반대로 기존 연구를 거의 인용하지 않거나 자신의 주장과 반대되는 자료를 생략한다면 연구의 맥락이 편향되었을 가능성이 있다.
저자는 자신의 시체성애에 관한 글을 사례로 든다. 직접적인 연구가 거의 없는 주제였지만 관련된 신경심리학과 성적 관심, 정신의학 연구를 연결하면서 50개 이상의 출처를 활용했다. 직접적으로 같은 주제를 다룬 논문이 없더라도, 주장을 구성하는 데 사용된 모든 지적 재료는 투명하게 밝혀야 한다는 뜻이다.
논문의 구조를 이해한 뒤에는 사전 등록 여부를 확인할 수 있다. 사전 등록은 연구가 시작되기 전에 연구 질문과 가설, 대상과 방법, 분석 절차를 공개적으로 기록하는 제도다. 연구자는 결과를 본 뒤 자신에게 유리하도록 방법을 바꾸거나 새로운 가설을 처음부터 세운 것처럼 제시하기 어려워진다.
사전 등록이 필요한 이유는 데이터에는 연구자가 처음 예상하지 않았던 흥미로운 패턴이 우연히 나타날 수 있기 때문이다. 수많은 변수를 분석하면 통계적으로 유의미해 보이는 결과가 우연히 발견될 가능성이 커진다. 연구자가 그 결과만 선택해 처음부터 계획한 핵심 발견처럼 발표하면 독자는 우연한 패턴을 검증된 가설로 오해할 수 있다.
저자는 자신의 연구에서 예상하지 못했던 부수적 효과가 나타난 경험을 소개한다. 그것을 주요 결과로 포장했다면 더 흥미로운 논문이 되었을 수 있지만, 해당 효과는 처음부터 엄격하게 검증하도록 설계된 것이 아니었다. 그는 이를 부수적인 발견으로 보고하고 이후 연구에서 다시 검증해야 한다고 밝혔다.
✒️ 핵심 발췌
? “연구자들은 자발적으로 특정한 절차를 따르겠다고 약속하며, 특별한 이유 없이 그 절차를 변경할 수 없다. 그 대가로, 학술지는 연구 결과가 유의미하든 그렇지 않든 간에 상관없이 논문을 게재하기로 약속한다. 이는 연구자들이 연구가 끝난 후 결과를 조작하거나 추가하지 못하도록 막는, 매우 타당한 방식이라 할 수 있다.”
✍️ “사전 등록은 연구자가 결과를 보기 전에 검증할 가설과 절차를 고정하게 한다. 결과가 흥미롭지 않더라도 연구를 공개함으로써, 성공한 결과만 선택적으로 발표하는 유혹과 사후적인 해석을 줄일 수 있다.”
➡️ 사전 등록은 연구자를 믿지 못해서 만드는 처벌 장치가 아니다. 누구나 결과를 본 뒤 이야기를 그럴듯하게 재구성할 수 있다는 인간적 약점을 제도적으로 보완하는 장치다.
사전 등록된 연구라고 해서 자동으로 완벽한 것은 아니다. 연구 방법 자체가 부적절하거나 표본이 편향되었을 수 있고, 계획을 따랐더라도 측정 오류가 발생할 수 있다. 그러나 적어도 연구자가 결과를 본 뒤 유리한 방향으로 가설과 분석을 변경했을 가능성은 줄어든다. 따라서 사전 등록은 논문의 신뢰성을 판단할 때 긍정적인 신호로 사용할 수 있다.
Chapter 14에서 저자가 제시하는 독서법은 모든 통계식을 계산하거나 전문적인 실험기법을 이해하라는 요구가 아니다. 초록에서 연구의 목적과 결과를 확인하고, 서론에서 가설의 맥락을 살펴보며, 방법론에서 표본과 연구 대상을 점검하고, 도표를 통해 데이터의 분포와 불확실성을 확인하라는 것이다. 이어 논의의 한계와 참고 문헌, 사전 등록 여부를 검토하면 논문의 신뢰성을 대략적으로 평가할 수 있다.
이러한 독서법은 과학자를 의심하기 위한 기술이 아니라 과학을 더 정확하게 신뢰하기 위한 기술이다. 과학을 무조건 믿거나 무조건 거부하는 두 태도는 모두 연구가 실제로 말하는 내용을 확인하지 않는다. 원본 논문을 읽는 일은 과학적 권위와 싸우는 행위가 아니라, 권위가 어떤 근거 위에 세워져 있는지를 이해하는 과정이다.
✨ 해설과 통찰
Chapter 14의 핵심은 과학적 문해력을 단순한 지식의 양이 아니라 연구가 만들어지는 과정을 읽어내는 능력으로 정의하는 데 있다. 과학에 관한 많은 대중적 논쟁은 연구 결과의 문장만을 놓고 벌어진다. 그러나 같은 결과라도 누구를 조사했고 무엇을 측정했으며 어떤 분석을 사용했는지에 따라 의미가 달라진다. 과학적 문해력은 결론을 암기하는 능력이 아니라 결론이 도출된 경로를 추적하는 능력이다.
이 장은 과학적 사실이 논문의 마지막 문장에 완성된 형태로 놓여 있다고 보는 생각을 비판한다. 하나의 연구 결과는 관찰과 가설, 표본 선택과 측정, 분석과 해석이 이어진 과정의 산물이다. 각 단계마다 오류와 편향이 들어갈 가능성이 있으므로 독자는 결론뿐 아니라 그 결론을 만든 구조를 살펴야 한다.
철학적으로 이 장은 과학 지식의 정당화 문제와 연결된다. 우리는 대부분의 과학적 사실을 직접 실험해보지 않고 전문가와 제도에 의존해 받아들인다. 따라서 과학적 신뢰는 개인 연구자의 권위만으로 유지되지 않는다. 방법 공개와 동료 검토, 재현과 비판, 참고 문헌과 사전 등록처럼 다른 사람이 검증할 수 있는 절차에 의해 형성된다.
사회적으로는 연구 논문의 접근성과 가독성이 중요한 문제로 떠오른다. 과학이 공적 자금으로 수행되고 사회정책의 근거로 사용된다면, 결과가 전문가 집단 내부에만 머물러서는 안 된다. 일반인이 모든 기술적 내용을 이해할 수는 없더라도, 핵심 가설과 방법, 결과와 한계를 확인할 수 있는 설명은 제공돼야 한다.
반대로 대중적 이해를 높인다는 이유로 연구를 지나치게 단순화하는 것도 위험하다. 연구에서 위험이 증가했다고 보고했을 때, 그 증가가 절대적으로 얼마나 큰지와 누구에게 적용되는지를 생략하면 공포를 부추길 수 있다. 효과가 있었다는 말만 전달하고 표본과 한계를 생략하면 작은 초기 연구가 확립된 치료법처럼 보일 수 있다.
언론의 역할도 중요하다. 좋은 과학 보도는 논문의 결론을 반복하는 데 그치지 않고 연구 대상과 표본의 크기, 비교 집단과 연구의 한계를 함께 설명해야 한다. 동물실험인지 인간 연구인지, 관찰 연구인지 무작위 실험인지, 사전 등록과 재현 연구가 있는지도 독자가 판단할 수 있도록 제공해야 한다.
이 장은 과학에 대한 건전한 회의주의와 냉소주의를 구분한다. 건전한 회의주의는 연구의 방법과 증거를 검토하고 더 강한 자료가 나오면 판단을 수정한다. 냉소주의는 과학자도 틀릴 수 있다는 사실을 이유로 모든 연구를 믿을 수 없다고 결론짓는다. 전자는 과학의 절차를 강화하지만 후자는 사실과 의견의 차이를 다시 무너뜨린다.
교육적으로 보면 논문 읽기는 대학원생만의 기술이어서는 안 된다. 학교에서 논문의 복잡한 통계까지 가르치지 않더라도 연구 질문과 표본, 비교 집단, 상관관계와 인과관계, 한계와 이해관계를 확인하는 방법은 가르칠 수 있다. 이는 가짜 뉴스와 과장된 건강정보에 대응하는 시민적 능력이기도 하다.
? 핵심 요약
1️⃣ 학술 논문은 전문가를 위한 문서이지만, 사실과 의견을 구분하기 위해서는 일반인도 초록과 방법, 결과와 한계를 확인하는 기본적인 독해 능력을 갖출 필요가 있다.
2️⃣ 표본의 신뢰성은 참가자의 수만으로 결정되지 않으며, 조사 대상이 연구가 설명하려는 집단을 대표하는지와 현상의 복잡성에 비해 충분한지를 함께 살펴야 한다.
3️⃣ 사람에 관한 주장을 평가할 때는 연구가 실제로 사람을 대상으로 수행됐는지 확인해야 하며, 동물실험 결과를 인간에게 곧바로 적용해서는 안 된다.
4️⃣ 좋은 논문은 방법을 재현할 수 있을 만큼 구체적으로 공개하고, 결과의 불확실성과 연구의 한계를 솔직하게 설명하며, 관련된 참고 문헌을 투명하게 제시한다.
5️⃣ 사전 등록은 결과를 본 뒤 가설과 분석을 유리하게 바꾸는 일을 제한하므로, 연구의 신뢰성을 높이는 중요한 제도적 장치다.
? 비교·확장
칼 포퍼의 반증주의는 논문 읽기의 기본 원리와 연결된다. 연구의 가설이 과학적이려면 어떤 결과가 나올 경우 틀렸다고 인정할 것인지 분명해야 한다. 방법론과 사전 등록은 연구자가 가설을 반증의 위험에 실제로 노출시키는 장치다.
로버트 머턴이 설명한 과학의 제도적 규범도 이 장을 이해하는 데 중요하다. 과학 지식은 공동체에 공개돼야 하고, 주장은 개인의 지위가 아니라 증거로 평가돼야 하며, 연구자는 자신의 이해관계를 넘어서 비판적 검토를 받아들여야 한다. 논문의 방법 공개와 참고 문헌, 한계 서술은 이러한 규범을 문서로 구현한다.
존 이오아니디스의 연구는 출판된 연구 결과가 항상 참인 것은 아니라는 점을 강조했다. 작은 표본과 낮은 효과, 다양한 분석 선택과 출판편향이 결합하면 통계적으로 유의미한 결과도 거짓일 가능성이 커진다. Chapter 14가 표본과 방법, 사전 등록을 강조하는 이유도 여기에 있다.
벤 골드에이커는 의학과 제약 연구에서 선택적 보고와 과장된 언론 보도가 어떻게 대중의 판단을 왜곡하는지 지적했다. 연구의 결론만 접하는 사람은 부정적인 결과가 공개되지 않았거나 분석 방식이 변경됐다는 사실을 알 수 없다. 원본 논문의 방법과 등록 정보를 확인하는 습관은 이러한 왜곡을 줄일 수 있다.
현대의 생성형 인공지능과 자동 요약 도구도 이 장의 문제의식을 새롭게 만든다. 인공지능은 긴 논문을 빠르게 요약할 수 있지만, 요약 과정에서 표본의 조건과 통계적 불확실성, 제한 사항이 빠질 수 있다. 도구가 제공한 결론을 그대로 받아들이기보다 원본 논문의 핵심 부분과 대조하는 태도가 필요하다.
? 연결 독서 제안
✔️ Ben Goldacre, Bad Science
✔️ John Ioannidis, Why Most Published Research Findings Are False
✔️ Trisha Greenhalgh, How to Read a Paper
✔️ Stuart Ritchie, Science Fictions
? 사유를 여는 질문
❓ 연구의 결론보다 방법론을 먼저 확인해야 한다면, 우리는 과학 뉴스를 어떤 순서로 읽어야 하는가?
❓ 표본이 크지만 특정 집단에 편향된 연구와 표본은 작지만 대표성이 높은 연구 중 어느 쪽을 더 신뢰해야 하는가?
❓ 일반인이 원본 논문을 읽기 어려운 상황에서 과학계와 언론은 연구의 한계와 불확실성을 어떻게 전달해야 하는가?
? Chapter 15. We Fall for Fake Research | 우리는 가짜 연구에 속는다
✅ 장 개요
Chapter 15는 과학의 오류 가능성보다 더 불편한 문제를 다룬다. 그것은 처음부터 진실을 탐구할 의도가 없는 가짜 연구와 가짜 학술지가 실제 과학의 외형을 빌려 유통되는 현실이다. 저자는 정치권에 가짜 뉴스가 존재하듯 과학계에도 가짜 논문과 가짜 저널, 심지어 논문을 대량으로 생산하고 판매하는 가짜 출판사가 존재한다고 지적한다. 이러한 자료는 제목과 초록, 도표와 참고 문헌을 갖추고 있어 외부인이 보기에는 정상적인 연구와 거의 구별되지 않는다.
저자는 먼저 전통적인 학술 출판 구조를 설명한다. 연구자가 학술지에 원고를 제출하면 편집자가 해당 분야의 전문가들에게 검토를 맡기고, 검토자들은 연구 방법과 자료, 해석의 타당성을 평가한다. 편집자는 이 의견을 바탕으로 논문을 수락하거나 거절하고 수정을 요구한다. 이른바 동료 평가는 느리고 불완전하며 개인적 갈등의 영향을 받을 수도 있지만, 과학적 주장을 검증하는 데 현재까지 가장 신뢰할 수 있는 절차다.
문제는 학술 출판의 경제 구조가 변화하면서 생겨났다. 전통적인 출판사는 대학과 연구기관에 높은 구독료를 부과했고, 이에 대한 반작용으로 누구나 논문을 자유롭게 읽을 수 있게 하자는 공개 접근 운동이 성장했다. 연구 결과를 독자에게 무료로 제공하는 대신 연구자나 연구기관이 출판 비용을 부담하는 방식이 확산되었다. 이 모델은 과학 지식의 접근성을 높였지만, 돈만 받으면 논문을 게재해주는 약탈적 학술지가 나타날 수 있는 틈도 만들었다.
약탈적 학술지는 실제 학술지처럼 논문을 모집하고 동료 평가를 했다고 주장하지만, 실질적인 검증 없이 비용만 받는다. 정교한 연구를 발표하려는 연구자는 이런 출판사의 피해자가 될 수 있고, 조작된 결과에 학술 논문의 외형을 입히려는 사람은 이를 의도적으로 이용할 수 있다. 문제는 진짜와 가짜를 구분할 공인된 단일 기준이 없다는 데 있다. 약탈적 학술지 목록은 운영의 지속성과 분류의 공정성 문제로 한계를 드러냈으며, 기존의 색인과 평가 체계도 모든 가짜 출판물을 걸러내지는 못한다.
장 후반부에서 저자는 논문 공장과 생성형 인공지능이 문제를 더욱 악화시킨다고 경고한다. 돈을 받고 논문의 저자 자리를 판매하거나 자료와 이미지, 실험 결과를 조작해 완성된 원고를 제공하는 산업이 등장했다. 생성형 인공지능은 그럴듯한 문장과 도표를 매우 빠르게 생산할 수 있으므로, 검토가 허술한 출판 구조와 결합하면 대량의 허위 연구를 만들어낼 수 있다. 실제로 터무니없는 용어와 해부학적으로 불가능한 그림이 포함된 논문조차 심사를 통과한 사례는 현재의 검증 체계가 새로운 기술적 위협을 충분히 감당하지 못하고 있음을 보여준다.
저자는 이러한 현실이 모든 학술지를 의심해야 한다는 결론으로 이어져서는 안 된다고 강조한다. 대부분의 과학자는 정직하게 연구하며, 엄격한 심사 절차를 유지하는 공개 접근 학술지도 많다. 필요한 태도는 과학 전체를 불신하는 것이 아니라 출판사의 정체와 학술지의 역사, 편집진과 동료 평가 절차, 논문의 내용과 형식을 구체적으로 확인하는 것이다. 과학적 권위는 논문처럼 보이는 외형에서 생기지 않는다. 신뢰할 수 있는 검증 절차와 책임 있는 공동체가 그 권위를 만들어낸다.
? 상세 설명
저자는 이 장의 첫머리에서 정치적 가짜 뉴스와 과학적 가짜 논문의 유사성을 지적한다. 정치적 가짜 뉴스가 언론 보도의 외형을 모방하듯이, 가짜 과학은 학술 논문의 외형을 충실하게 모방한다. 제목과 저자 이름, 소속 기관, 초록과 방법론, 도표와 참고 문헌까지 갖추고 있으므로 전문 지식이 없는 독자는 그것을 실제 연구로 받아들이기 쉽다.
가짜 논문의 위험은 단순한 인터넷 허위정보보다 크다. 인터넷 게시물은 출처가 불분명하거나 선동적인 문체를 사용하기 때문에 어느 정도 경계심을 불러일으킬 수 있다. 반면 학술지에 실린 논문은 그 자체로 전문적인 검증을 통과했다는 인상을 준다. 대중뿐 아니라 언론인과 정책 담당자, 다른 분야의 연구자도 학술지라는 외형을 신뢰할 수 있다. 허위 논문이 다른 연구에서 인용되고 기사와 보고서에 포함되면, 처음의 거짓은 지식 체계 안에서 점차 사실처럼 굳어진다.
✒️ 핵심 발췌
? “그렇다. 과학계에도 가짜 뉴스가 존재한다. 가짜 논문, 가짜 저널, 심지어 본격적인 가짜 과학 출판사까지 있다. 몇 년 전부터 진지한 과학처럼 보이지만, 몽땅 지어냈거나 최소한 전혀 검증되지 않고 출판된 논문들이 쏟아지고 있다.”
✍️ “과학의 외형을 갖추었다고 해서 실제 과학이 되는 것은 아니다. 논문과 학술지, 출판사의 형식을 그대로 모방하면서도 검증 과정이 전혀 없는 자료가 과학적 지식처럼 유통될 수 있다.”
➡️ 저자는 가짜 과학의 핵심 위험이 내용뿐 아니라 형식에 있다고 본다. 학술 논문의 외형은 독자에게 검증과 전문성의 인상을 주기 때문에, 허위정보가 그 형식을 차용하면 일반적인 거짓말보다 더 강한 권위를 얻게 된다.
이 문제를 이해하려면 정상적인 학술 출판이 어떻게 작동하는지를 먼저 알아야 한다. 연구자는 자신의 연구 주제에 적합한 학술지를 선택해 원고를 제출한다. 넓은 과학 분야를 다루는 종합 학술지가 있는가 하면 매우 세부적인 연구 주제만을 다루는 전문 학술지도 있다. 학술지 이름이 낯설거나 연구 분야가 지나치게 세분되어 있다는 사실만으로는 가짜라고 판단할 수 없다. 과학의 전문화로 인해 실제로 매우 좁은 연구 영역을 다루는 학술지가 존재하기 때문이다.
원고가 제출되면 편집자가 먼저 연구 주제가 학술지의 범위에 맞는지, 기본적인 품질을 갖추었는지를 판단한다. 이어 해당 주제에 전문성이 있는 연구자 두세 명에게 평가를 요청한다. 검토자들은 연구 질문이 타당한지, 실험 설계와 통계 분석이 적절한지, 결과가 결론을 뒷받침하는지, 중요한 기존 연구가 누락되지 않았는지를 살핀다.
검토자는 대개 익명으로 활동하며 보수를 받지 않는다. 출판사가 논문의 과학적 품질을 직접 평가하는 것이 아니라, 해당 연구 분야의 구성원들이 서로의 작업을 검토하는 것이다. 편집자는 검토 의견을 종합해 논문을 수락하거나 거부하고 수정을 요구한다. 검토자들이 서로 다른 판단을 내리거나 부당한 의견을 제시할 때 이를 조정하는 일도 편집자의 책임이다.
✒️ 핵심 발췌
? “검토자들은 관련 분야의 전문가들로 최대한 독립적인 평가를 위해 대개 익명으로 그리고 보수를 받지 않고 평가서를 제출한다. 이들은 출판사 소속이 아니기 때문에, 논문 내용의 품질과 관련된 모든 과정은 출판사가 아닌 과학 공동체 내에서 이루어진다. 편집자는 검토된 내용을 바탕으로 논문을 어떻게 처리할지 결정한다.”
✍️ “정상적인 학술 출판에서는 한 사람의 판단만으로 논문이 사실로 승인되지 않는다. 여러 전문가가 방법과 결과를 검토하고, 편집자가 서로 다른 의견을 조정하면서 출판 여부를 결정한다.”
➡️ 동료 평가는 과학적 진리를 확정하는 최종 보증서가 아니다. 그러나 연구자가 자신의 주장을 곧바로 공개하는 일을 막고, 독립적인 전문가의 비판을 거치게 하는 최소한의 품질 관리 장치다.
동료 평가에도 약점이 있다. 연구 분야가 좁으면 검토자가 저자의 정체를 짐작할 수 있고, 연구자 사이의 경쟁이나 개인적 갈등이 평가에 영향을 줄 수 있다. 익명성은 솔직한 비판을 가능하게 하지만 누군가에게 책임 없이 불이익을 줄 기회가 되기도 한다. 유명 연구자나 권위 있는 기관의 논문이 더 호의적으로 평가될 가능성도 있다.
저자는 이러한 단점들을 인정하면서도 동료 평가를 폐기해야 한다고 주장하지 않는다. 저자와 이해관계가 있는 검토자를 제외하고, 부당한 평가를 반복하는 사람을 심사에서 배제하며, 여러 검토자의 의견을 편집자가 비교하는 방식으로 문제를 줄일 수 있기 때문이다. 동료 평가는 느리고 불편하지만 과학적 주장을 공동체의 비판에 노출시키는 중요한 과정이다.
정상적인 학술 출판 구조에서 출판사는 논문을 정리하고 보관하며 유통하는 역할을 한다. 전통적으로 대학과 연구기관은 여러 학술지를 구독하고 연구자와 학생에게 열람 권한을 제공했다. 그러나 이 구조에는 두 가지 문제가 있었다.
첫 번째는 비용이다. 연구자들은 대개 공공 자금이나 대학의 지원으로 연구하고, 다른 연구자의 논문을 무료로 검토한다. 그럼에도 출판사는 완성된 논문을 다시 대학에 높은 가격으로 판매한다. 대학은 연구에 필요한 자료를 확보해야 하므로 높은 구독료를 감수할 수밖에 없다. 출판사는 연구비를 부담하지 않고 심사자에게 보수를 지급하지 않으면서도 막대한 수익을 얻는다.
저자는 2023년 학술지 뉴로이미지의 편집진이 출판사의 과도한 수익 구조에 항의해 집단으로 사퇴한 사건을 소개한다. 학술지의 실제 품질을 유지하는 연구자와 편집자들이 경제적 운영 방식을 이유로 떠났다는 사실은 출판사가 단순한 중립적 전달자가 아니라 과학의 방향과 접근성에 영향을 미치는 권력임을 보여준다.
두 번째 문제는 지식에 대한 접근 제한이다. 공공 자금으로 수행된 연구 결과를 일반 시민과 독립 연구자, 가난한 대학의 학생들이 높은 비용 때문에 읽지 못하는 것은 부당하다는 비판이 제기됐다. 인터넷의 확산은 논문을 종이로 인쇄해 배송하지 않고도 누구에게나 제공할 수 있게 했다. 이러한 환경에서 공개 접근 운동이 성장했다.
공개 접근의 기본 정신은 타당하다. 연구 결과를 인터넷에서 누구나 무료로 읽을 수 있게 하면 지식의 불평등을 줄일 수 있다. 의사와 환자, 교사와 언론인, 기업과 시민이 최신 연구에 직접 접근할 수 있고, 연구자도 자신의 결과를 더 널리 공유할 수 있다.
하지만 독자가 비용을 내지 않는다면 출판 과정의 비용을 누가 부담할 것인지가 문제로 남는다. 많은 공개 접근 학술지는 논문이 승인된 뒤 저자나 소속 기관에 게재 비용을 부과한다. 이 비용은 편집과 보관, 웹사이트 운영 등에 사용되며, 정상적인 공개 접근 학술지에서는 비용을 지급했다고 해서 심사를 면제받는 것은 아니다.
문제는 연구자가 돈을 지급하는 구조가 악용될 수 있다는 데 있다. 논문을 많이 게재할수록 수익이 늘어나므로, 일부 출판사는 연구의 질보다 게재 편수를 우선할 수 있다. 더 나아가 학술지의 외형만 만든 뒤 실질적인 동료 평가 없이 원고를 출판하는 사업이 가능해졌다.
이러한 약탈적 학술지는 연구자들에게 이메일을 보내 원고 제출을 요청한다. 수신자의 실제 연구 분야와 무관하게 학술대회 발표와 논문 게재를 권유하기도 한다. 저자 역시 연구 활동을 중단한 뒤에도 여러 학술지로부터 원고를 보내달라는 연락을 받았다고 말한다. 정상적인 학술지도 특별호를 기획하면서 원고를 요청할 수 있으므로 청탁 이메일 자체만으로 가짜를 확정할 수는 없다. 그러나 지나치게 아첨하는 표현과 비현실적으로 짧은 심사 기간, 연구 주제와 맞지 않는 요청은 의심할 만한 신호다.
약탈적 학술지는 제출된 원고가 동료 평가를 통과했다고 주장하며 웹사이트에 논문을 공개한다. 그 대가로 연구자에게 수천 유로에 이르는 비용을 청구할 수 있다. 정직한 연구자는 정상적인 학술지라고 믿고 돈을 잃으며, 자신의 연구 경력에도 피해를 입는다. 반대로 검증을 피하려는 사람은 돈을 주고 조작된 연구를 학술 논문의 형태로 출판할 수 있다.
✒️ 핵심 발췌
? “이들은 제출된 원고가 동료 심사를 거쳤다고 주장하고, 그 논문을 자신들의 웹 사이트에 공개한다. 이러한 서비스에 대해 연구자들에게는 실제 학술지와 유사한 금액, 즉 수천 유로에 달하는 비용이 청구된다. 제대로 된 심사를 거치지 않고 질이 낮거나 심지어 조작된 연구 결과를 발표하고 싶은 사람에게, 가짜 학술지의 존재는 과거에는 없었던 매우 근사한 기회를 제공한다.”
✍️ “약탈적 학술지는 정상적인 출판 비용과 동료 평가의 외형을 모방하지만 실제 검증은 수행하지 않는다. 그 결과 정직한 연구자는 사기의 피해자가 되고, 부정한 연구자는 돈으로 학술적 권위를 살 수 있게 된다.”
➡️ 공개 접근 자체가 문제가 아니라 검증과 수익의 관계가 뒤집힌 것이 문제다. 논문을 엄격하게 심사한 뒤 비용을 받는 것이 아니라, 비용을 받기 위해 논문을 승인할 때 출판은 지식 검증이 아니라 상품 판매가 된다.
모든 공개 접근 학술지를 약탈적이라고 보는 것은 잘못이다. 저자는 자신이 편집자로 참여했던 학술지 역시 공개 접근 방식을 사용했지만 엄격한 심사 절차를 유지했다고 밝힌다. 독자가 무료로 논문을 읽을 수 있다는 사실과 심사가 부실하다는 사실은 서로 직접적인 관련이 없다.
따라서 연구자가 출판 비용을 냈다는 이유만으로 논문을 불신해서는 안 된다. 학술지가 비용과 심사 절차를 투명하게 공개하는지, 편집진이 실제 연구자인지, 출판사와 학술지의 연락처가 명확한지, 논문의 철회와 수정 절차가 마련되어 있는지를 함께 살펴야 한다.
약탈적 학술지를 걸러내기 위해 여러 방안이 시도됐다. 대표적인 사례가 사서이자 연구자인 제프리 빌이 만든 목록이다. 그는 문제가 있는 것으로 판단한 학술지와 출판사를 공개하고 약탈적 학술지라는 표현을 널리 알렸다. 이 목록은 연구자들이 의심스러운 출판사를 피하는 데 도움을 주었다.
그러나 목록 방식에는 한계가 있다. 어떤 학술지를 가짜로 분류할지 결정하는 기준을 둘러싼 논쟁이 발생할 수 있으며, 새로 생긴 학술지가 단지 경험이 부족하다는 이유로 부당하게 포함될 수도 있다. 출판사는 이름과 주소를 바꾸거나 새로운 웹사이트를 만들어 목록을 피할 수 있다. 목록을 지속적으로 갱신하려면 막대한 시간과 전문성이 필요하다. 결국 빌의 목록은 폐쇄됐고, 가짜 학술지를 판별해주는 단일하고 완전한 명부는 존재하지 않게 되었다.
이로 인해 저자는 독자가 몇 가지 경고 신호를 직접 확인해야 한다고 말한다. 첫째, 학술지 이름이 유명 학술지와 지나치게 비슷하지 않은지 살펴야 한다. 약탈적 출판사는 신뢰받는 학술지의 이름에서 단어 하나만 바꾸거나 국제, 세계, 유럽과 같은 표현을 붙여 권위를 모방할 수 있다.
둘째, 학술지가 다루는 주제 범위가 지나치게 넓은지 확인해야 한다. 한 학술지가 의학과 공학, 경제학과 문학을 모두 다루면서 며칠 안에 전문가 심사를 끝내겠다고 주장한다면 실제로 분야별 검토자를 확보하고 있을 가능성은 낮다.
셋째, 편집위원회에 실재하는 연구자들이 참여하고 있는지 살펴봐야 한다. 약탈적 학술지는 유명 학자의 이름을 허락 없이 올리거나 존재하지 않는 인물을 편집자로 제시할 수 있다. 편집자의 대학이나 연구기관 홈페이지에서 실제 참여 여부를 확인하는 방법이 도움이 된다.
넷째, 원고 제출 직후 게재를 보장하거나 지나치게 짧은 기간 안에 심사가 완료된다고 약속하는지 확인해야 한다. 정상적인 동료 평가는 검토자를 찾고 평가를 받고 수정하는 데 상당한 시간이 걸린다. 빠른 심사 자체가 사기의 증거는 아니지만, 복잡한 연구를 며칠 만에 수락하겠다는 약속은 의심스럽다.
다섯째, 학술지의 기존 논문을 직접 열어봐야 한다. 문법이 심각하게 틀리거나 도표와 참고 문헌이 부정확하고, 논문의 주제가 학술지 범위와 무관하며, 저자의 소속이 확인되지 않는다면 검토가 제대로 이루어지지 않았을 가능성이 있다. 가짜 학술지는 웹사이트의 첫 화면은 정교하게 만들 수 있지만, 많은 논문의 세부 내용을 일관되게 관리하기는 어렵다.
가짜 연구의 생산 방식도 점차 전문화되고 있다. 논문 공장은 돈을 받고 가짜 데이터와 그림, 통계 분석을 포함한 완성된 원고를 제작한다. 연구 실적이 승진과 취업, 학위 취득에 중요한 환경에서는 실제 연구를 수행하지 않고 논문을 구매하려는 수요가 생길 수 있다. 이미 작성된 논문의 저자 자리를 판매하기도 하며, 논문 내용과 전혀 관련 없는 사람이 비용을 내고 공동 저자로 등록될 수 있다.
이러한 거래는 학술 논문의 기본적인 책임 구조를 무너뜨린다. 논문의 저자는 연구 설계와 자료 수집, 분석과 해석에 기여하고 내용에 책임을 져야 한다. 그러나 저자 자리가 상품이 되면 누가 실제로 연구를 수행했는지 알 수 없고, 오류나 조작이 발견돼도 책임자를 확인하기 어렵다.
논문 공장은 여러 논문에서 같은 그림을 조금씩 회전하거나 색을 바꾸어 재사용하고, 서로 다른 실험의 결과인 것처럼 제시할 수 있다. 이미지 분석 기술을 사용하면 반복되는 패턴을 발견할 수 있지만, 수많은 논문을 사람이 일일이 확인하기는 어렵다. 허위 연구를 만드는 속도가 검증하는 속도보다 빨라질 위험이 있다.
생성형 인공지능은 이러한 비대칭을 더 크게 만든다. 과거에는 가짜 논문을 만들기 위해 전문용어와 논문 구조를 어느 정도 알아야 했다. 이제는 인공지능에게 특정 주제의 초록과 방법론, 결과를 작성하게 하고 도표까지 생성하도록 요청할 수 있다. 생성된 내용이 사실인지 검증하는 능력이 없는 사람도 그럴듯한 논문을 대량으로 만들 수 있다.
저자가 소개하는 사례에서는 인공지능으로 생성된 것으로 보이는 생물학 그림이 논문에 그대로 실렸다. 그림 속 동물의 신체 구조는 터무니없이 잘못되어 있었고, 세포와 조직에 붙은 이름도 실제 과학용어가 아니었다. 쥐를 가리키는 단어 하나를 제외하면 그림 전체가 과학적으로 의미 없는 조합에 가까웠다.
✒️ 핵심 발췌
? “여러 부위에는 테스트톰셀이나 용해된과 같이 터무니없이 엉터리인 이름들이 붙어 있었다. 이 자료가 사실이 아님을 파악하는 데는 10초도 걸리지 않는다. 그런데 이런 것이 어떻게 동료 평가를 통과했을까?”
✍️ “기초적인 과학 지식만 있어도 오류를 알아볼 수 있는 그림이 정식 논문에 포함되었다. 이는 가짜 자료의 정교함보다 검토 체계의 무관심과 책임 회피가 더 심각한 문제임을 보여준다.”
➡️ 가짜 연구가 성공하는 이유가 언제나 정교한 속임수에 있는 것은 아니다. 편집자와 검토자, 출판사가 각자 다른 사람이 확인했을 것이라고 생각하면 명백한 오류조차 아무런 저항 없이 통과할 수 있다.
문제가 된 논문의 검토자가 확인되자 그는 그림까지 살펴볼 책임이 자신에게 없었다고 주장했다. 저자는 이 반응에서 현재의 동료 평가가 가진 책임의 공백을 발견한다. 저자는 자료의 정확성은 저자의 책임이라고 말할 수 있고, 검토자는 자신이 맡은 부분만 평가했다고 말할 수 있으며, 편집자는 전문가의 판단을 따랐다고 주장할 수 있다. 출판사는 과학적 검토는 연구 공동체가 담당했다고 말한다.
모든 참여자가 절차의 일부만 책임진다고 생각하면 논문 전체를 책임지는 사람은 사라진다. 정상적인 연구에서는 역할 분담이 효율성을 높이지만, 가짜 연구 앞에서는 책임을 분산시키는 장치로 작동할 수 있다. 저자는 동료 평가를 신뢰하려면 각 검토자가 자신의 전문 영역뿐 아니라 논문의 기본적인 일관성과 자료의 명백한 이상까지 확인해야 한다고 본다.
생성형 인공지능을 무조건 금지하는 것으로는 문제를 해결하기 어렵다. 인공지능은 문법을 교정하고 번역을 돕고, 복잡한 자료에서 이상 패턴을 찾아내는 데도 사용할 수 있다. 가짜 이미지를 탐지하고 여러 논문에서 반복되는 문장과 도표를 발견하는 능력 역시 발전할 수 있다.
따라서 핵심은 인공지능을 사용했는지 여부가 아니라 어떤 방식으로 사용했으며 인간이 결과를 얼마나 검증했는지에 있다. 연구자가 인공지능의 도움을 받았다면 그 범위를 공개하고, 생성된 문장과 자료의 정확성에 책임을 져야 한다. 학술지와 출판사는 인공지능 사용에 관한 명확한 기준과 검증 도구를 마련해야 한다.
저자는 대부분의 과학자가 가짜 연구에 쉽게 속지 않는다고 말한다. 연구자는 자신이 활동하는 분야의 주요 학술지와 연구자, 일반적인 방법과 용어를 알고 있기 때문에 이상한 내용을 더 빨리 발견할 수 있다. 그러나 전공이 다른 분야의 논문을 읽거나 언론과 일반 독자가 자료를 접할 때는 이러한 배경지식이 부족하다.
따라서 논문 한 편의 진위를 혼자 완벽하게 판별하려고 하기보다 과학 공동체의 여러 신호를 함께 확인해야 한다. 연구가 신뢰받는 자료 검색 체계에 포함되어 있는지, 같은 분야의 다른 연구에서 인용되고 검토되었는지, 학술지와 출판사가 오랜 기간 운영되었는지, 논문에 대한 비판이나 철회가 있는지를 살펴보는 것이 좋다.
논문 철회는 해당 연구가 더 이상 신뢰할 수 없음을 공식적으로 알리는 조치다. 조작과 표절뿐 아니라 심각한 오류가 발견되었을 때도 철회될 수 있다. 철회된 논문이 인터넷에서 완전히 사라지는 것은 아니므로, 제목만 검색해 내용을 인용하면 문제가 된 자료를 계속 퍼뜨릴 수 있다. 논문의 현재 상태와 학술지의 공지까지 확인해야 한다.
그러나 철회 논문이 존재한다는 사실을 과학 전체의 실패로 보아서는 안 된다. 잘못된 연구를 발견하고 공개적으로 수정하는 과정은 과학이 스스로 오류를 바로잡는 방식이기도 하다. 더 큰 문제는 오류가 발견됐는데도 기록을 남기지 않거나, 출판사의 체면과 경제적 이해관계 때문에 철회를 미루는 것이다.
이 장의 결론은 과학적 권위를 표시하는 외형적 기호를 맹신하지 말라는 것이다. 학술지에 실렸다는 사실과 동료 평가를 받았다는 문구, 전문용어와 복잡한 통계는 신뢰를 높이는 요소일 수 있지만 절대적인 보증은 아니다. 실제 신뢰성은 연구 방법과 자료의 공개, 독립적 검토와 재현, 편집진과 출판사의 책임 있는 행동을 통해 판단해야 한다.
동시에 가짜 논문의 존재를 이유로 모든 과학적 연구를 의견에 불과하다고 치부해서도 안 된다. 위조지폐가 존재한다고 해서 화폐 전체가 무의미해지는 것은 아니다. 오히려 진짜 화폐를 판별하는 제도와 기술이 더 중요해진다. 가짜 연구의 증가는 과학을 포기해야 할 이유가 아니라 과학의 검증 구조를 더 투명하고 강하게 만들어야 할 이유다.
✨ 해설과 통찰
Chapter 15의 핵심은 지식의 신뢰가 문서의 형태가 아니라 제도적 과정에서 나온다는 점이다. 논문이라는 형식은 그 자체로 진실을 담보하지 않는다. 연구 질문과 데이터, 방법과 해석이 공개되고 독립적인 비판을 거치며, 오류가 발견됐을 때 수정될 수 있어야 비로소 과학적 권위를 갖는다.
사회학적으로 이 장은 신뢰가 어떻게 제도화되는지를 보여준다. 현대인은 모든 연구를 직접 재현할 수 없기 때문에 학술지와 대학, 동료 평가와 전문기관에 의존한다. 이러한 제도는 개인이 감당할 수 없는 검증을 대신 수행한다. 그러나 제도의 권위가 경제적 이익을 위한 상표로 판매되기 시작하면 신뢰는 쉽게 착취의 대상이 된다.
로버트 머턴이 설명한 과학의 규범 가운데 조직적 회의주의는 모든 주장이 비판의 대상이 되어야 한다는 원칙이다. 약탈적 학술지는 학술지와 동료 평가라는 외형을 유지하면서 바로 이 회의주의를 제거한다. 비용을 지불하면 비판 없이 출판할 수 있는 구조는 과학적 출판이 아니라 권위 인증서의 판매에 가깝다.
피에르 부르디외의 관점에서는 논문과 학술지의 권위가 학문적 자본으로 기능한다. 연구자는 논문 수와 학술지의 명성을 통해 일자리와 승진, 연구비를 얻는다. 이러한 평가 구조가 지나치게 수량화되면 실제 지식을 생산하는 것보다 출판 실적을 확보하는 것이 더 중요해질 수 있다. 논문 공장과 저자 자리 거래는 이러한 압력을 악용한 시장이다.
경제적 관점에서 보면 약탈적 출판은 정보 비대칭을 이용한다. 연구자는 학술지의 실제 심사 품질을 정확히 알기 어렵고, 독자는 연구자가 어떤 경로로 논문을 출판했는지 알기 어렵다. 판매자는 과학적 권위의 외형을 제공하지만 구매자와 독자는 그 내부의 검증 과정을 확인하기 어렵다. 이 때문에 투명한 비용 공개와 심사 기록, 편집진 정보가 중요하다.
인공지능의 등장은 이 문제를 양적인 차원으로 확대한다. 이전에는 허위 논문을 하나 만드는 데 상당한 시간과 기술이 필요했지만, 생성형 인공지능은 문장과 이미지, 도표를 빠르게 생산할 수 있다. 검증 체계가 그대로라면 가짜 자료의 생산량이 심사 능력을 압도할 수 있다. 따라서 미래의 과학적 문해력에는 인공지능이 만든 흔적을 발견하는 능력뿐 아니라 출처와 원자료를 확인하는 습관이 포함돼야 한다.
그러나 저자의 논의는 기술 비관론으로 귀결되지 않는다. 인공지능은 표절과 이미지 조작, 반복되는 자료와 비정상적인 문장 패턴을 찾는 데 사용할 수 있다. 가짜를 만드는 기술과 가짜를 발견하는 기술은 동시에 발전한다. 문제는 어느 기술이 더 강력한가가 아니라, 과학 공동체가 검증을 연구와 출판의 부수적인 업무가 아니라 핵심적인 공공 책임으로 취급하는가에 있다.
민주주의의 관점에서도 이 장은 중요하다. 정책과 법률, 의료와 환경 문제는 연구 결과에 의존한다. 가짜 논문이 공적 의사결정에 사용되면 허위정보는 개인의 오해를 넘어 사회적 피해를 만든다. 기업이나 정치집단이 자신에게 유리한 가짜 연구를 만들어 정책 토론에 투입할 가능성도 있다. 시민이 과학적 출처를 평가하는 능력은 전문적인 취미가 아니라 민주적 판단의 조건이 된다.
이 장이 요구하는 태도는 과학에 대한 맹신과 전면적 불신 사이의 중간 지점이다. 학술지에 실렸다는 이유만으로 내용을 사실로 받아들이지 않되, 가짜 논문이 있다는 이유로 모든 연구를 거부하지 않아야 한다. 신뢰는 자료와 절차에 따라 차등적으로 부여되어야 한다.
? 핵심 요약
1️⃣ 과학계에도 가짜 논문과 가짜 학술지, 논문 공장이 존재하며, 이들은 학술 연구의 외형을 모방해 허위정보에 전문적 권위를 부여한다.
2️⃣ 동료 평가는 느리고 불완전하지만 연구 방법과 해석을 독립적인 전문가의 비판에 노출시키는 현재까지 가장 중요한 품질 관리 절차다.
3️⃣ 공개 접근 출판은 과학 지식의 접근성을 높였지만, 저자가 비용을 부담하는 구조를 악용해 심사 없이 논문을 게재하는 약탈적 학술지가 성장할 여지도 만들었다.
4️⃣ 가짜 학술지를 판별하려면 출판사와 편집진의 실재 여부, 심사 기간과 비용의 투명성, 기존 논문의 품질, 철회와 수정 절차를 함께 확인해야 한다.
5️⃣ 생성형 인공지능은 가짜 논문의 대량 생산을 쉽게 만들지만, 동시에 조작과 반복 패턴을 탐지하는 도구가 될 수 있으므로 사용 공개와 인간의 최종 검증이 중요하다.
? 비교·확장
로버트 머턴의 과학 규범은 이 장의 문제를 이해하는 중요한 기준을 제공한다. 과학적 지식은 공동체에 공개되어야 하고, 연구자의 지위보다 증거에 따라 평가되어야 하며, 모든 주장은 조직적인 의심과 검토를 받아야 한다. 약탈적 학술지는 공개성과 전문성의 외형을 취하지만 비판적 검토를 생략함으로써 과학의 핵심 규범을 훼손한다.
피에르 부르디외의 학문장 이론은 논문 실적이 어떻게 권력과 자원이 되는지를 보여준다. 연구자는 더 많은 논문과 인용, 유명 학술지 게재를 통해 학문적 지위를 얻는다. 이러한 경쟁은 연구의 질을 높이는 동력이 될 수도 있지만, 수량 중심의 평가와 결합하면 가짜 논문과 저자 자리 거래를 유발할 수 있다.
해리 프랭크퍼트가 구분한 거짓말과 헛소리의 차이도 이 장에 적용할 수 있다. 거짓말쟁이는 진실을 알면서 감추려 하지만, 헛소리를 하는 사람은 진실 여부 자체에 무관심하다. 많은 가짜 논문은 특정한 사실을 치밀하게 반박하려는 것이 아니라 출판 실적과 수익을 얻기 위해 그럴듯한 문장을 생산한다. 진실에 대한 무관심이 과학적 형식과 결합한 셈이다.
나심 니컬러스 탈레브가 강조한 책임의 원칙도 연결된다. 주장으로 이익을 얻는 사람이 그 오류의 비용을 부담하지 않는 구조에서는 무책임한 정보가 늘어난다. 가짜 논문을 판매한 출판사와 저자 자리를 구매한 사람, 심사를 형식적으로 수행한 검토자가 오류로 인한 사회적 피해를 부담하지 않는다면 같은 문제가 반복될 가능성이 크다.
현대적인 확장은 인공지능이 생성한 연구 자료의 책임 문제다. 인공지능은 저자가 아니며 오류에 책임질 수도 없다. 따라서 인공지능을 사용한 연구자는 생성된 문장과 분석, 그림의 정확성을 직접 확인해야 한다. 도구가 만들었다는 이유로 책임이 사라지는 것이 아니라, 확인해야 할 책임이 더 커진다.
? 연결 독서 제안
✔️ Stuart Ritchie, Science Fictions
✔️ Ben Goldacre, Bad Science
✔️ Naomi Oreskes, Why Trust Science
✔️ Harry Frankfurt, On Bullshit
? 사유를 여는 질문
❓ 학술지와 동료 평가의 외형을 신뢰할 수 없다면, 과학적 권위를 판단하는 최종 기준은 무엇이어야 하는가?
❓ 연구 실적을 논문의 수와 인용 횟수로 평가하는 제도가 가짜 연구의 시장을 키우고 있는 것은 아닌가?
❓ 인공지능이 작성하거나 생성한 연구 자료에서 오류가 발견될 경우, 저자와 검토자, 학술지 가운데 누가 가장 큰 책임을 져야 하는가?
? Chapter 16. We Consider All Studies Equally Trustworthy | 우리는 모든 연구를 똑같이 신뢰할 수 있다고 여긴다
✅ 장 개요
Chapter 16은 이 책의 마지막 문제 장으로서, 과학적 자료를 찾고 읽는 능력만으로는 충분하지 않다는 사실을 보여준다. 진짜 학술지에 실린 정상적인 연구라 하더라도 모든 연구가 같은 수준의 증거를 제공하는 것은 아니다. 전문가의 논평과 한 사람의 사례 보고, 관찰 연구와 무작위 대조 연구, 체계적 문헌 고찰과 메타 분석은 각각 다른 방법으로 만들어지며, 그에 따라 결론의 신뢰도와 적용 범위도 달라진다.
저자는 버터와 치즈, 소금과 당근, 양파를 비롯한 일상적인 식재료에 관한 연구를 사례로 든다. 개별 연구를 찾아보면 거의 모든 식재료가 암을 유발한다는 결과와 암을 예방한다는 결과를 동시에 발견할 수 있다. 각각의 논문이 조작되었기 때문이 아니다. 연구 대상과 측정 방식, 표본과 분석 조건이 다르고 우연한 결과도 섞여 있기 때문이다. 개별 논문을 하나씩 선택해 인용하면 무엇이든 과학적으로 입증된 것처럼 주장할 수 있다.
이 혼란을 줄이기 위해 저자는 신뢰의 피라미드라고 불리는 증거의 위계를 소개한다. 피라미드의 아래에는 검증 가능한 데이터를 직접 제시하지 않는 전문가 논평이 놓인다. 중간에는 실제 자료를 수집하는 사례 연구와 대조 연구, 무작위 대조 연구가 위치한다. 가장 위에는 여러 연구를 체계적으로 검색하고 비교하는 체계적 문헌 고찰과, 여러 연구의 자료를 통계적으로 결합하는 메타 분석이 놓인다.
전문가의 말이 피라미드 아래쪽에 있다는 사실은 역설적으로 보인다. 그러나 전문가는 특정 분야에 관한 풍부한 지식을 가지고 있어도 자신의 논평에서 새로운 자료를 제시하지 않을 수 있다. 전문적 의견은 더 나은 판단의 출발점이 될 수 있지만, 개인의 해석과 가정에 영향을 받으며 독립적으로 검증된 사실 그 자체는 아니다. 코로나바이러스 초기의 격리 조치에 관한 전문가 논평은 불확실한 자료 위에서 얼마나 단정적인 판단이 내려질 수 있는지를 보여준다.
사례 연구는 새로운 질병이나 특이한 치료 반응을 처음 발견하는 데 중요하지만, 한 사람에게 일어난 일이 다른 사람에게도 일어날 것이라고 보장하지 않는다. 대조 연구는 한 집단의 결과를 다른 집단과 비교함으로써 사례 연구의 한계를 보완한다. 그중에서도 참가자를 무작위로 실험군과 대조군에 배정하고 가능하면 참가자와 연구자 모두가 집단 배정을 모르게 하는 무작위 대조 연구는 인과관계를 확인하는 데 매우 강력한 방법으로 평가된다.
그러나 무작위 대조 연구도 모든 질문에 사용할 수 있는 것은 아니다. 위험한 물질을 일부러 사람에게 투여하거나 해로운 생활 습관을 강제로 유지하게 할 수는 없다. 윤리와 현실의 제약으로 인해 관찰 연구에 의존해야 하는 분야가 존재한다. 더구나 정교하게 수행된 무작위 대조 연구들끼리도 서로 다른 결과를 내놓을 수 있다. 따라서 연구 유형의 위계만 확인하는 것으로 판단을 끝낼 수 없다.
피라미드의 최상단에 있는 체계적 문헌 고찰은 관련된 기존 연구들을 미리 정한 기준에 따라 검색하고, 각 연구의 품질을 평가하며, 서로 다른 결론이 나온 이유를 비교한다. 메타 분석은 여러 연구의 결과나 원자료를 통계적으로 결합해 개별 연구보다 안정적인 결론을 얻으려 한다. 이러한 연구 역시 항상 옳은 것은 아니지만, 현재 이용 가능한 증거 전체를 파악하려 할 때 가장 좋은 출발점이 된다.
저자는 마지막으로 전문가가 쓴 책의 지위도 냉정하게 평가한다. 책은 새로운 자료를 직접 생산하거나 자체 실험을 검증받는 형식이 아니다. 따라서 이 책을 포함한 전문 교양서는 독자가 문제의 구조와 연구의 맥락을 이해하도록 돕는 안내서이지, 그 자체가 과학적 사실을 확정하는 최상위 증거는 아니다. 저자의 주장까지도 출처와 연구 방법에 비추어 판단해야 한다는 자기비판적 결론이다.
? 상세 설명
저자는 가짜 논문과 약탈적 학술지를 피하는 법을 이해했다고 해서 과학적 사실의 문제를 모두 해결한 것은 아니라고 말한다. 조작되지 않은 정상적인 연구도 틀릴 수 있으며, 연구마다 제공하는 증거의 힘이 다르기 때문이다. 과학적 자료를 평가할 때 논문인가 아닌가만을 구분하는 이분법은 충분하지 않다. 논문 내부에서도 연구 설계와 표본, 대조 조건과 분석 방식에 따라 신뢰도의 차이가 존재한다.
사람들이 모든 연구를 비슷하게 받아들이는 이유는 학술 논문의 외형이 동일하기 때문이다. 논문 제목과 초록, 표와 그래프, 참고 문헌이 갖추어져 있으면 각각의 연구가 같은 절차를 통과하고 같은 정도의 확실성을 제공하는 것처럼 보인다. 언론 기사에서도 연구 설계의 차이는 생략되고 연구 결과가 밝혀졌다는 표현만 남는 경우가 많다.
그러나 한 명의 환자에게서 나타난 특이한 증상과 수천 명을 무작위로 나누어 비교한 임상시험은 같은 종류의 증거가 아니다. 한 전문가가 자신의 경험을 바탕으로 제시한 논평과 관련 연구 전체를 체계적으로 검토한 분석도 같은 무게로 평가할 수 없다. 과학적 판단에서 중요한 것은 자료가 존재한다는 사실만이 아니라 어떤 방식으로 자료가 만들어졌는지를 파악하는 것이다.
저자가 소개하는 식재료와 암의 관계에 관한 분석은 개별 연구를 무차별적으로 인용할 때 생기는 혼란을 보여준다. 연구자들은 요리법에 자주 사용되는 50가지 재료를 선택해 각 재료가 암 발생 또는 암 예방과 관련된 연구가 있는지 조사했다. 그 결과 대부분의 식재료에 대해 위험을 증가시킨다는 연구와 위험을 낮춘다는 연구가 모두 존재했다.
✒️ 핵심 발췌
? “의학 연구들이 얼마나 자주 서로 상반되는 주장을 하는지를 보여주는 재미있는 예가 있다. 연구자들이 버터, 치즈, 소금, 당근, 양파 등 요리법에 자주 쓰이는 50가지 일반 식재료에 관한 연구를 모아 분석한 결과다. 결론은 놀라웠다. 우리가 먹는 대부분의 식재료가 암을 유발하기도 하고, 반대로 예방하기도 한다는 것이다.”
✍️ “일상적인 식품에 관한 개별 연구를 선택적으로 살펴보면 거의 모든 재료가 위험하면서 동시에 유익하다는 결론을 만들 수 있다. 문제는 모든 연구가 거짓이라는 데 있지 않고, 개별 결과를 전체 증거와 분리해 받아들이는 데 있다.”
➡️ 하나의 논문만을 근거로 삼으면 연구자가 처음 발견한 작은 차이와 우연한 결과, 특정한 표본에서만 나타나는 효과를 일반적인 사실로 확대하기 쉽다. 서로 반대되는 연구가 존재할 때 어느 한쪽을 선택하는 것은 과학적 판단이 아니라 자신의 결론에 맞는 자료를 고르는 행위가 될 수 있다.
이 사례는 연구가 복잡한 현실을 제한된 조건에서 측정한다는 사실을 보여준다. 같은 식재료라도 섭취량과 조리법, 연구 참가자의 나이와 건강 상태, 함께 먹은 음식과 생활 습관에 따라 결과가 달라질 수 있다. 암이라는 결과 자체도 하나의 질환이 아니라 여러 종류의 질병을 포함한다. 연구마다 서로 다른 암과 섭취 조건을 조사했다면 결과가 다르게 나오는 것은 이상하지 않다.
작은 효과를 다루는 연구에서는 우연의 영향도 커진다. 어떤 식품을 먹은 집단에서 특정 암의 발생률이 조금 높게 나타났더라도, 그것이 식품 자체의 영향인지 다른 생활 습관의 영향인지 분명하지 않을 수 있다. 여러 요인을 통계적으로 조정해도 측정되지 않은 차이가 남을 수 있다. 따라서 개별 연구가 통계적으로 유의미한 결과를 보고했다는 사실과 실제로 인과관계가 확립됐다는 주장은 구분해야 한다.
이러한 혼란을 정리하기 위해 저자는 증거의 위계를 제시한다. 그는 이를 세 개의 큰 층으로 단순화한다. 가장 아래에는 데이터를 직접 제시하지 않는 논평과 의견이 있고, 중간에는 사례 연구부터 무작위 대조 연구까지 실제 자료를 수집한 연구가 있다. 가장 위에는 기존 연구들을 선별하고 비교하며 종합한 정보가 있다.
✒️ 핵심 발췌
? “우리는 모든 연구를 똑같이 신뢰할 수 있다고 여긴다. 이를 해결할 수 있는 방법 중 하나가 신뢰의 피라미드라고 알려진 증거의 위계다. 이 피라미드는 학술 출판물의 신뢰도를 순위별로 보여준다.”
✍️ “과학적 자료에는 연구 설계에 따른 신뢰도의 차이가 존재한다. 증거의 위계는 어떤 자료가 더 많은 검증을 거쳤으며 어떤 자료가 개인적 해석과 우연에 더 취약한지를 한눈에 보여준다.”
➡️ 피라미드는 논문의 명성을 평가하는 표가 아니다. 연구자가 어떤 방식으로 질문을 검증했는지에 따라 오류와 편향이 줄어드는 정도를 나타내는 방법론적 지도다.
가장 아래쪽에 전문가 논평이 놓인다는 사실은 많은 독자에게 낯설게 느껴질 수 있다. 전문가는 오랫동안 한 분야를 연구했고 일반인보다 훨씬 많은 지식을 알고 있다. 따라서 전문가의 판단을 가장 높은 수준의 증거라고 생각하기 쉽다.
그러나 전문가의 논평은 대개 새로운 자료를 수집하지 않는다. 이미 알려진 사실과 자신의 경험을 바탕으로 상황을 해석하고 의견을 제시한다. 이 의견은 충분히 합리적일 수 있으며 비전문가의 생각보다 정확할 가능성도 높다. 그럼에도 전문가 개인의 가정과 선호, 자신이 중요하다고 생각하는 자료의 선택에 영향을 받을 수 있다.
전문가는 자신의 전공 안에서도 틀릴 수 있다. 새로운 질병처럼 자료가 부족한 상황에서는 전문성이 불확실성을 완전히 제거하지 못한다. 저자는 식재료와 암을 분석한 연구자 가운데 한 사람이 코로나바이러스 팬데믹 초기에 격리 조치와 예상 사망자에 관한 의견을 공개한 사례를 언급한다. 그는 당시 이용할 수 있던 자료를 검토했지만 잘못된 가정을 사용했고, 이후의 상황은 그의 예측과 다르게 전개됐다.
✒️ 핵심 발췌
? “가장 신뢰할 수 없는 학술 정보라 할 수 있는 맨 아래층인 데이터 없는 논문에서는 전문가 논평을 찾아볼 수 있다. 그럼에도 불구하고, 이와 같은 논평도 개인적인 의견에 불과하다. 게다가 모든 의견은 사실에 근거하고, 또 근거해야 하겠지만, 그것 자체가 검증 가능한 사실은 아니다.”
✍️ “전문가의 의견은 지식에 근거하므로 중요한 참고 자료가 될 수 있다. 그러나 새로운 자료를 통해 직접 검증된 결과가 아니라 한 사람이 기존 사실을 해석한 판단이라는 점을 잊어서는 안 된다.”
➡️ 저자는 전문가를 무시하라고 말하지 않는다. 전문가의 말이 어떤 자료와 가정에 근거하는지 구분하고, 논평을 최종 증거가 아니라 잠정적인 해석으로 받아들이라고 요구한다.
전문가 의견을 낮은 층에 둔 것은 과학의 반권위주의적 특성을 보여준다. 과학적 주장의 힘은 말한 사람의 지위보다 검증 방법에서 나와야 한다. 노벨상 수상자나 유명한 교수가 말했다는 사실은 주장의 출처를 알려줄 뿐 그 주장 자체를 입증하지 않는다.
그렇다고 전문가와 비전문가의 의견을 똑같이 취급해야 한다는 뜻은 아니다. 전문가는 관련 문헌과 방법의 한계를 더 잘 알고 있으며, 새로운 연구가 기존 지식과 얼마나 일치하는지 판단할 능력을 갖는다. 다만 그 전문성은 추가적인 신뢰의 이유이지 검증을 면제하는 절대적 권위가 아니다.
피라미드의 중간층에서 처음 등장하는 연구는 사례 연구다. 사례 연구는 한 사람이나 소수의 대상에서 관찰된 특이한 현상을 상세히 기록한다. 새로운 질병의 첫 증상이나 알려지지 않은 약물 부작용, 드문 치료 반응이 사례 연구를 통해 발견될 수 있다.
사례 연구는 과학적 발견의 출발점으로 매우 중요하다. 아무도 알지 못했던 현상이 처음 관찰됐을 때 대규모 실험을 곧바로 실시할 수는 없다. 의사가 한 환자의 특이한 증상을 자세히 보고함으로써 다른 의사들이 비슷한 사례를 발견하고 새로운 질병의 존재를 확인할 수 있다.
그러나 사례 연구는 일반화에 취약하다. 한 환자에게 효과가 있었던 치료법이 다른 환자에게도 효과가 있으리라는 보장은 없다. 그 사람에게만 존재하는 유전적 특성이나 생활환경, 다른 약물의 영향이 결과를 만들었을 수 있다. 사례 연구는 가능성을 보여주지만 그 가능성이 얼마나 흔하고 안정적인지는 알려주지 못한다.
✒️ 핵심 발췌
? “중하위 수준의 첫 번째 연구 유형은 사례 연구다. 예컨대, 새로운 질병이 처음으로 보고되거나, 새로운 약물이 시험적으로 사용되는 경우가 여기에 속한다. 이러한 유형의 연구는 매우 중요하지만, 개별 사례를 넘어서지 못할 위험이 있다.”
✍️ “사례 연구는 새로운 현상을 발견하는 데 탁월하지만 한 사람의 경험을 전체 집단의 규칙으로 바꾸기에는 부족하다. 발견의 시작점과 확립된 결론을 구분해야 한다.”
➡️ 언론에서는 극적인 개인 사례가 통계적 연구보다 더 설득력 있게 전달된다. 그러나 이야기가 생생하다는 사실과 일반적으로 적용할 수 있다는 사실은 다르다.
사례 연구보다 위에는 비교할 집단을 포함하는 대조 연구가 위치한다. 어떤 치료를 받은 사람들의 결과만 살펴보면 치료가 없었을 때 어떻게 되었을지 알 수 없다. 대조군을 두면 같은 기간에 치료받지 않았거나 다른 치료를 받은 집단과 결과를 비교할 수 있다.
대조군은 자연적인 회복과 시간의 흐름, 기대 효과와 다른 요인의 영향을 구분하는 데 도움을 준다. 예컨대 감기 환자가 특정 차를 마신 뒤 일주일 만에 나았다고 해도 차의 효과라고 단정할 수 없다. 대부분의 감기는 특별한 치료 없이도 그 정도의 시간이 지나면 호전되기 때문이다. 비슷한 환자 가운데 차를 마시지 않은 집단도 같은 속도로 회복했다면 치료 효과는 의심스러워진다.
그러나 대조 연구도 집단을 만드는 방식에 따라 편향될 수 있다. 치료를 자발적으로 선택한 사람은 선택하지 않은 사람보다 건강에 더 관심이 많거나 경제적으로 여유가 있을 수 있다. 결과의 차이가 치료 때문인지 원래 존재했던 집단의 차이 때문인지 구별하기 어려워진다.
이러한 문제를 줄이는 방법이 무작위 대조 연구다. 연구 참가자를 실험군과 대조군에 무작위로 배정하면 나이와 건강 상태, 생활 습관과 같은 특성이 두 집단에 비교적 고르게 분포할 가능성이 높아진다. 집단 사이의 체계적인 차이를 줄임으로써 관찰된 결과가 실제 개입 때문에 나타났다고 판단할 근거가 강화된다.
가능하다면 이중맹검도 사용된다. 참가자가 자신이 실제 치료를 받는지 위약을 받는지 모르게 하고, 연구자 역시 누가 어느 집단에 속하는지 모르게 한다. 참가자의 기대와 연구자의 무의식적인 태도가 측정과 평가에 영향을 미치는 것을 줄이려는 장치다.
✒️ 핵심 발췌
? “중간 단계의 가장 상위에는 무작위 대조 연구가 있다. 이 연구에서는 참가자들이 무작위로 실험군과 대조군에 배정되며, 이상적으로는 실험자도 참가자도 자신이 어떤 그룹에 속해 있는지 모르는 이중맹검 방식으로 진행된다. 이러한 연구 결과를 앞에 두고 있다면, 이미 꽤 신뢰할 만한 정보를 가진 셈이다.”
✍️ “무작위 배정과 이중맹검은 연구자의 기대와 참가자 집단의 차이가 결과에 개입하는 것을 줄인다. 그래서 특정 치료나 개입이 실제로 결과를 만들었는지 판단하는 데 강한 증거를 제공한다.”
➡️ 무작위 대조 연구의 힘은 참가자가 많다는 데만 있지 않다. 결과를 왜곡할 수 있는 다른 설명들을 연구 설계 단계에서 체계적으로 차단한다는 데 있다.
저자는 이전에 다룬 아기와 꿀의 사례를 다시 떠올린다. 어린아이에게 꿀을 먹이는 것이 위험한지를 확인하려고 일부 아기에게 의도적으로 꿀을 먹이는 실험은 윤리적으로 수행할 수 없다. 따라서 모든 질문을 무작위 대조 연구로 해결할 수는 없다.
흡연과 암의 관계도 같은 문제를 보여준다. 연구자가 참가자를 무작위로 나눈 뒤 수십 년 동안 한 집단에게 담배를 피우게 할 수는 없다. 이런 경우에는 실제 생활에서 흡연한 사람과 그렇지 않은 사람을 장기간 관찰하고 여러 다른 요인을 조정해야 한다. 무작위 실험보다 편향에 취약하지만 윤리적으로 가능한 최선의 방법이다.
사회정책과 교육 연구에서도 완전한 무작위 배정이 어려울 수 있다. 도시 전체의 제도나 학교의 정책을 연구할 때 사람들을 마음대로 이동시키고 환경을 통제할 수 없다. 따라서 증거의 위계는 낮은 단계의 연구가 무가치하다는 뜻으로 사용되어서는 안 된다. 질문의 성격과 윤리적 조건에 맞는 최선의 연구 설계를 선택해야 한다.
무작위 대조 연구라고 해서 언제나 같은 결과가 나오는 것도 아니다. 표본의 크기와 참가자의 특성, 치료 용량과 기간, 결과를 측정한 방식에 따라 결론이 달라질 수 있다. 우연한 차이도 남는다. 한 번의 연구가 잘 설계되었다고 해도 그 결과가 최종적인 진실을 보장하지는 않는다.
✒️ 핵심 발췌
? “하지만 여기에는 두 가지 어려움이 있다. 첫째, 우리가 아기에게 나쁜 꿀 사례에서 본 것처럼, 모든 주제에 대해 이런 방식의 연구를 수행하기란 불가능하다. 둘째, 심지어 무작위 대조 연구들조차 서로 상반되는 결과를 보일 수 있다.”
✍️ “강력한 연구 설계에도 적용할 수 없는 질문과 불확실성이 남아 있다. 따라서 잘 수행된 하나의 실험만으로 전체 증거를 대신할 수는 없다.”
➡️ 연구의 위계는 하나의 논문을 절대화하기 위한 도구가 아니다. 개별 연구의 한계를 인정하고 여러 결과를 종합해야 하는 이유를 설명하는 도구다.
이제 피라미드의 상위 영역인 선별된 정보로 이동한다. 여기에는 여러 연구를 검토하는 문헌 고찰이 포함된다. 저자는 문헌 고찰과 동료 평가가 서로 다른 개념이라는 점을 분명히 한다. 동료 평가는 논문이 출판되기 전에 전문가가 그 내용을 검토하는 절차이며, 문헌 고찰은 이미 발표된 여러 연구를 모아 현재의 지식 상태를 정리한 하나의 학술 논문이다.
비체계적 문헌 고찰은 전문가가 중요한 연구들을 선택해 분야의 흐름과 핵심 논점을 설명한다. 새로운 주제에 처음 접근하는 독자에게 유용한 안내서가 될 수 있다. 연구 역사를 이해하고 주요 개념과 쟁점을 빠르게 파악하는 데 적합하다.
그러나 어떤 연구를 포함할지가 저자의 판단에 크게 의존한다. 자신이 선호하는 가설을 지지하는 논문은 자세히 다루고 반대되는 연구는 생략할 수 있다. 고의적인 편향이 아니더라도 익숙한 논문과 유명한 연구만 선택하게 될 수 있다. 따라서 비체계적 문헌 고찰은 개별 연구보다 넓은 시야를 제공하지만 최상위 증거로 보기는 어렵다.
체계적 문헌 고찰은 이러한 선택의 자의성을 줄이기 위해 미리 정한 기준을 사용한다. 어떤 자료 검색 체계를 이용하고 어떤 검색어를 사용할지, 어떤 기간과 연구 유형을 포함할지, 어떤 이유로 연구를 제외할지를 공개한다. 다른 연구자가 같은 절차를 따르면 비슷한 논문 목록을 얻을 수 있어야 한다.
단순히 연구를 많이 모으는 것만으로는 충분하지 않다. 각 연구의 품질도 평가해야 한다. 무작위 배정이 제대로 이루어졌는지, 표본이 충분한지, 결과 측정이 신뢰할 만한지, 참가자가 중도에 빠져나간 비율이 높은지 등을 살펴본다. 신뢰도가 낮은 연구와 높은 연구를 같은 무게로 합치면 잘못된 결론이 더 강해질 수 있기 때문이다.
✒️ 핵심 발췌
? “신뢰의 피라미드 최상단에 위치한 제일 나은 형태의 평가는 체계적 문헌 고찰이다. 이 경우, 해당 분야의 기존 연구들이 단순히 나열되는 것이 아니라 비판적으로 분류되고 비교된다. 어떤 논문이 다른 논문보다 더 신뢰할 수 있는지, 그 이유는 무엇인지 분석한다.”
✍️ “체계적 문헌 고찰은 자신에게 편리한 연구만 선택하지 않고 공개된 기준으로 관련 자료를 찾는다. 이어 각각의 연구가 제공하는 증거의 품질을 따져 전체 결론을 구성한다.”
➡️ 과학적 합의는 논문의 수를 세는 다수결이 아니다. 연구 설계와 편향의 가능성을 평가한 뒤 더 강한 증거에 더 큰 무게를 부여하는 비판적 종합의 결과다.
체계적 문헌 고찰의 장점은 서로 다른 연구가 왜 다른 결과를 보였는지 확인할 수 있다는 데 있다. 특정 연령대에서만 효과가 나타났거나 치료 기간에 따라 결과가 달라질 수 있다. 표본이 작은 연구에서는 큰 효과가 나타났지만 대규모 연구에서는 효과가 줄어들 수도 있다. 이러한 차이를 비교하면 단순한 찬성과 반대를 넘어 효과가 나타나는 조건을 이해할 수 있다.
체계적 문헌 고찰 역시 자료의 한계에서 자유롭지 않다. 출판된 연구만을 검색하면 통계적으로 유의미하지 않은 결과와 실패한 연구가 빠질 수 있다. 연구자와 학술지는 긍정적이고 새로운 결과를 더 쉽게 출판하는 경향이 있기 때문이다. 공개되지 않은 연구를 찾지 못하면 실제 효과보다 긍정적인 방향으로 결론이 치우칠 수 있다.
검색 기준과 품질 평가 방법도 완전히 객관적일 수는 없다. 어떤 연구를 포함할지에 따라 결과가 달라질 수 있고, 서로 너무 다른 연구를 하나의 질문에 대한 자료로 묶는 것이 적절하지 않을 수도 있다. 따라서 체계적이라는 말이 자동적인 완전성을 의미하지는 않는다. 다만 선택과 평가 과정을 공개해 다른 사람이 검토할 수 있게 한다는 점에서 비체계적인 고찰보다 신뢰도가 높다.
신뢰의 피라미드 최상단에는 메타 분석이 놓인다. 메타 분석은 여러 연구의 결과를 통계적으로 결합해 전체적인 효과의 크기를 계산한다. 개별 연구의 표본이 작아 명확하지 않았던 차이가 여러 자료를 합쳤을 때 드러날 수 있다.
예를 들어 작은 임상시험 열 건이 각각 비슷한 방향의 효과를 보였지만 통계적으로 확실하지 않을 수 있다. 각 연구의 결과를 적절한 가중치로 결합하면 전체적으로 치료 효과가 존재하는지 더 정밀하게 판단할 수 있다. 일반적으로 표본이 크고 불확실성이 적은 연구에 더 큰 무게가 부여된다.
메타 분석은 발표된 숫자만을 합칠 수도 있고, 가능하다면 개별 참가자의 원자료를 확보해 다시 분석할 수도 있다. 원자료 분석은 각 연구에서 사용한 기준의 차이를 조정하고 동일한 방식으로 하위 집단을 비교할 수 있다는 장점이 있다. 그러나 연구자들이 자료를 공개하지 않았거나 오래된 자료가 사라졌다면 수행하기 어렵다.
✒️ 핵심 발췌
? “피라미드의 꼭대기에 있는 것은 메타 분석이다. 메타 분석은 원래 연구의 데이터를 다시 분석하는 것이다. 발표된 여러 연구 결과를 통계적으로 결합하거나, 여러 연구의 데이터를 합쳐야만 새로운 결과가 도출되기도 한다.”
✍️ “메타 분석은 개별 연구의 결론을 단순히 나열하지 않고 여러 자료를 하나의 통계적 틀에서 다시 평가한다. 작은 연구의 우연한 변동을 줄이고 전체 증거가 가리키는 방향을 더 정밀하게 보여준다.”
➡️ 메타 분석은 연구 수를 늘려 보이는 장식이 아니다. 서로 다른 연구의 표본 규모와 불확실성을 고려해 증거 전체의 효과를 다시 계산하는 독립적인 연구 과정이다.
메타 분석이 항상 옳은 것은 아니다. 포함된 연구의 품질이 낮으면 결과도 신뢰하기 어렵다. 잘못된 연구를 많이 합친다고 진실이 만들어지는 것은 아니다. 흔히 쓰이는 표현처럼 쓰레기를 넣으면 쓰레기가 나온다. 체계적 문헌 고찰에서 연구의 품질을 먼저 평가해야 하는 이유다.
연구들 사이의 차이가 너무 크면 하나의 평균 효과가 실제 상황을 가릴 수도 있다. 약물의 용량과 참가자의 질병 단계, 치료 기간과 결과 측정 방식이 모두 다른 연구를 무리하게 합치면 계산된 평균이 어떤 실제 환자에게도 적용되지 않을 수 있다. 좋은 메타 분석은 연구 간 차이를 확인하고 필요한 경우 하위 집단을 나누거나 통합을 포기한다.
출판편향도 문제가 된다. 긍정적인 결과만 출판되어 있다면 메타 분석은 이용 가능한 자료를 정확히 종합하더라도 실제 효과를 과대평가하게 된다. 연구 등록 자료와 학위논문, 출판되지 않은 결과까지 찾아보는 노력이 필요하다.
그럼에도 저자는 메타 분석과 체계적 문헌 고찰을 독립적인 과학적 사실에 접근하기 위한 가장 좋은 출발점으로 평가한다. 개별 연구 하나를 선택하는 것보다 여러 연구를 공개된 기준으로 비교하고 결합하는 편이 특정한 표본과 우연, 연구자의 기대에 덜 의존하기 때문이다.
✒️ 핵심 발췌
? “메타 연구가 더 신뢰할 수 있다는 사실은 모든 것이 암을 유발하고 보호한다라는 분석에서 개별 연구보다 훨씬 나은 결과를 냈다는 점에서도 드러난다. 요약하자면, 메타 분석이 항상 옳은 것은 아니지만 가능한 의견과 독립적인 과학적 사실을 얻기 위한 최선의 출발점이 될 수 있다는 것이다.”
✍️ “메타 분석은 오류가 없는 최종 판결이 아니다. 그러나 서로 충돌하는 개별 연구 가운데 전체 증거가 어느 방향을 가리키는지 판단하려면 가장 먼저 확인할 가치가 있는 자료다.”
➡️ 저자는 확실성을 약속하지 않는다. 더 강한 연구는 진리를 소유한 연구가 아니라 더 많은 오류 가능성을 점검하고 더 넓은 자료를 견딜 수 있는 연구다.
증거의 위계를 사용할 때 주의해야 할 점은 피라미드를 기계적으로 적용하지 않는 것이다. 잘 수행된 관찰 연구가 부실한 무작위 대조 연구보다 신뢰할 수 있으며, 정확한 사례 보고가 중요한 위험을 가장 먼저 발견할 수도 있다. 연구의 유형은 평가의 시작점이지 최종 판정이 아니다.
질문의 종류에 따라 적절한 연구 방법도 다르다. 치료 효과를 확인할 때는 무작위 대조 연구가 강력하지만, 매우 드문 부작용을 찾으려면 대규모 관찰 자료가 더 유용할 수 있다. 오랜 시간에 걸친 환경 노출과 질병의 관계는 임상시험보다 코호트 연구를 통해 살펴봐야 한다. 환자의 생생한 경험과 질병의 의미는 수치 중심의 연구만으로 충분히 이해되지 않을 수 있다.
따라서 피라미드는 아래쪽 연구를 무시하라는 명령이 아니다. 사례 연구는 질문을 만들고, 관찰 연구는 현실의 패턴을 발견하며, 무작위 대조 연구는 인과관계를 시험하고, 체계적 문헌 고찰과 메타 분석은 결과를 종합한다. 서로 다른 연구는 경쟁 관계라기보다 지식 형성 과정에서 다른 역할을 수행한다.
언론과 대중 담론에서는 이러한 차이가 자주 사라진다. 새로운 연구 하나가 발표될 때마다 기존 상식이 뒤집혔다는 제목이 붙는다. 오늘은 커피가 건강에 좋다고 하고 다음 날에는 해롭다고 말하는 것처럼 보인다. 실제로는 서로 다른 집단과 섭취량, 결과를 조사한 연구일 수 있으며 전체 연구의 방향은 크게 변하지 않았을 수도 있다.
새로운 연구 한 편이 기존의 체계적 문헌 고찰과 반대되는 결과를 제시한다고 해서 과학적 합의가 즉시 뒤집히지는 않는다. 기존 결론을 바꾸려면 새로운 연구가 매우 강력한 방법을 사용하고, 다른 연구에서 반복되며, 전체 자료를 다시 종합했을 때도 같은 방향이 나타나야 한다.
반대로 오래된 메타 분석도 영원한 기준은 아니다. 새로운 대규모 연구가 추가되면 결론이 달라질 수 있고, 과거에 포함된 연구에서 오류나 조작이 발견될 수도 있다. 과학적 합의는 고정된 신조가 아니라 현재까지 가장 높은 수준의 증거를 종합한 잠정적 결론이다.
저자는 독자에게 학술 자료를 찾을 때 검색 결과의 첫 논문을 선택하지 말고 연구 유형을 확인하라고 권한다. 가능하다면 체계적 문헌 고찰과 메타 분석부터 찾아 전체 흐름을 파악하고, 그 안에서 중요한 개별 연구를 확인하는 순서가 더 효율적이다.
전문가의 조언을 들을 때도 그 사람이 무엇을 근거로 말하는지 물어야 한다. 개인적 경험인지, 한 편의 연구인지, 여러 연구를 종합한 지침인지에 따라 신뢰의 정도를 달리해야 한다. 전문가가 불확실성을 밝히고 반대되는 결과를 함께 설명하는지도 중요한 판단 기준이다.
장 마지막에서 저자는 독자가 들고 있는 이 책과 같은 전문 교양서의 위치를 언급한다. 책은 다양한 연구를 연결하고 복잡한 개념을 이해하기 쉽게 설명한다. 저자의 경험과 관점을 통해 자료의 의미를 보여준다는 점에서 매우 유용하다.
그러나 책은 대부분 새로운 실험 결과를 직접 제시하지 않는다. 학술 논문과 같은 동료 평가를 거치지 않을 수도 있으며, 저자가 선택한 사례와 연구에 의해 논지가 구성된다. 책의 문장이 설득력 있고 저자가 전문가라고 해서 그 주장이 곧바로 최상위 증거가 되는 것은 아니다.
이러한 자기제한은 책 전체의 메시지와 일치한다. 저자는 독자에게 자신의 설명을 맹목적으로 받아들이라고 요구할 수 없다. 오히려 출처를 확인하고, 연구 설계와 증거의 수준을 살피며, 더 나은 자료가 등장하면 판단을 수정하라고 요구해야 한다.
Chapter 16은 과학적 신뢰를 이분법이 아닌 정도의 문제로 이해하게 만든다. 어떤 연구도 완벽하게 확실하지 않지만 모든 자료가 똑같이 불확실한 것도 아니다. 자료의 생산과 검증, 반복과 종합의 정도에 따라 합리적으로 더 큰 신뢰를 부여할 수 있다.
✨ 해설과 통찰
Chapter 16의 핵심은 과학적 판단을 믿음과 불신의 선택에서 신뢰의 조절 문제로 바꾸는 데 있다. 과학 자료를 무조건 받아들이거나 모두 의심하는 태도는 서로 반대처럼 보이지만, 실제로는 증거의 질을 구분하지 않는다는 공통점을 가진다. 저자가 요구하는 것은 자료마다 다른 수준의 신뢰를 부여하는 세밀한 판단이다.
철학적으로 이 장은 과학적 지식이 잠정적이면서도 합리적으로 정당화될 수 있다는 입장을 보여준다. 모든 연구가 오류 가능성을 가진다는 사실은 아무것도 알 수 없다는 뜻이 아니다. 오류를 줄이는 절차와 독립적인 반복, 여러 자료의 일관성을 통해 어떤 결론은 다른 결론보다 더 강하게 지지될 수 있다.
증거의 위계는 데이비드 흄이 제기한 인과추론의 문제와 연결된다. 두 현상이 함께 나타났다는 관찰만으로 하나가 다른 하나의 원인이라고 결론지을 수 없다. 무작위 대조 연구는 비교 집단과 무작위 배정을 통해 가능한 다른 원인을 줄여 인과적 설명을 강화한다. 그러나 현실의 모든 질문을 실험할 수 없으므로 인과관계는 서로 다른 증거를 결합해 판단해야 한다.
칼 포퍼의 반증주의와 비교하면, 개별 연구는 가설을 한 번 시험하는 과정에 해당한다. 그러나 한 번의 반증이나 지지가 반드시 최종 결론을 만들지는 않는다. 측정 오류와 우연, 부적절한 연구 설계를 확인해야 하기 때문이다. 체계적 문헌 고찰은 여러 시험의 질과 결과를 함께 살펴보면서 가설이 반복적인 비판을 얼마나 견뎠는지 평가한다.
토머스 쿤의 관점에서는 과학적 합의가 단일 실험으로 바뀌지 않는 이유를 이해할 수 있다. 기존 이론과 충돌하는 연구 하나는 우선 이상 결과로 남을 수 있다. 비슷한 결과가 반복되고 기존 설명보다 더 나은 모델이 등장할 때 지식 체계가 변화한다. 이는 과학이 새로운 증거를 무시한다는 뜻이 아니라, 우연한 결과와 구조적 변화를 구별하기 위해 축적된 증거를 요구한다는 뜻이다.
의학에서 발전한 근거 중심 접근은 이 장의 신뢰 피라미드를 대표한다. 치료의 효과를 결정할 때 의사의 경험과 생물학적 가능성만으로 결론내리지 않고 임상시험과 체계적 문헌 고찰을 함께 고려한다. 그러나 근거의 위계만으로 환자의 상황과 가치까지 결정할 수는 없다. 연구 증거와 전문적 판단, 개인의 선호를 통합해야 한다.
이 점에서 피라미드는 윤리적 판단이나 사회정책에 그대로 적용하기 어려울 수 있다. 어떤 정책이 경제성장을 높였다는 연구가 강력하더라도, 불평등의 증가를 감수할 가치가 있는지는 과학만으로 결정할 수 없다. 증거의 위계는 사실 판단을 도울 뿐 어떤 사회를 선택해야 하는지에 대한 가치판단을 대신하지 않는다.
현대의 온라인 정보환경에서는 개별 연구를 선택적으로 인용하는 행위가 매우 쉬워졌다. 검색어를 조금 바꾸면 자신의 믿음을 지지하는 논문을 찾을 수 있다. 사회관계망에서는 연구의 품질보다 제목의 충격성과 결론의 정치적 유용성이 확산을 좌우한다. 따라서 논문을 인용했다는 사실보다 전체 연구와 어떤 관계에 있는지를 묻는 습관이 중요하다.
생성형 인공지능을 통한 연구 검색에서도 같은 문제가 나타난다. 인공지능은 사용자의 질문에 맞는 개별 논문을 빠르게 찾아 요약할 수 있지만, 연구 유형과 품질을 구분하지 않으면 전문가 논평과 메타 분석을 같은 수준으로 나열할 수 있다. 출처의 수를 늘리는 것보다 증거의 위계와 최신 체계적 검토 여부를 확인하는 일이 더 중요하다.
저자의 피라미드에는 단순화의 위험도 있다. 실제 연구의 신뢰도는 피라미드의 위치만으로 결정되지 않는다. 부실한 메타 분석과 정교한 관찰 연구가 존재하며, 체계적 문헌 고찰도 편향된 검색 기준을 사용할 수 있다. 따라서 피라미드는 비판적 사고를 대신하는 규칙이 아니라 어디부터 점검할지를 알려주는 출발점이어야 한다.
이 장의 가장 중요한 인식론적 교훈은 신뢰를 증거에 비례시켜야 한다는 것이다. 하나의 사례에는 제한된 신뢰를, 반복된 대조 연구에는 더 큰 신뢰를, 여러 고품질 연구가 일관되게 지지하는 결론에는 가장 높은 신뢰를 부여한다. 새로운 증거가 추가되면 그 비율도 수정해야 한다.
? 핵심 요약
1️⃣ 정상적인 학술지에 실린 연구라도 연구 설계와 표본, 비교 조건과 검증 정도에 따라 증거의 신뢰도가 달라지므로 모든 논문을 같은 무게로 받아들여서는 안 된다.
2️⃣ 전문가 논평과 사례 연구는 중요한 통찰과 새로운 질문을 제공하지만, 직접 검증된 자료나 전체 집단에 적용할 수 있는 결론으로 간주하기에는 한계가 있다.
3️⃣ 무작위 대조 연구는 무작위 배정과 대조군, 이중맹검을 통해 인과관계를 강하게 검증하지만 윤리와 현실의 제약으로 모든 주제에 적용할 수 없으며 연구끼리 충돌할 수도 있다.
4️⃣ 체계적 문헌 고찰은 기존 연구를 공개된 기준에 따라 검색하고 품질을 비교하며, 메타 분석은 여러 결과를 통계적으로 결합해 개별 연구보다 안정적인 결론을 도출한다.
5️⃣ 증거의 위계는 기계적인 서열표가 아니라 자료의 신뢰를 조절하기 위한 출발점이며, 최종 판단에는 연구의 실제 품질과 적용 맥락, 전체 증거의 일관성을 함께 고려해야 한다.
? 비교·확장
데이비드 흄은 반복적으로 함께 관찰되는 두 사건만으로 필연적인 인과관계를 알 수 없다고 지적했다. 증거의 위계는 이러한 인과추론의 취약성을 줄이기 위한 현대 과학의 방법론적 대응이다. 대조군과 무작위 배정은 다른 원인의 가능성을 줄이며, 반복 연구와 메타 분석은 우연한 연관성을 걸러낸다.
칼 포퍼의 반증주의는 연구 결과를 최종 진리가 아니라 비판을 견딘 잠정적 지식으로 이해한다. 하나의 연구가 가설을 지지했다고 해서 확정되는 것은 아니며, 다른 조건과 표본에서 반복적으로 시험되어야 한다. 체계적 문헌 고찰은 가설이 여러 반박의 시도를 어느 정도 견뎠는지 평가하는 과정으로 볼 수 있다.
아치 코크런이 강조한 근거 중심 의학은 치료에 관한 판단을 권위와 관습에서 비교 연구의 결과로 이동시켰다. 코크런의 문제의식은 오늘날 체계적 문헌 고찰을 전문적으로 수행하는 연구 공동체로 이어졌다. 그러나 근거 중심 의학 역시 연구 증거만으로 개별 환자의 선택을 결정할 수 없으며 임상적 판단과 환자의 가치가 함께 고려되어야 한다.
존 이오아니디스는 작은 표본과 선택적인 분석, 출판편향 때문에 발표된 연구 중 상당수가 재현되지 않을 수 있다고 지적했다. 그의 분석은 개별 논문의 통계적 유의성을 곧바로 사실로 받아들여서는 안 된다는 저자의 주장과 연결된다. 여러 독립적 연구의 일관성과 연구 설계의 사전 검토가 필요하다.
나오미 오레스키스는 과학을 신뢰해야 하는 이유를 한 명의 과학자가 특별히 현명하기 때문이 아니라 다양한 전문가 공동체가 서로의 주장을 비판하고 검증하기 때문이라고 설명한다. 체계적 문헌 고찰과 메타 분석은 이러한 집단적 검증의 결과를 문서화한 형식이라고 할 수 있다.
현대 사회에서 증거의 위계는 정책 판단에도 적용할 수 있지만 신중해야 한다. 의료 실험처럼 결과를 명확히 측정할 수 있는 분야와 복잡한 사회정책은 연구 조건이 다르다. 사회적 개입은 지역과 문화, 경제 상황에 따라 효과가 크게 달라질 수 있으므로 평균적인 효과와 구체적인 적용 가능성을 구분해야 한다.
? 연결 독서 제안
✔️ Archie Cochrane, Effectiveness and Efficiency
✔️ Trisha Greenhalgh, How to Read a Paper
✔️ John Ioannidis, Why Most Published Research Findings Are False
✔️ Naomi Oreskes, Why Trust Science
? 사유를 여는 질문
❓ 하나의 연구가 자신의 믿음과 일치할 때, 우리는 그 연구의 설계와 전체 증거 속 위치를 얼마나 엄격하게 확인하는가?
❓ 윤리적으로 무작위 대조 연구를 수행할 수 없는 문제에서는 어떤 종류의 증거를 결합해야 가장 합리적인 결론에 도달할 수 있는가?
❓ 체계적 문헌 고찰과 메타 분석도 틀릴 수 있다면, 과학적 합의를 신뢰하면서 동시에 비판적으로 검토하는 태도는 어떻게 가능할까?
? Chapter 17. Guidelines for Better Judgment | 보다 나은 판단을 위한 지침
✅ 장 개요
보다 나은 판단을 위한 지침은 앞선 16개 장에서 다룬 인식과 연구, 해석과 전달의 오류를 실제 생활에서 적용할 수 있는 판단 원칙으로 압축한 부분이다. 저자는 새로운 이론을 제시하기보다 각 장에서 드러난 문제를 다시 불러내어, 사실과 의견이 충돌하는 상황에서 무엇을 확인하고 어떤 질문을 던져야 하는지를 정리한다. 그 출발점은 인간이 완전한 관찰자도, 완벽한 기억 장치도, 이해관계에서 자유로운 해석자도 아니라는 인정이다.
저자가 제시하는 해결책은 모든 편향을 제거하거나 절대적으로 확실한 정보를 찾는 것이 아니다. 그런 목표는 인간에게 불가능하며, 과학에도 허용되지 않는다. 대신 자신이 무엇을 놓치고 있는지 확인하고, 관찰과 기억을 기록으로 보완하며, 측정할 수 없는 대상이 존재한다는 사실을 인정하고, 사용하는 방법 자체를 의심해야 한다. 가설은 반박 가능한 형태로 세우고, 결과가 나오기 전에 판단 기준을 정하며, 자신의 믿음과 반대되는 자료를 의도적으로 찾아야 한다.
정보를 해석할 때는 통계와 인과관계, 연구의 재현 여부와 자료의 전체 맥락을 확인해야 한다. 관찰자의 기대와 관점이 결과에 개입할 수 있음을 인정하고, 상대방이 자신과 같은 언어와 배경지식을 공유한다고 가정하지 말아야 한다. 과학 논문을 읽을 때는 결론만이 아니라 표본과 방법, 한계와 사전 등록 여부를 살펴보고, 가짜 학술지와 논문 공장의 가능성을 경계해야 한다. 마지막으로 개별 연구와 전문가의 말에 동일한 무게를 주지 말고, 체계적 문헌 고찰과 메타 분석처럼 여러 연구를 비판적으로 종합한 자료를 우선해야 한다.
이 지침을 관통하는 핵심은 인식론적 겸손과 절차적 엄밀함의 결합이다. 자신의 판단이 틀릴 수 있음을 인정하는 것만으로는 부족하다. 무엇이 자신의 판단을 틀리게 만들 수 있는지 구체적으로 확인하고, 오류를 발견할 수 있는 구조를 마련해야 한다. 사실을 존중한다는 것은 확신에 찬 목소리를 따르는 것이 아니라, 검증과 반박, 수정에 열려 있는 과정을 선택하는 것이다.
? 상세 설명
저자는 이 지침을 시작하며 과학에서 사실과 의견이 생각보다 훨씬 자주 충돌한다고 정리한다. 사실을 인지하는 단계에서부터 문제가 발생하고, 사실을 조사하고 측정하며 해석하고 전달하는 과정에서도 오류가 생긴다. 따라서 좋은 판단은 마지막 결론에서 갑자기 이루어지는 행위가 아니다. 질문을 설정하고 자료를 찾는 첫 단계부터 출처를 평가하고 의견을 형성하는 마지막 단계까지 이어지는 연속적인 검증 과정이다.
✒️ 핵심 발췌
? “여기까지 읽었다면, 과학에서 사실과 의견이 얼마나 자주 충돌하는지 분명히 알 수 있을 것이다. 지금까지 우리는 사실과 의견을 구별하기 어렵게 만드는 문제들을 살펴보았다. 어떤 문제는 사실 자체를 인지하려 할 때 발생하고, 또 어떤 문제는 사실을 조사하는 과정에서 발생하기도 한다.”
✍️ “사실과 의견의 혼란은 마지막 해석에서만 생기지 않는다. 무엇을 관찰하고 어떻게 측정하며 어떤 자료를 선택할지를 결정하는 모든 단계에서 판단의 오류가 발생할 수 있다.”
➡️ 저자는 하나의 간단한 판별법으로 모든 문제를 해결할 수 있다고 약속하지 않는다. 대신 각 단계에서 발생할 수 있는 오류를 알고, 그 오류에 맞는 점검 절차를 적용해야 한다고 말한다.
첫 번째 문제는 우리가 많은 것을 놓친다는 사실이다. 인간은 자신의 주장을 뒷받침할 자료가 없다고 느끼면 곧바로 의견과 의견을 맞세우는 논쟁으로 들어간다. 그러나 실제로는 관찰하거나 측정할 수 있는 사실이 이미 존재할 수 있다. 자궁 밖의 세계를 논쟁하던 두 태아처럼, 우리는 확인 가능한 패턴을 살펴보지 않은 채 믿음과 불신만 교환할 수 있다.
따라서 첫 번째 원칙은 논쟁을 시작하기 전에 양측이 동의할 수 있는 검증 가능한 사실이 있는지를 찾는 것이다. 누가 옳은지를 먼저 결정하지 말고, 어떤 관찰이 서로의 주장을 구분해줄 수 있는지를 물어야 한다. 이 질문 하나만으로도 감정적인 대립을 실제 조사 가능한 문제로 바꿀 수 있다.
그러나 모든 질문이 과학적 사실만으로 답할 수 있는 것은 아니다. 살인이 사회적으로 허용되어야 하는지, 자유와 안전 가운데 무엇을 우선해야 하는지, 어떤 불평등을 정의롭다고 볼 것인지는 가치판단을 포함한다. 과학은 특정 정책이 어떤 결과를 낳을 가능성이 있는지는 말할 수 있지만, 그 결과를 감수할 가치가 있는지는 대신 결정하지 못한다.
✒️ 핵심 발췌
? “가장 단순한 해결책은 가능한 우리가 동의할 수 있는, 검증 가능한 사실이 있는지 확인해보는 것이다. 그러나 과학이 전혀 언급할 수 없는 영역이 있다는 점도 염두에 두어야 한다. 따라서 그것이 정말 과학적인 질문인지 혹은 사실이 반드시 의견보다 해석에서 우위를 가지지 않는 윤리적 질문인지 고민해볼 필요가 있다.”
✍️ “논쟁에 앞서 확인 가능한 사실이 있는지를 살펴야 하지만, 모든 사회적 문제를 과학의 질문으로 바꾸어서는 안 된다. 사실의 확인과 가치의 선택은 서로 연결되지만 동일한 판단은 아니다.”
➡️ 좋은 판단은 과학을 무조건 앞세우는 태도가 아니다. 과학이 답할 수 있는 질문과 윤리적·정치적 숙의가 필요한 질문의 경계를 구분하는 데서 시작된다.
두 번째 문제는 인간이 관찰과 기억을 잘하지 못한다는 것이다. 우리는 보지 않은 내용을 보았다고 생각하고, 들은 말의 빈틈을 익숙한 이야기로 채우며, 시간이 지나면서 이후에 얻은 정보를 원래 기억에 섞는다. 강한 스트레스 속에서는 전체 상황보다 당장 위협적인 대상에 주의가 집중된다.
해결책은 기억에만 의존하지 않고 가능한 한 빨리 기록하는 것이다. 시간과 장소, 상황과 조건을 구체적으로 남기고, 사진과 영상, 측정값과 실험 노트를 활용해야 한다. 여러 관찰자의 기록을 독립적으로 확보하는 것도 도움이 된다. 기록은 기억의 재구성 과정에서 생기는 왜곡을 줄여준다.
하지만 측정과 기록이 사람의 진술을 자동으로 대체하는 것은 아니다. 객관적인 장비에도 오류가 있고, 중요한 경험은 숫자로 완전히 표현되지 않을 수 있다. 목격자 진술이 불완전하다는 이유로 무시하면 실제로 정확한 단서를 잃을 수 있다. 기록과 진술 가운데 하나를 절대화하지 말고 각각의 신뢰성과 한계를 비교해야 한다.
✒️ 핵심 발췌
? “이런 문제의 해결 방법은 측정하는 것이다. 여기에서 측정이란 기록하고, 수집하고, 데이터를 저장하며, 실험 노트를 작성하는 것을 의미한다. 하지만 이 전략을 과하게 사용할 경우, 소중한 목격자 진술을 사소한 것으로 무시하는 경우도 생길 수 있다.”
✍️ “기억의 오류를 줄이려면 가능한 많은 정보를 즉시 기록해야 한다. 그러나 기록 장치가 언제나 인간의 경험보다 우월하다고 생각하면 또 다른 편향에 빠질 수 있다.”
➡️ 저자가 요구하는 것은 주관적인 진술을 객관적인 측정으로 완전히 대체하는 일이 아니다. 서로 다른 종류의 증거를 독립적으로 확보하고, 각 증거의 약점을 고려해 함께 판단하는 것이다.
세 번째 문제는 우리가 가진 것만 측정할 수 있다는 것이다. 연구자는 접근할 수 있는 사람과 보존된 자료, 현재의 기술로 감지할 수 있는 현상만 조사한다. 연구에 참여하지 않은 사람과 기록을 남기지 못한 사람, 측정 장비가 포착하지 못한 대상은 결과에서 보이지 않는다.
저자는 이를 가로등 아래에서 열쇠를 찾는 사람에 비유했다. 열쇠가 그곳에 있어서가 아니라 밝아서 찾기 쉬운 곳만 살피는 것이다. 과학 연구에서도 대학생과 치료기관 방문자, 살아남은 사람과 기록이 보존된 사건이 과도하게 대표될 수 있다.
이 문제를 해결하는 첫걸음은 자료에 포함되지 않은 대상이 누구인지를 질문하는 것이다. 어떤 사람이 연구에 참여하기 어렵거나 응답을 거부했는지, 실패하거나 사라진 사례는 기록에서 빠지지 않았는지 확인해야 한다. 누락된 자료의 수를 추정할 수 있다면 결과에 가중치를 적용할 수 있다.
누락의 규모를 추정할 수 없다면 결론의 범위를 제한해야 한다. 연구에 포함된 사람에게서 나타난 결과라고 말해야지, 존재하지만 측정되지 않은 사람들까지 포함한 전체 집단의 보편적 사실이라고 주장해서는 안 된다.
네 번째 문제는 자신의 방법을 의심하지 않는다는 것이다. 측정 장비와 검사가 객관적인 숫자를 제공하면 우리는 그 결과를 인간의 진술보다 훨씬 강하게 신뢰한다. 그러나 DNA 채취 도구의 오염과 지문 판독의 오류, 거짓말탐지기의 낮은 신뢰도처럼 과학적으로 보이는 방법도 잘못될 수 있다.
방법은 오랫동안 사용되었다는 이유나 비용이 많이 든다는 이유로 정확해지지 않는다. 무엇을 측정하는지, 오류율이 어느 정도인지, 어떤 조건에서 결과가 왜곡되는지를 독립적으로 검증해야 한다. 같은 표본을 다시 검사하는 블라인드 검사와 재현 절차가 필요하다.
가장 좋은 방법은 성격이 다른 여러 증거를 결합하는 것이다. 목격자 진술과 영상, 물리적 흔적과 DNA, 시간 기록과 이동 경로처럼 서로 독립적인 자료가 같은 결론을 지지할 때 신뢰도가 높아진다. 하나의 방법이 실패하더라도 다른 증거가 오류를 드러낼 수 있기 때문이다.
✒️ 핵심 발췌
? “우리는 어떤 측정이든 오류가 있을 수 있으며, 모든 데이터는 고유한 신뢰도 수준을 가지고 있음을 인식해야 한다. 만약 어떤 방법이 신뢰할 수 없다고 밝혀지면, 우리는 그 방법을 사용하는 것을 중단해야 한다. 가장 좋은 방법은 서로 독립적인 여러 방법을 통해 증거를 확보하는 것이다.”
✍️ “측정 장비와 과학적 검사는 절대적인 판결문이 아니다. 각 방법의 오류율을 확인하고, 서로 다른 종류의 증거가 같은 결론을 지지하는지를 살펴야 한다.”
➡️ 방법론적 보수성은 익숙한 방법을 계속 사용하는 태도가 아니다. 오히려 자신이 신뢰해온 방법이 틀렸다는 증거가 나타날 때 기꺼이 포기하는 태도다.
다섯 번째 문제는 반박할 수 없는 가정을 좋아한다는 것이다. 세계 전체가 거대한 조작이며 반대 증거조차 조작의 일부라는 주장은 어떤 결과가 나타나도 유지될 수 있다. 비밀 세력이 모든 사건을 통제한다고 가정하면 증거가 없는 사실도 세력이 완벽하게 흔적을 감췄다는 증거로 바뀐다.
이러한 주장은 강력해서가 아니라 실패할 조건이 없기 때문에 살아남는다. 어떤 관찰이 나오면 그 주장이 틀렸다고 인정할 것인지를 물었을 때 아무런 답을 제시하지 못한다면 과학적으로 검증할 수 있는 가설이 아니다.
따라서 주장을 평가할 때는 그것을 지지하는 사례만 묻지 말고, 무엇이 그 주장을 반박할 수 있는지를 확인해야 한다. 반박 조건이 존재하지 않는다면 논쟁을 계속할 이유가 없다. 검증 불가능한 주장은 사실에 관한 설명보다 믿음이나 이야기의 영역에 속한다.
여섯 번째 문제는 결과가 나온 뒤에야 가설을 바꾼다는 것이다. 연구자는 예상하지 못한 패턴을 발견한 뒤, 마치 처음부터 그것을 예상한 것처럼 설명할 수 있다. 일상에서도 일이 끝난 뒤 결과가 당연했다고 말하며 자신이 과거에 무엇을 예상했는지를 바꾸어 기억한다.
이를 막으려면 결과를 확인하기 전에 가설과 판단 기준을 기록해야 한다. 무엇을 측정할 것이며 어떤 결과가 가설을 지지하거나 반박할지를 미리 정해야 한다. 연구에서 사전 등록이 필요한 이유가 바로 여기에 있다.
예상하지 못한 결과를 발견하는 것 자체는 잘못이 아니다. 우연한 관찰이 새로운 연구의 출발점이 될 수 있다. 다만 탐색 과정에서 발견한 결과와 처음부터 검증하려 했던 가설을 구분해야 한다. 새롭게 발견한 패턴은 독립된 자료에서 다시 시험해야 한다.
일곱 번째 문제는 자신의 믿음을 지지하는 자료를 더 쉽게 받아들인다는 것이다. 인간은 자신과 같은 결론을 제시하는 연구의 약점에는 관대하고, 반대되는 연구에는 매우 엄격한 기준을 적용한다. 같은 수준의 증거도 정치적·종교적 입장에 따라 다르게 평가할 수 있다.
이 문제를 줄이려면 반대되는 결과를 의도적으로 찾아야 한다. 자신의 주장을 반박할 수 있는 가장 강력한 자료가 무엇인지 확인하고, 그 자료를 지지자들의 논문과 같은 기준으로 평가해야 한다. 검색어도 자신의 결론을 전제로 만들지 말아야 한다.
자신이 틀렸다고 인정하게 만들 조건을 미리 정하는 것도 도움이 된다. 어떤 자료가 나와도 입장을 바꾸지 않겠다면 사실을 조사하는 것이 아니라 이미 정한 결론을 방어하는 것이다.
여덟 번째 문제는 우연한 관계에서 의미를 발견한다는 것이다. 많은 변수를 비교하면 아무런 실제 관계가 없어도 일부는 통계적으로 연결되어 보일 수 있다. 두 현상이 함께 증가하거나 감소한다는 이유만으로 하나가 다른 하나의 원인이라고 판단해서는 안 된다.
상관관계가 발견되면 먼저 우연의 가능성과 제3의 요인을 살펴야 한다. 두 변수가 어떤 메커니즘을 통해 연결될 수 있는지, 시간적 순서가 인과 설명과 일치하는지, 다른 표본에서도 같은 관계가 나타나는지 확인해야 한다.
효과의 크기도 중요하다. 통계적으로 차이가 있다는 사실과 현실에서 의미 있는 차이라는 사실은 다르다. 매우 큰 표본에서는 실제 생활에서 거의 느낄 수 없는 차이도 통계적으로 유의미하게 나타날 수 있다.
아홉 번째 문제는 평균과 확률을 개인에게 그대로 적용한다는 것이다. 어떤 집단에서 특정 특성이 더 흔하다는 사실은 한 개인이 반드시 그 특성을 가진다는 뜻이 아니다. 남성과 여성의 평균 키가 다르더라도 키만으로 개인의 성별을 확실히 판단할 수 없는 것과 같다.
집단 자료를 개인에게 적용하려면 분포가 얼마나 겹치는지 확인해야 한다. 평균만 보지 말고 변동 범위와 예외의 비율을 살펴야 한다. 기저율도 중요하다. 드문 사건은 검사의 정확도가 높아도 잘못된 양성 결과가 많이 나타날 수 있다.
확률을 전달할 때는 가능하다와 확실하다를 구분해야 한다. 위험이 두 배 증가했다는 표현만 보지 말고 실제 위험이 1만 명 중 한 명에서 두 명으로 증가한 것인지, 열 명 중 한 명에서 두 명으로 증가한 것인지 확인해야 한다.
열 번째 문제는 재현되지 않은 결과를 너무 빨리 사실로 받아들인다는 것이다. 한 연구에서 나타난 결과는 표본의 우연과 연구자의 선택, 측정 과정의 특수한 조건에 영향을 받을 수 있다. 같은 방법을 사용한 독립적인 연구에서 다시 나타나야 신뢰도가 높아진다.
재현 실패가 원래 연구의 조작을 곧바로 의미하지는 않는다. 참가자와 환경, 측정 도구가 달랐거나 효과가 특정 조건에서만 나타날 수 있다. 중요한 것은 차이의 원인을 숨기지 않고 조사하는 것이다.
새롭고 놀라운 결과일수록 더 많은 반복 검증을 요구해야 한다. 기존 지식 전체를 뒤집는 주장은 그만큼 강력하고 독립적인 증거를 필요로 한다. 언론의 주목도와 과학적 신뢰도를 혼동해서는 안 된다.
열한 번째 문제는 자료를 전달하는 과정에서 과장과 생략이 발생한다는 것이다. 연구자는 신중하게 가능성을 말했지만 보도자료에서는 효과가 있는 것으로, 뉴스 제목에서는 마침내 입증된 것으로 바뀔 수 있다. 복잡한 조건과 불확실성은 짧은 기사에서 사라진다.
정보를 평가할 때는 가능한 한 원자료에 가까이 가야 한다. 뉴스 기사에서 보도자료로, 보도자료에서 초록과 논문으로 출처를 거슬러 올라가야 한다. 인용된 문장이 연구 결과인지 연구자의 해석인지도 구분해야 한다.
과학자는 대중이 이해할 수 있도록 설명해야 하지만 정확성을 희생해서는 안 된다. 언론인 역시 흥미로운 결론뿐 아니라 연구 대상과 한계, 절대적인 효과의 크기를 함께 전달해야 한다.
열두 번째 문제는 기대 없이 관찰할 수 없다는 것이다. 인간의 지각은 수동적인 카메라가 아니라 세계에 대한 예측을 만들고 감각정보를 해석하는 체계다. 연구자도 특정 이론과 가설을 바탕으로 무엇을 측정하고 어떤 결과를 중요하게 볼지 결정한다.
관점을 완전히 제거하려 하기보다 자신의 전제와 역할을 공개해야 한다. 연구자가 어떤 가설을 가졌고 어떤 조건에서 자료를 수집했는지를 밝히면 다른 사람이 그 영향의 가능성을 평가할 수 있다.
여러 관찰자의 결과를 비교하는 것도 중요하다. 서로 다른 관점을 가진 사람들이 독립적으로 관찰했는데도 겹치는 부분이 있다면, 그 지점은 한 사람의 기대에 덜 의존하는 공동의 현실 모델이 될 수 있다.
열세 번째 문제는 우리가 서로를 이해한다고 과신한다는 것이다. 말하는 사람은 자신의 지식과 의도를 기준으로 문장을 만들고, 듣는 사람은 자신의 경험을 바탕으로 생략된 내용을 채운다. 같은 단어를 사용하더라도 서로 다른 의미를 떠올릴 수 있다.
따라서 중요한 대화에서는 이해했다고 가정하지 말고 확인해야 한다. 상대방의 말을 자신의 언어로 다시 설명하고 그 의미가 맞는지 물어보는 방법이 도움이 된다. 용어가 모호하면 구체적인 예와 기준을 요청해야 한다.
상대방이 사용한 단어를 함부로 다른 표현으로 바꾸지 않는 것도 중요하다. 누군가 개가 무섭다고 말했을 때 그것을 공포증이나 불편함으로 즉시 번역하면 원래 경험의 의미가 달라질 수 있다.
과학적 의사소통에서는 용어를 명확히 정의하고 같은 표현을 일관되게 사용해야 한다. 가독성이 다소 떨어지더라도 모호하지 않은 언어가 필요한 이유다.
열네 번째 문제는 연구 자료를 읽는 방법을 모른다는 것이다. 우리는 과학적 주장을 평가하면서도 원본 논문을 읽지 않고 기사와 짧은 요약에 의존한다. 그러나 요약만으로는 연구가 누구를 대상으로 했고 어떤 방법을 사용했는지 알기 어렵다.
논문을 읽을 때는 초록의 결론만 보지 말고 방법론과 표본, 결과 도표와 제한 사항을 확인해야 한다. 표본이 연구가 설명하려는 집단을 대표하는지, 참가자 수가 현상의 복잡성에 비해 충분한지 살펴야 한다.
연구자가 자신의 한계를 얼마나 솔직하게 밝히는지도 중요한 신뢰의 신호다. 한계가 전혀 없다고 주장하는 연구보다 대안적 해석과 측정상의 약점을 구체적으로 설명하는 연구가 더 신뢰할 만할 수 있다.
사전 등록 여부도 확인해야 한다. 연구가 시작되기 전에 가설과 분석 방법을 정했다면 결과를 본 뒤 자신에게 유리한 방식으로 질문을 바꾸었을 가능성이 줄어든다.
열다섯 번째 문제는 가짜 연구에 속는다는 것이다. 학술 논문의 형식과 전문용어를 갖추었다고 해서 정상적인 연구는 아니다. 돈을 받고 심사 없이 논문을 출판하는 약탈적 학술지와 조작된 자료를 판매하는 논문 공장이 존재한다.
학술지의 이름만 보지 말고 출판사와 편집진이 실제로 존재하는지 확인해야 한다. 논문 제출을 무분별하게 권유하거나 며칠 안에 심사를 끝내준다고 약속하고, 연구 분야와 무관한 원고를 모두 받는 학술지는 의심할 필요가 있다.
기존에 실린 논문을 직접 열어보는 것도 도움이 된다. 명백한 문법 오류와 터무니없는 그림, 존재하지 않는 용어와 부정확한 참고 문헌이 반복된다면 실질적인 심사가 이루어지지 않았을 가능성이 크다.
그러나 공개 접근 학술지나 출판 비용을 받는 학술지를 모두 가짜로 간주해서는 안 된다. 핵심은 비용의 존재가 아니라 논문 승인 전에 실제 동료 평가가 수행되는지, 오류가 발견됐을 때 수정과 철회 절차가 작동하는지에 있다.
열여섯 번째 문제는 모든 연구를 똑같이 신뢰한다는 것이다. 전문가의 논평과 한 사람의 사례 보고, 관찰 연구와 무작위 대조 연구, 체계적 문헌 고찰과 메타 분석은 서로 다른 수준의 증거를 제공한다.
전문가의 의견은 중요한 안내가 될 수 있지만 그 자체가 새로운 검증 자료는 아니다. 사례 연구는 새로운 현상을 발견하지만 전체 집단에 일반화하기 어렵다. 대조 연구와 무작위 연구는 다른 원인의 가능성을 줄이지만 모든 질문에 적용할 수 없으며 한 번의 연구만으로 최종 결론이 되지 않는다.
관련된 연구 전체를 공개된 기준으로 검색하고 품질을 평가한 체계적 문헌 고찰은 개별 연구보다 넓은 그림을 제공한다. 여러 연구의 결과를 통계적으로 결합한 메타 분석은 현재의 전체 증거가 가리키는 방향을 파악하는 좋은 출발점이다.
✒️ 핵심 발췌
? “개별 연구나 전문가들도 항상 옳은 것은 아니다. 사실을 찾기 위한 과정에서 우리는 상반된 정보들을 다양하게 마주하게 된다. 신뢰의 피라미드는 학문적 텍스트들 사이에도 신뢰도의 순위가 존재함을 보여준다.”
✍️ “연구라는 이름이 붙었다고 모든 자료가 같은 힘을 갖는 것은 아니다. 어떤 방법으로 증거가 만들어졌고 얼마나 많은 독립적 검증과 종합을 거쳤는지에 따라 신뢰의 정도를 조정해야 한다.”
➡️ 저자의 최종 지침은 과학을 믿을 것인가 말 것인가를 선택하라는 것이 아니다. 연구마다 다른 증거의 강도를 구분하고, 자신의 확신을 그 강도에 비례시키라는 것이다.
이 16가지 원칙을 종합하면 더 나은 판단은 하나의 질문으로 압축될 수 있다. 내가 믿는 이 결론은 어떤 과정으로 만들어졌으며, 그 과정의 어느 지점에서 틀릴 수 있는가라는 질문이다. 관찰자는 무엇을 놓쳤는지, 측정 대상은 대표성이 있는지, 방법은 검증되었는지, 가설은 반박 가능한지, 결과는 반복되었는지, 전달 과정에서 의미가 바뀌지 않았는지를 순서대로 살펴야 한다.
저자는 완벽한 확실성을 약속하지 않는다. 모든 점검을 수행해도 잘못된 결론에 도달할 수 있다. 그러나 오류 가능성이 있다는 이유로 모든 주장을 같은 수준의 의견으로 취급해서는 안 된다. 더 많은 검증을 거치고 더 다양한 증거에 의해 지지되며 반박에 열려 있는 주장은 그렇지 않은 주장보다 더 신뢰할 수 있다.
더 나은 판단의 목적은 실수하지 않는 사람이 되는 것이 아니다. 자신의 실수를 발견하고 수정할 가능성이 높은 사람이 되는 것이다. 과학적 사고의 핵심은 언제나 옳은 결론을 갖는 데 있지 않고, 틀린 결론을 계속 붙들지 않는 데 있다.
✨ 해설과 통찰
보다 나은 판단을 위한 지침은 책 전체의 이론을 실천적 규칙으로 전환한다. 저자는 인간의 인지적 한계와 과학 제도의 문제를 폭로하는 데 그치지 않는다. 오류가 불가피한 조건에서도 판단의 질을 높일 수 있는 구체적인 절차를 제안한다.
이 지침의 철학적 중심은 오류 가능주의다. 인간은 절대적으로 확실한 지식에 도달하기 어렵지만, 그렇다고 모든 주장이 동일하게 불확실한 것은 아니다. 반박 가능한 가설과 독립적인 측정, 반복 검증과 비판적 종합을 통해 더 나은 지식과 덜 나쁜 지식을 구분할 수 있다.
칼 포퍼의 반증주의는 이 지침의 중요한 배경이다. 좋은 주장은 자신이 틀렸음을 보여줄 조건을 제시한다. 반박할 수 없는 음모론과 결과에 따라 계속 바뀌는 가설은 강력한 설명처럼 보이지만 실제로는 현실의 검증을 피한다.
찰스 샌더스 퍼스의 탐구 공동체 개념과도 연결된다. 개인은 편견과 제한된 경험에 갇힐 수 있지만 여러 사람이 독립적으로 관찰하고 결과를 공개해 비판하면 개인의 오류를 교정할 수 있다. 객관성은 완벽한 개인의 속성이 아니라 오류를 수정하는 공동체의 절차다.
대니얼 카너먼의 인지편향 연구는 왜 좋은 의도만으로 충분하지 않은지를 보여준다. 인간은 자신의 편향을 알고 있어도 같은 오류를 반복한다. 따라서 기록과 사전 등록, 블라인드 검사와 독립적 재현처럼 개인의 의지에 의존하지 않는 제도가 필요하다.
이 지침은 민주주의에도 직접적인 의미를 갖는다. 공적 논쟁에서는 사실과 가치가 자주 뒤섞인다. 정책의 효과에 관한 자료와 어떤 효과를 바람직하다고 판단하는 가치기준을 구분해야 한다. 사실을 왜곡해서 자신의 가치를 정당화해서도 안 되며, 과학적 자료를 이용해 윤리적 선택을 자동으로 확정해서도 안 된다.
언론과 사회관계망에서는 출처의 외형보다 검증의 깊이를 살펴야 한다. 전문가라는 직함과 논문이라는 형식, 많은 조회 수와 반복적인 공유는 사실의 신뢰도를 보장하지 않는다. 최초의 출처와 전체 연구의 맥락, 반대되는 자료와 현재의 합의를 확인해야 한다.
교육적으로 이 지침은 정답을 암기하는 과학 교육을 넘어 연구가 만들어지는 방식을 가르쳐야 한다는 요구로 이어진다. 학생은 이미 확립된 사실뿐 아니라 표본과 대조군, 상관관계와 인과관계, 재현과 연구의 한계를 배워야 한다. 그래야 과학의 수정 가능성을 약점이 아니라 강점으로 이해할 수 있다.
이 지침은 인공지능 시대에도 중요하다. 인공지능은 많은 자료를 빠르게 요약하지만 출처의 품질을 자동으로 보장하지 않는다. 잘못된 논문과 신뢰할 만한 연구를 같은 수준으로 결합하거나 존재하지 않는 출처를 만들어낼 수 있다. 따라서 인간은 인공지능이 제시한 결론의 원자료와 연구 설계, 전체 증거 속 위치를 검토해야 한다.
무엇보다 저자의 지침은 타인에게만 적용해서는 안 된다. 가짜 뉴스와 잘못된 연구를 비판하는 사람도 자신의 주장을 지지하는 자료에는 관대해질 수 있다. 과학적 회의주의는 상대편을 공격하는 무기가 아니라 자신의 판단을 먼저 시험하는 원칙이어야 한다.
? 핵심 요약
1️⃣ 사실과 의견을 구분하려면 먼저 검증 가능한 질문인지, 과학만으로 결정할 수 없는 윤리적·정치적 질문인지를 구분해야 한다.
2️⃣ 관찰과 기억, 측정과 연구 방법은 모두 오류 가능성이 있으므로 기록과 독립적인 증거, 반복 검증을 통해 서로의 약점을 보완해야 한다.
3️⃣ 가설은 반박 가능한 형태로 세우고 결과를 보기 전에 판단 기준을 정하며, 자신의 믿음과 충돌하는 자료를 의도적으로 찾아야 한다.
4️⃣ 연구를 평가할 때는 결론만이 아니라 표본과 방법, 한계와 사전 등록, 출판사의 신뢰성과 연구 유형의 증거 수준을 함께 확인해야 한다.
5️⃣ 더 나은 판단은 절대적인 확실성을 얻는 일이 아니라, 자신의 오류를 발견하고 새로운 증거에 따라 판단을 수정할 가능성을 높이는 과정이다.
? 비교·확장
칼 포퍼의 반증주의는 저자가 제시한 지침 가운데 반박 가능한 가설과 방법의 검증을 철학적으로 뒷받침한다. 과학적 주장은 참이라고 선언되기보다 반복적인 반박 시도를 잠정적으로 견딘 것으로 이해해야 한다.
찰스 샌더스 퍼스는 진리를 개인의 직관이 아니라 장기적으로 탐구하는 공동체가 수렴해가는 결과로 보았다. 여러 관찰자의 기록과 독립적인 재현, 체계적 문헌 고찰을 강조하는 이 책의 태도는 이러한 공동체적 진리관과 맞닿아 있다.
로버트 머턴의 조직적 회의주의는 전문가와 학술지의 권위까지 비판의 대상이 되어야 한다고 요구한다. 과학자의 지위가 아니라 방법과 증거, 공개된 검증 절차가 주장의 신뢰도를 결정해야 한다.
대니얼 카너먼과 아모스 트버스키의 연구는 인간이 확률과 인과관계, 위험을 체계적으로 잘못 판단한다는 사실을 보여준다. 저자의 지침은 이러한 편향을 개인의 의지만으로 이겨내기보다 기록과 사전 결정, 독립적 검토를 통해 제도적으로 제한하려 한다.
존 듀이의 실용주의적 탐구관과도 연결할 수 있다. 판단은 완성된 진리를 소유하는 행위가 아니라 불확실한 상황에서 가설을 만들고 결과를 확인하며 행동을 수정하는 과정이다. 지식의 가치는 현실의 문제를 더 잘 이해하고 해결하도록 돕는 데 있다.
현대의 정보환경에서는 신뢰를 단순히 부여하거나 철회하기보다 조절하는 능력이 중요하다. 검증된 과학적 합의에는 높은 신뢰를 부여하되 새로운 자료에 따라 수정할 준비를 하고, 개별 연구와 전문가 논평에는 제한된 신뢰를 부여하며 추가 검증을 기다려야 한다.
? 연결 독서 제안
✔️ Karl Popper, Conjectures and Refutations
✔️ Daniel Kahneman, Thinking, Fast and Slow
✔️ Naomi Oreskes, Why Trust Science
✔️ Carl Bergstrom and Jevin West, Calling Bullshit
? 사유를 여는 질문
❓ 자신의 믿음과 일치하는 연구를 발견했을 때도 반대되는 연구와 방법상의 한계를 같은 엄격함으로 확인할 수 있는가?
❓ 과학이 답할 수 있는 사실의 문제와 민주적 토론이 결정해야 할 가치의 문제는 어디에서 구분되는가?
❓ 절대적인 확실성이 불가능하다면, 우리는 어느 정도의 증거가 모였을 때 행동하고 어느 시점까지 판단을 보류해야 하는가?
?️ 결론 | 사실은 의견이 아니지만, 사실에 이르는 길에는 의견이 스며든다
? 이 책이 전하는 핵심 메시지
옌스 포엘의 사실은 의견일 뿐이다는 객관적 사실이 존재하지 않는다고 주장하는 책이 아니다. 오히려 이 책의 제목은 반어적이다. 저자가 궁극적으로 강조하는 것은 사실이 단지 의견에 불과해서는 안 된다는 원칙이다. 다만 인간이 사실을 발견하고 기록하며 해석하고 전달하는 모든 과정에는 감각의 한계와 기억의 왜곡, 측정의 오류와 확증편향, 언어의 모호함과 제도적 이해관계가 개입할 수 있다. 그러므로 우리가 사실이라고 부르는 주장 가운데 일부는 충분한 검증을 거치지 않은 의견일 수 있다.
이 책은 사실과 의견을 단순한 대립항으로 나누지 않는다. 사실은 인간과 무관하게 완성된 형태로 우리 앞에 놓이는 것이 아니라 관찰과 측정, 가설과 실험, 분석과 의사소통이라는 복잡한 과정을 통해 확인된다. 이 과정에는 필연적으로 인간의 판단이 들어간다. 무엇을 관찰할지 결정하는 일, 어떤 변수를 측정할지 선택하는 일, 자료를 어떤 모델로 설명할지 판단하는 일은 모두 해석을 요구한다.
그러나 해석이 개입한다는 사실이 모든 주장을 동등한 의견으로 만들지는 않는다. 반복적으로 관찰되고 독립적인 방법으로 확인되며, 반박 가능하고 재현되며, 여러 연구를 통해 종합된 주장은 개인의 직관이나 검증되지 않은 믿음보다 훨씬 강한 신뢰를 받을 수 있다. 객관성은 관찰자의 관점을 완전히 제거하는 데서 생기지 않는다. 서로 다른 관찰자들이 자신의 방법과 전제를 공개하고, 비판과 재검증을 통해 개인적 오류를 교정하는 과정에서 형성된다.
책의 16개 장은 인간이 사실을 잘못 판단하게 되는 경로를 단계적으로 추적한다. 우리는 많은 것을 보지 못하며, 자신이 본 것조차 정확하게 기억하지 못한다. 측정 가능한 대상만을 현실 전체로 착각하고, 익숙한 방법을 객관적인 것으로 받아들인다. 반박할 수 없는 가설을 선호하고, 결과가 나온 뒤 자신의 예측을 수정하며, 기존 믿음에 맞는 증거만 선택한다.
자료를 얻은 뒤에도 오류는 계속된다. 우리는 우연한 상관관계에서 의미를 찾고, 집단의 평균을 개인에게 적용하며, 한 번 발표된 결과를 재현된 사실처럼 받아들인다. 연구 결과가 대중에게 전달되는 과정에서는 조건과 불확실성이 생략된다. 관찰자는 자신의 기대 없이 현실을 바라볼 수 없으며, 대화 참여자는 같은 단어를 사용하면서도 서로 다른 의미를 이해할 수 있다.
과학 제도 역시 완전하지 않다. 학술 논문은 전문적인 형식을 갖추고 있지만 방법론을 모르면 실제 신뢰성을 평가하기 어렵다. 가짜 학술지와 논문 공장은 과학의 외형을 이용해 허위정보에 권위를 부여한다. 정상적인 연구라 하더라도 사례 보고와 전문가 의견, 무작위 대조 연구와 메타 분석은 서로 다른 수준의 증거를 제공한다. 과학적 문해력이란 논문을 많이 인용하는 능력이 아니라 증거가 만들어지고 검증된 과정을 구분하는 능력이다.
저자는 이러한 문제를 과학의 실패로 해석하지 않는다. 과학이 신뢰할 만한 이유는 과학자가 항상 옳기 때문이 아니다. 과학은 인간이 틀릴 수 있다는 사실을 전제로 기록과 측정, 대조군과 무작위 배정, 사전 등록과 동료 평가, 재현과 메타 분석 같은 교정 장치를 발전시켜왔기 때문에 신뢰할 수 있다.
따라서 과학적 태도의 핵심은 확신이 아니라 수정 가능성이다. 자신의 주장을 반박할 증거가 무엇인지 밝히고, 더 나은 자료가 나오면 결론을 바꾸며, 자신이 사용한 방법의 한계를 공개하는 태도가 과학의 신뢰성을 만든다. 오류를 인정하는 것은 과학적 권위의 붕괴가 아니라 과학이 작동하고 있다는 증거다.
책의 마지막 부분에서 저자는 과학이 지나치게 폐쇄적이어도, 지나치게 개방적이어도 안 된다는 긴장을 제시한다. 새로운 생각을 기존 합의와 다르다는 이유만으로 배제한다면 중요한 발견과 과학적 혁신을 놓칠 수 있다. 반대로 충분한 증거가 없는 모든 주장을 과학적 사실과 동등하게 받아들이면 개인의 믿음과 검증된 합의를 구분할 수 없게 된다.
그러므로 필요한 것은 가능한 한 개방적이면서도 필요한 만큼 엄격한 태도다. 새롭고 낯선 주장은 제안될 수 있어야 하지만, 사실로 인정받기 위해서는 명확한 방법과 엄격한 검증을 거쳐야 한다. 주장의 파격성이나 제안자의 지위가 아니라 증거의 질과 재현 가능성이 판단 기준이 되어야 한다.
이 책이 독자에게 요구하는 것은 모든 것을 의심하는 냉소주의가 아니다. 아무 주장도 믿지 않는 태도는 무엇이든 믿는 태도만큼 위험하다. 저자가 권하는 것은 신뢰의 정도를 증거의 강도에 맞추는 판단이다. 잘 확립된 과학적 합의에는 높은 신뢰를 부여하되 수정 가능성을 남겨두고, 초기 연구와 전문가 의견에는 제한적인 신뢰를 부여하며 추가 검증을 기다리는 태도다.
결국 사실과 의견을 구분하는 능력은 단순히 지식을 많이 보유하는 데서 생기지 않는다. 자신이 무엇을 알고 무엇을 모르는지 구분하고, 주장을 지지하는 자료가 어떻게 만들어졌는지 확인하며, 자신의 믿음과 반대되는 증거에도 같은 기준을 적용하는 데서 생긴다. 이 책은 독자에게 정답 목록을 제공하기보다 더 나은 질문을 던지는 방법을 가르친다.
? 현대적 의미와 적용
오늘날 이 책의 문제의식은 과학 연구의 영역을 넘어 정치와 언론, 의료와 교육, 기업과 인공지능을 둘러싼 모든 공적 논쟁에 적용된다. 정보의 생산과 유통 속도가 급격하게 빨라지면서 사람들은 과거보다 훨씬 많은 자료를 접하지만, 각각의 자료가 어떤 과정을 통해 만들어졌는지를 확인할 시간은 줄어들었다. 짧고 강한 주장일수록 더 빠르게 확산되고, 조건과 불확실성을 설명하는 신중한 표현은 상대적으로 주목받기 어렵다.
사회관계망에서는 사실의 신뢰성보다 자신의 정체성과 감정에 맞는지가 정보 선택에 더 큰 영향을 미칠 수 있다. 사람들은 자신이 속한 집단이 공유하는 기사와 논문을 쉽게 믿고, 반대 집단의 자료에는 더 엄격한 기준을 적용한다. 확증편향은 개인적 사고의 문제가 아니라 알고리즘과 집단 정체성에 의해 강화되는 사회적 현상이 된다.
정치적 논쟁에서는 사실과 가치의 구분이 특히 중요하다. 어떤 정책이 물가와 고용, 범죄율과 건강에 어떤 영향을 주었는지는 자료를 통해 조사할 수 있다. 그러나 경제성장과 평등 가운데 무엇을 더 중시할지, 안전을 위해 어느 정도의 자유를 제한할 수 있는지는 가치판단을 포함한다. 과학적 자료는 선택의 결과를 설명할 수 있지만 사회가 추구해야 할 목표를 단독으로 결정하지는 못한다.
사실과 가치가 구분되지 않으면 두 가지 오류가 발생한다. 자신의 가치관을 객관적 사실처럼 포장하거나, 반대로 불편한 사실을 단순한 의견으로 낮추는 것이다. 합리적인 공론장은 검증 가능한 자료에 대해서는 공동의 기준을 적용하고, 가치가 충돌하는 지점에서는 선택의 근거와 예상되는 결과를 공개적으로 논의해야 한다.
의료정보에서도 이 책의 지침은 직접적으로 적용된다. 새로운 음식과 치료법, 건강 습관에 관한 개별 연구는 거의 매일 보도된다. 그러나 동물실험인지 인간 연구인지, 사례 보고인지 무작위 대조 연구인지, 위험의 상대적 증가가 실제로 얼마나 큰지를 확인하지 않으면 초기 연구를 확립된 의학적 사실로 오해할 수 있다.
환자의 개인적 경험 역시 무시해서는 안 되지만, 한 사람의 치료 성공 사례가 모든 사람에게 효과를 보장하지는 않는다. 의학적 판단은 개별 경험과 임상적 전문성, 체계적으로 축적된 연구 증거를 함께 고려해야 한다. 이 책이 제시하는 증거의 위계는 경험을 배제하는 도구가 아니라 서로 다른 자료가 어떤 질문에 답할 수 있는지를 구분하는 도구다.
언론은 연구 결과를 전달하는 과정에서 더욱 큰 책임을 갖는다. 연구자는 가능성을 언급했을 뿐인데 기사 제목은 원인이 밝혀졌다고 단정할 수 있다. 연구의 제한 조건과 표본의 특성, 효과의 크기가 생략되면 독자는 실제 논문보다 훨씬 강한 결론을 받아들이게 된다.
좋은 과학 보도는 연구의 결론뿐 아니라 연구 대상과 방법, 비교 집단과 한계를 함께 설명해야 한다. 단일 연구인지 반복된 결과인지, 기존의 체계적 문헌 고찰과 일치하는지도 알려야 한다. 언론의 정확성은 틀린 숫자를 쓰지 않는 데서 끝나지 않는다. 연구의 신뢰 범위를 왜곡하지 않는 것까지 포함한다.
생성형 인공지능의 확산은 책의 문제의식을 더욱 중요하게 만든다. 인공지능은 방대한 자료를 빠르게 검색하고 요약할 수 있지만, 진짜 논문과 가짜 논문을 언제나 정확히 구분하는 것은 아니다. 존재하지 않는 출처를 만들거나, 연구의 한계를 생략하고 결과를 단정적으로 표현할 수도 있다.
인공지능이 자연스럽고 자신감 있는 문장을 생성한다는 사실은 내용이 사실임을 보장하지 않는다. 오히려 문체의 유창함이 검증되지 않은 정보에 신뢰를 부여할 수 있다. 사용자는 인공지능의 답변에서 원자료와 출처를 확인하고, 개별 연구가 전체 증거에서 어떤 위치를 차지하는지 검토해야 한다.
교육에서도 변화가 필요하다. 과학 교육이 확립된 사실과 공식을 암기하는 데 머물면 학생은 과학 지식이 어떻게 만들어지고 수정되는지를 이해하기 어렵다. 과학이 과거에 틀렸다는 사례를 접했을 때 과학 전체를 불신하거나, 교과서의 내용을 영원히 변하지 않는 진리로 받아들일 수 있다.
학생은 관찰과 가설, 표본과 대조군, 측정 오류와 재현, 상관관계와 인과관계를 배워야 한다. 서로 충돌하는 연구를 비교하고, 자료의 한계를 설명하며, 어떤 증거가 자신의 판단을 바꾸게 할지를 생각하는 훈련도 필요하다. 이는 과학자를 양성하기 위한 전문교육이 아니라 정보사회에서 시민으로 살아가기 위한 기본교육이다.
한국 사회에서도 이 책은 중요한 시사점을 제공한다. 부동산과 교육, 저출생과 기후변화, 감염병과 에너지 정책처럼 복잡한 문제는 하나의 통계와 사례만으로 설명되지 않는다. 이해관계가 충돌하는 상황에서는 각 집단이 자신에게 유리한 연구를 선택적으로 인용하고, 반대 자료의 방법론적 약점을 과장할 수 있다.
이러한 논쟁을 개선하려면 더 많은 숫자를 제시하는 것만으로는 부족하다. 자료를 수집한 기관과 방법, 포함되거나 제외된 집단, 불확실성의 범위와 대안적인 해석을 함께 공개해야 한다. 정책이 시행된 뒤에는 사전에 정한 기준에 따라 결과를 평가하고, 기대와 다른 결과가 나오면 정책과 설명을 수정해야 한다.
법과 수사 영역에서도 이 책의 논점은 중요하다. 목격자의 기억과 과학수사의 결과는 모두 오류 가능성이 있다. 과학적 장비가 제공한 숫자라고 해서 절대적인 사실이 되는 것은 아니며, 한 사람의 확신에 찬 진술도 독립적인 증거 없이 받아들여서는 안 된다.
다양한 증거가 서로 독립적으로 같은 결론을 지지하는지, 측정 방법의 오류율과 오염 가능성이 검증되었는지를 확인해야 한다. 확신의 강도와 증거의 강도를 혼동하지 않는 태도는 개인의 자유와 안전에 직접적인 영향을 미친다.
기업과 조직의 의사결정에서도 같은 원리가 적용된다. 고객 만족도와 직원 성과, 시장 전망과 위험 분석은 모두 선택된 지표와 표본에 의존한다. 측정하기 쉬운 숫자가 실제로 중요한 가치를 대표하는지, 성공한 사례만 보고 실패한 사례를 놓치고 있지 않은지 점검해야 한다.
조직은 결과가 나온 뒤 성공 기준을 바꾸지 않도록 목표와 평가 방식을 미리 정해야 한다. 예상과 다른 자료가 나왔을 때 책임자를 비난하기보다 가설과 전략을 수정할 수 있는 문화도 필요하다. 오류를 숨기도록 만드는 조직에서는 사실보다 체면과 권력이 우선하게 된다.
개인의 일상적 판단에서도 이 책은 실용적이다. 건강정보와 금융 조언, 인간관계와 직업 선택에 관한 주장을 접할 때 출처와 증거 수준을 확인할 수 있다. 자신의 경험이 강렬하더라도 그것을 일반적인 규칙으로 확대하지 않고, 다른 설명의 가능성을 생각할 수 있다.
무엇보다 자신의 믿음과 일치하는 정보에 더 엄격한 질문을 던지는 습관이 중요하다. 내가 이 주장을 믿는 이유는 증거가 강하기 때문인지, 아니면 이미 믿고 싶었던 내용이기 때문인지 물어야 한다. 좋은 판단은 반대편의 오류를 발견하는 능력보다 자신의 확신을 시험하는 능력에서 시작된다.
? 누구에게 이 책을 추천하는가?
이 책은 가짜 뉴스와 음모론, 과장된 과학 보도 속에서 무엇을 믿어야 할지 혼란을 느끼는 독자에게 가장 먼저 추천할 수 있다. 저자는 단순한 사실 확인 요령을 제공하는 데 그치지 않고, 인간이 왜 잘못된 정보를 믿으며 과학적 연구 자체에도 어떤 오류가 발생할 수 있는지를 단계적으로 설명한다. 따라서 특정 주장의 참과 거짓을 넘어 판단의 구조를 이해하고 싶은 독자에게 적합하다.
과학과 통계에 익숙하지 않지만 연구 결과를 비판적으로 읽고 싶은 일반 독자에게도 유용하다. 어려운 수학 공식보다 일상적인 사례와 심리 실험, 의학과 법정의 사례를 통해 표본과 측정, 재현과 증거의 위계를 설명한다. 과학 논문을 직접 읽기 시작하려는 독자는 무엇을 먼저 확인해야 하는지 기본적인 방향을 얻을 수 있다.
언론인과 콘텐츠 제작자, 출판 편집자와 홍보 담당자에게도 추천한다. 연구 결과를 짧고 이해하기 쉽게 전달하는 과정에서는 과장과 생략이 발생하기 쉽다. 이 책은 정확성과 가독성을 동시에 유지하려면 연구의 어떤 조건과 한계를 반드시 보존해야 하는지를 보여준다.
교사와 교수, 교육 정책 담당자에게도 의미가 있다. 학생에게 과학적 결론만 가르치는 것이 아니라 그 결론이 어떤 과정을 통해 만들어졌는지를 설명하는 데 활용할 수 있다. 토론 수업과 미디어 문해력 교육, 연구 방법론의 입문 자료로도 적합하다.
의료인과 심리학자, 법률가와 수사 관계자처럼 증언과 측정, 확률적 자료를 함께 다루는 전문가에게도 추천할 수 있다. 전문적인 방법을 익숙하게 사용하다 보면 그 방법의 오류 가능성을 과소평가할 수 있다. 이 책은 자신의 전문 영역에서 당연하게 받아들인 절차를 다시 점검하도록 만든다.
정책 담당자와 공무원, 기업의 의사결정자에게도 유익하다. 통계와 연구를 근거로 결정을 내려야 하지만 자료의 대표성과 인과관계, 결과의 재현 가능성을 충분히 검토하기 어려운 사람에게 판단의 점검표를 제공한다.
과학에 대해 지나치게 낙관적인 독자와 지나치게 냉소적인 독자 모두에게 추천한다. 과학을 절대적으로 확실한 지식으로 보는 독자는 과학의 인간적·제도적 한계를 확인할 수 있다. 반대로 과학도 결국 의견에 불과하다고 생각하는 독자는 왜 일부 주장이 다른 주장보다 더 강하게 신뢰받을 수 있는지를 이해할 수 있다.
무엇보다 자신의 생각을 비판적으로 검토하고 싶은 독자에게 적합하다. 이 책의 원칙은 주로 타인의 오류를 공격하기 위한 도구가 아니다. 자신의 기억과 관찰, 익숙한 방법과 정치적 믿음도 같은 기준으로 의심해야 한다는 요구다. 자신의 확신을 수정할 준비가 된 독자일수록 이 책에서 더 많은 것을 얻을 수 있다.
? 이 책이 던지는 핵심 질문들
❓ 사실을 발견하고 해석하는 모든 과정에 인간의 관점이 개입한다면, 우리는 어떤 절차를 통해 개인의 의견과 독립적인 사실에 가까워질 수 있는가?
❓ 자신의 믿음과 일치하는 연구와 반대되는 연구에 같은 판단 기준을 적용하고 있는지 어떻게 점검할 수 있는가?
❓ 과학이 새로운 생각에 열려 있어야 한다는 원칙과 충분한 증거가 없는 주장을 사실로 인정해서는 안 된다는 원칙은 어디에서 균형을 이루어야 하는가?
#사실은의견일뿐이다 #과학적사고 #비판적사고 #미디어문해력 #인지편향 #ScientificThinking #CriticalThinking #FactChecking #ScienceLiteracy #EvidenceBasedReasoning