오래전부터 수학은 혼돈과 의문에서 벗어날 수 있는 안식처이자, 답을 구하는 곳으로 여겨졌다. 수학의 신비로운 이미지는 수학자들을 초자연적인 천재로 그려낸 전기(biography)로부터 비롯된 것 같다. 전기에서의 수학자들은 자연의 가장 깊은 곳에 있는 진리를 끌어내 한 글자 한 글자 신중하게, 명상하듯이 간결하고 정확한 문자로 옮기곤 한다. 필자는 물리학을 전공하는 대학원생으로서 정교한 실험에 얼마나 많은 노력이 필요한지 잘 알고 있지만, 수학적 발견을 향한 수학자들의 노력은 그와는 완전히 다른, 낯선 세계다. 인기 있는 수학 서적도 대부분이 목사가 신자들에게 설교하는 듯한 어조를 띄고 있어 더더욱 낯설게 느껴진다. 

물리학에서의 질문과 이론은 근본적인 현실을 더 잘 설명하기 위한 것이다. 반대 전하가 서로를 끌어당기거나, 무질서 또는 엔트로피가 증가하는 등의 물리학 개념들은 우리의 경험을 바탕으로 하고 있어 일상적인 비유를 사용해 설명할 수 있다. 필자는 누군가에게 나 자신을 소개할 때도 종종 물리학 용어를 사용한다. 그러나 인생의 대부분을 수학과 가까이 지냈음에도 수학 연구는 여전히 이해하기 어렵다. 수학 연구에 동기를 부여하는 것은 무엇이고, 그 궁극적인 목표는 무엇일까? 수학의 세계에 빠진 사람들에게 세상은 어떻게 보일까? 그래서 수학의 살아있는 전설로 불리는 테런스 타오(Terence Tao)의 ‘수학적 사고(mathematical thinking)’에 대한 온라인 강의를 들으며 그것을 확인해 보기로 했다. 

온라인 강의 플랫폼 ‘마스터클래스(MasterClass)’에서 제공하는 타오의 강의는 영화 한 편 정도의 길이다. 초반에는 꽤 흥미로웠다. 타오는 시종일관 차분하고 자신감 있게 강의를 진행했다. 그는 수학적 사고가 복잡한 세상을 쉽게 다룰 수 있게 해준다고 강조했다. 그리고 이 강의는 수학을 본격적으로 배우지 않은 사람들에게 더 적합하다고 말했다. 그러나 얼마 지나지 않아, 수학의 신비를 알아내려는 나의 이번 시도가 헛된 것이었음을 깨닫게 됐다. 

강의 내내 타오는 흰색 팔걸이 의자에 앉아있고 칠판도, 펜도, 종이도 보이지 않는다. 그는 “수학은 정확한 의사소통을 위한 언어”라고 말하면서 소통을 위한 그 강력한 도구를 사용하지 않았다. 그는 시험을 망쳤던 경험이나 창문 커튼을 설치하기 위해 고군분투한 경험을 통해 강의를 쉽게 풀어가려 노력했지만 필자는 수학의 세계와 가까워지는 느낌을 받지 못했다. 90분의 강의는 결국 심리상담 모임과 비슷한 결론으로 끝났다. “모든 것은 연결돼 있다”, “실패를 포용하라” 이런 것들 말이다. 

수학의 세계로 들어가려다 실패한 사람이 또 있다. <뉴요커(New Yorker)>지의 기자이자 자기계발에 오랫동안 매진해 온 알렉 윌킨슨(Alec Wilkinson)이다. 그는 학창 시절 손을 놓았던 대수학, 기하학, 미적분학 등 기초 수학을 정복하기 위해 1년간의 프로젝트를 진행했다. 그리고 2022년 출간한 《신성한 언어(Divine Language)》을 통해 고등학교 시절 겪은 수학의 역경으로부터 구원받기 위한 여정을 묘사했다. 그는 책에 “수학은 나를 괴롭히고 힘들게 했다. 이제 반세기를 살아온 인생의 지혜를 힘입어 수학이 더 이상 나를 비웃지 않도록 복수하러 왔다”라고 썼다. 

윌킨슨은 필자보다 더 나은 계획을 세웠다. 그는 수학 교수인 조카의 도움을 받아 기본 교과서부터 공부하기 시작했다. 그러나 대수학의 첫 단계부터 쉽지 않았다. 아이들처럼 규칙을 쉽게 받아들이지 않는 어른의 회의적인 시각도 방해가 됐다. 변수의 덧셈과 곱셈, 분수와 지수의 규칙 같은 것들 말이다. 그는 수학 교과서의 문구들도 엉망진창이라고 생각했다. 

교과서의 문구는 교만한 어조로 학생들을 무시하고 연습 문제들은 의미 없는 훈련을 반복시킨다. 

“수학 교과서들은 수학 공부가 재미있을 뿐만 아니라 청소년의 의무인 것처럼 표현한다. 교과서에는 무언가가 빠져있고, 언어 선택이 부주의하며, 문장은 무질서하다. 어조는 쾌활하지만 종종 참을성이 없어 보인다”라고 윌킨슨은 설명했다. 그는 일주일에 6일이나 7일, 하루에 6시간씩 대수학과 씨름하고 다른 시간에도 이를 고민했지만 실력은 향상되지 않았다. 그는 성인이 대수학을 다시 공부하는 것은 “몇 년 동안 보지 않았던 사람을 만나, 그 사람을 좋아하지 않았던 이유를 상기하는 것과 같다”라고 말했다. 

그러나 교과서를 벗어나면 수학을 둘러싼 신비주의가 윌킨슨을 사로잡았다. 그와 대화를 나눈 수학자들은 수학을 거의 종교처럼 여기며 자신을 초월적인 질서의 개척자로 여기고 있었다. 조카에게 수학을 도저히 정복할 수 없다고 불평하자 “수도원에서 수행한다고 생각하세요. 저를 믿으셔야 해요”라는 대답을 들었다. 조카나 다른 사람들은 수학에서 패턴과 질서를 봤지만 그가 볼 수 있는 것들은 모순과 불명료함, 혼돈뿐이었다. 마치 혼자서만 천사를 보지 못하는 수도사 같았다. 그는 어릴 때 공부하지 않은 자신을 비난하게 됐다. 왜 아이 같은 감수성이 있었을 때 수학을 더 열심히 공부하지 않았을까? 

그로부터 1년이 지나자 윌킨슨은 미적분 문제를 조금은 풀 수 있게 됐지만 그 여정은 여전히 고난으로 가득했다. 수학은 논리를 문법으로 사용하는 언어다. 스페인어를 배울 때는 어느 정도의 단어는 어렵지 않게 배우면서 새로운 문화를 빠르게 경험할 수 있다. 반면 수학의 입문 단계는 엄격한 데다 추상화(abstraction)를 강요하고 어떠한 응용도 허락하지 않는다. 윌킨슨은 수학자들의 세계에서도 응용 수학을 조롱하는 시각이 있음을 발견했다. 1940년 영국의 수학자 G.H. 하디(G.H. Hardy)가 “응용 수학자들의 위치라니, 조금 한심하지 않은가?”라고 말한 것이 그 예다. 최근의 예로는 미국의 수학자 존 배즈(John Baez)가 “추상화가 싫다면 왜 수학을 연구하는가? 모든 숫자 앞에 달러 표시가 붙는 금융계로 전향하는 게 낫다”라고 말한 적이 있다. 이처럼 변함없는 충성에 수학이 유일한게 보답한 것은 컬트 종교와 같은 깊은 통찰뿐이다. 

필자와 윌킨슨은 수학을 가르치는 데 사용되는 매체의 무능함에 좌절했다. 모든 교과서가 접근성을 염두에 두고 제작되는 것은 아니다. 교과서는 교만한 어조로 학생들을 무시하고 연습 문제는 의미 없는 훈련을 반복시킨다. 전반적인 내용을 파악하는 것조차 쉽지 않다. 우리는 공감이 필요했다. 즉, 수학의 추상화를 이미 정복하고 초보자들에 인내심 있게 가르칠 수 있는 사람이 절실했다. 

수학자이자 콘서트 피아니스트인 유지니아 쳉(Eugenia Cheng)이 그런 존재였다. 

필자가 쳉에게 관심을 갖게 된 이유는 같은 베이킹 취미를 갖고 있기 때문이었다. 스탠드 믹서와 다양한 페이스트리 브러시를 보유한 필자에게 쳉의 저서 《케이크, 커스터드, 그리고 범주론(Cakes, Custard and Category Theory)》은 너무나 달콤하게 들렸다. 첫 번째 챕터는 브라우니 레시피를 통해 수학의 인식론적 성격을 설명한다. 쳉은 수학에서 새로운 아이디어를 발견하는 것은 수플레 레시피를 망친 결과가 쿠키가 되는 것과 비슷하다고 말한다. 정말 쉽게 이해할 수 있었다. 

수학과 관련된 인기 서적들의 대부분은 주식 시장이나 포커의 확률에 대해 설명하면서 독자들이 쉽게 접근할 수 있도록 한다. 소수와 무한의 신비를 시적으로 표현하는 서적들도 있다. 그러나 쳉은 그가 수학의 가장 기본이라고 믿는 범주론을 가르치며 수학적 추상화의 세계로 독자들을 끌어들인다. 

범주론은 난해해 보이지만 수학적 논리의 기본 문법이나 다름없다. 쳉은 수학 연구가 얼마나 평범한 것인지를 독자들에게 알려주고 싶어 한다. 단순하고 불변적인 이치들을 복잡한 논증으로 연결하는 것은 작은 레고 조각들로 우주선을 만드는 것과 같다. 쳉의 책은 우리의 세계를 바꾸고, 추상화를 통해 사고를 단순화하며, 수학적 용어로 세상을 해석하고 분석할 수 있게 해 준다. 

《케이크, 커스터드, 그리고 범주론》 또는 《파이 굽는 법(How to Bake Pi)》이라는 제목으로 출간된 이 책을 읽다 보면 디저트는 수학을 설명하는 수단임을 알게 된다. 각 챕터는 다양한 레시피로 시작하여 수학과 베이킹 사이의 유사성으로 내용을 이어간다. 극도의 정밀함이 요구되는 퍼프 페이스트리는 수학 연구와 닮았다. 다른 챕터에서는 케이크를 굽는 올바른 방법은 없으며 재료와 기술적 요소를 반영해야 한다고 가르친다. 

쳉은 논리적인 어휘를 사용하면 대립하는 진영 사이의 갈등 해결에 어느 정도 도움이 될 수 있다고 생각한다.

쳉의 신간 《추상화의 즐거움(The Joy of Abstraction)》도 비슷한 주제를 다루지만 좀 더 학부 교과서에 가깝다. ‘동형사상’, ‘함수’와 같은 제목을 가진 각 챕터에서는 범주론의 이론을 엄격하게 소개하면서 학생들이 정리와 증명, 연습을 할 수 있도록 구성돼 있다. 쳉은 특정 개념들의 경우 어휘 및 의미적인 차원에서 현실과 유사한 부분이 있다고 설명한다. ‘함수’는 자판기로, ‘집합’은 사람들의 모임으로 볼 수 있다. (그리고 이 집합은 ‘친구’의 집합으로 ‘분할’할 수 있다) 이처럼 쳉은 우리에게 친숙한 대상을 활용해 독자들의 접근성을 높인 후 논리를 사용하는 수학적 개념의 설명에 들어간다. 쳉의 책은 초보자들을 위한 기본적인 수학 입문서로 수학자들의 일상적인 생각을 엿볼 수 있게 해 준다. 

쳉의 수학책이 학부 교과서들과 확실히 다른 한 가지 부분이 있다. 쳉은 지속적으로 수학의 정제 과정을 통해 세상을 이해할 수 있고, 추상화된 수학에서 얻은 통찰력은 공감과 정의감을 길러줄 수 있다고 강조한다. 친구가 고통스러운 일을 겪었다면 그 상처에 공감하겠다고 모든 사실을 파헤칠 필요가 없으며, a) 친구가 사랑했던 것이 있었고, b) 그것을 최근에 잃었다는 정도만 알고 있으면 충분하다. 

쳉은 또 다른 저서 《논리의 기술: 이해 못 할 세상을 수학적으로 이해하는 방법》(2020, 열린책들)에서 범주론이 특권, 성희롱, 인종차별, 가짜뉴스에 대한 논의에도 적용될 수 있다고 주장한다. 예를 들어 사회 복지에 대한 논의는 ‘거짓 양성(false positives)’과 ‘거짓 음성(false negatives)’이라는 용어로 설명될 수 있다. 거짓 음성은 도움이 필요하지만 받지 못하는 사람이고, 거짓 양성은 도움이 필요하지 않지만 받는 사람이다. 쳉은 이러한 접근법으로 어려운 사람들을 도울지 말지 결정하는 것이 아니라 (당연히 도와야 한다) 거짓 양성과 거짓 음성을 어느 정도까지 수용할지 생각해 볼 수 있다고 강조한다. 사회 복지에 들어가는 비용을 줄이려는 사람은 거짓 양성이 시스템을 악용해 원래는 받을 수 없는 혜택을 가져가고 있다고 생각할 것이다. 쳉은 논리적인 어휘를 사용하면 대립하는 진영 사이의 갈등 해결에 어느 정도 도움이 될 수 있고 (어쨌든 그들 모두 사람들을 돕고 싶어 한다) ‘어느 정도’, ‘어떤 상황에서’와 같이 좀 더 세분된 논의로 발전할 수 있다고 생각한다. 

쳉은 논리적 유추를 사용하면 공감을 끌어낼 수 있다고 믿는다. 과거에 그는 특권이나 침해에 저항하는 남성들을 잘 이해하지 못했다. 그러나 같은 학교를 졸업한 친구들이 부모의 도움을 받아 성공을 누리는 반면, 자신은 일에 매달려야 되는 상황에서 느낀 분노를 생각하자 그들을 공감할 수 있게 됐다. 개인이 경험이 집단의 일반적인 상황과 대립할 때 감정은 증폭될 수 있다. 

그러나 이러한 접근법을 더 복잡한 사례에 적용하기에는 어려움이 있다. 쳉의 책에서는 ‘특권의 큐브(cube of privilege)’라는 다이어그램이 자주 등장한다. 큐브의 한 모서리에는 빈 집합 {}이 있다. 이 모서리부터 세 방향으로 이동하면 백인, 남성, 부자의 특권 중 하나를 가질 수 있다. 그리고 차례대로 끝까지 이동하면 세 가지 특권을 모두 가진 반대쪽 모서리에 도달한다. 즉, {백인, 남성, 부자} 집합이 된다. 

범주론자에게 있어 이 큐브는 교차성을 가장 단순하게 설명하는 방법이다. 교차성은 계급, 성별, 인종과 같은 특성들이 상호적으로 작용해 복합적인 불평등을 만들어 낸다는 개념이다. 쳉의 다이어그램은 다차원에서의 특권의 조합이 어떤 식으로 복잡한 계층을 형성하는지 보여준다. 세 가지 특권을 모두 가진 사람들은 두 가지 특권을 가진 사람들보다 부유한 삶을 누린다. 그러나 ‘부유하지 않은 백인 남성’이 ‘부유한 비백인 남성’을 보면 분노하는 이유 같이 더 복잡한 질문에 적용한다면 그 결론은 만족스럽지 않다. 쳉은 “특권의 큐브에서는 부유한 비백인 남성에서 부유하지 않은 백인 남성으로 연결되는 길이 없다. (이 두 그룹은 서로 연결되지 않는 대각선의 모서리에 위치한다) 그러므로 특권 이론은 이 두 그룹의 상대적인 상황을 설명할 수 없다”라고 설명한다. 이러한 설명은 논리적인 일관성은 있지만, 필자가 몇 주에 걸쳐 추상적 추론을 공부한 이후 배우길 기대하는 수사적인 해답은 아니다. 

사람들은 언어의 모호함을 피하고자 수학적 논리를 적용하지만, 이러한 논리들이 항상 윤리적이지는 않다. 예를 들어 맬서스의 인구 폭발에 대한 공포는 지수함수를 적용한 것으로 이후 대량 학살이나 반이민 정책을 정당화하는데 사용됐다. 수학적으로 영감을 받은 컴퓨터 모델들도 편향성을 지닌 경우가 많다. 1994년 출간된 논란의 서적 《벨 곡선(The Bell Curve)》은 수학적인 제목 뒤에 인종과 지능을 연결하는 시도를 숨기고 있다. 그리고 성경이나 19세기 정치사상가 알렉시스 드 토크빌의 《미국의 민주주의》(2002, 한길그레이트북스) 같은 유명한 서적은 물론, 수학의 방대한 문헌에서는 어떤 종류의 생각이라도 정당화하고 강화할 수 있는 근거를 찾을 수 있다. 반발을 가져오거나, 문제가 되거나, 어리석은 생각이라도 말이다. 

그러나 수학을 쉽게 설명하기 위한 유지니아 쳉의 임무는 여전히 매우 고귀하다. 쳉은 철저한 증명을 통해 논증을 구성하려 하고, 무엇보다 독자들이 세상을 수학적 시각으로 볼 수 있도록 한다. 이 시각은 때로는 기이하고 때로는 관용적이기도 하다. 만약 이 시각에 동의하기 어렵더라도 쳉의 책은 다른 사람에게 복잡한 생각을 전달하기가 쉽지 않고, 특히 문화와 언어가 다른 경우 이 과정이 더 어려워질 수 있다는 교훈을 준다. 그러므로 우리 모두가 생각을 부드럽고 명확하게 표현하는 기술을 갈고 닦는다면 큰 혜택을 볼 수 있을 것이다. 

필자가 수학의 세계에서 가장 영감을 받은 부분은 수학이 오랜 세월을 거슬러 내려왔고 문명을 초월했다는 공통점을 가지고 있다는 점이다. 수학은 전 세계적으로 다양한 발견들을 통합하는 데 기여했고, 수 세기 전에 제기된 수학적 난제들은 여전히 풀리지 않은 상태로 남아있다. 이러한 수학의 세계가 초보자들에게 어렵게 느껴지는 이유는 한때 풍부하고 생경했던 수천 년 전의 수학을 현대 수학이 난해한 상징과 용어들로 축소했기 때문이다. 인기 있는 수학책들은 이러한 상황에 신선한 시각을 제시한다. 베이킹이 됐든, 정치적 사안이 됐든 수학을 가르치는데 새로운 아이디어를 채택하지 못할 이유가 있을까? 

이 글을 쓴 프라딥 니룰라(Pradeep Niroula)는 워싱턴 DC의 물리학 박사과정 수료자다.