칸토르와 집합론
1. 칸토르의 삶
칸토르는 1845년 3월 3일에 러시아의 페테르부르크에서 태어났다. 그는 열한 살 때 프랑크푸르트로 이사하여 삶의 대부분을 독일에서 보내게 된다. 아버지는 유태교에서 프로테스탄트로 개종한 기독교인이었고 어머니는 독실한 카톨릭 신자였다. 이후 칸토르가 중세 신학과 연속성 및 무한대에 대한 증세 신학의 난해한 주장에 깊은 관심을 가지게 된 것을 볼 때 집안의 종교적 분위기가 그가 성장한 이후에도 영향을 미치고 있었음을 알 수 있다.
칸토르는 청소년기때부터 수학에 대한 굉장한 재능과 열성을 인정받고, 자신도 수학자가 될 결심을 하고 있었다. 그러나 현실적인 아버지는 아들이 수학적인 능력이 있음을 인정하면서도 공학 분야로 자아실현을 하기를 바랬다. 하지만 결국 칸토르는 자신이 하고 싶은 학문을 선택하게 된다. 그는 취리히, 괴팅겐, 베를린 대학에서 철학, 물리학, 수학을 배우고 1867년 베를린 대학에서 수론에 관한 논문으로 박사학위를 받았다. 집합론 발표 이전의 칸토르의 연구는 주로 수론에 집중되어 있는데, 특히 삼각함수(푸리에 급수) 이론에 관심을 가졌던 것 같다. 이 삼각함수 이론을 연구하기 위해서는 필연적으로 무한급수의 수렴에 관한 문제와 만나게 되는데, 여기에서 칸토르는 연속, 극한, 수렴 등의 밑바닥에 놓여 있는 '무한 그 자체'에 관심을 가지게 된다.
무한에 깊이 매료된 결과로 집합론을 발표하게 된다. 그러나 집합론의 발표 이후 그는 가시밭길을 걷게 되었다. 그는 베를린 대학의 교수가 되려는 희망을 가지고 있었지만, 죽을 때까지 이루지 못했다. 여기저기서 비판의 목소리가 들려왔었고 대표적인 비판자 중에는 그의 스승이었던 크로네커도 있었다.
칸토르의 정신 상태는 40세를 맞이하는 1884년부터 이상하게 되어 대학과 정신병원을 왕복하는 생활이 시작되었다. 선천적으로 신경이 약했던 탓도 있었겠지만, 온 신경을 집합론의 완성에 집중하면서 한편으로는 크로네커와 같은 최고 싸움꾼의 공격을 막아내느라 그의 신경이 많이 상했던 것 같다.
그가 정신병과 싸우면서도 그나마 집합론을 완성해 나갈 수 있었던 것은 그의 일생의 동지인 데데킨트의 덕분이라고 할 수 있다. 데데킨트 자신도 19세기 후반기의 독일 수학계의 '지도적인 사람들'로부터 그다지 좋은 평판을 얻지 못했기에 학문적인 평판이 나쁜 칸토르를 동정하는 입장이었다. 게다가 나이도 연상이며 온화한 성격에 수학에 대한 감각과 지적 능력도 칸토르보다 나은 면이 있었던 데데킨트는 칸토르의 마음을 달래는 역할 뿐 아니라 학문적으로도 '칸토르의 집합론'에 많은 기여를 했다.
수학의 기초를 둘러싸고 불꽃 튀는 논쟁이 벌어질 조짐이 보이던 1918년 1월 6일에 칸토르는 자기의 성과를 후배 수학자들에게 남겨주고 할레의 정신병원에서 숨을 거둔다. 힘겨운 그의 청년기, 장년기와는 달리 만년에는 자신의 업적을 인정받고 크로네커와의 죽기 전에 화해를 하게 된다. 처음에 칸토르와 데데킨트만이 외로운 투쟁을 했던 집합론도 그 즈음에는 많은 지지자가 있었다. 그리고 칸토르의 업적이 수학 전체, 특히 해석학의 기초를 닦는 데에 근본적으로 공헌했다는 사실이 받아들여지게 되었다.
2. 집합론
칸토르는 극한과 유리수, 무리수의 조밀성을 생각하던 중에 먼저 집합과 집합 사이의 크기를 비교하는 것이 중요하다는 생각을 하게 된다. 간단히 생각해보면 두 집합의 크기를 비교한다는 것은 각각의 집합의 원소들의 개수만 셀 수 있으면 가능하다고 여겨진다. 예를 들어 "당신은 오른손의 손가락 수만큼 왼손의 손가락 수도 가지고 있습니까?"하고 물어본다면, 오른손의 손가락 수를 세고, 다시 왼손의 손가락 수를 세어 양쪽 다 다섯 개씩 있으면 "예"라고 대답할 수 있다고 생각한다. 따라서 셀 수 있다는 것이 두 집합의 크기를 비교하는 필수 요건이고 이 셈법이 '같은 크기'를 판단하는 것보다 더 원시적인 개념이라고 생각된다. 그러나 칸토르는 이런 당연하다고 생각하는 개념을 뒤바꾸어 놓았다.
그의 생각을 따라가 보자. 먼저 수학적인 지식이 매우 한정된 원시인이 살고 있다고 생각하고 또 그들이 셀 수 있는 가장 큰 수는 3이고 그 이상은 셀 수 없다고 가정하자. 이 경우 그들은 오른손과 왼손의 수를 다 셀 수 없다. 왜냐하면 5까지 셀 수 있는 능력이 없기 때문이다. 셀 수 있는 능력이 없다고 해서 두 손의 손가락 수를 비교할 수 없지는 않다. 엄지는 엄지끼리 인지는 인지끼리 서로 맞대 보고, 새끼손가락까지 하나씩 대응시켜 보면 양 손은 똑같은 손가락 수를 갖고 있다고 말할 수 있다. 다른 예로, 굉장히 많은 사람이 체육관으로 몰려 들고 있다고 생각하자. 체육관 의자의 수와 관중의 수를 따로 따로 헤아려 봐야 어느 쪽이 많은지 판단할 수 있는가. 꼭 그럴 필요는 없다. 관중을 체육관의 의자에 앉혀 보면 어느 쪽이 더 많은지 알 수 있다.
이 예들은 매우 중요한 사실을 우리에게 가르쳐 주고 있는데 그것은 두 집합의 크기를 비교하는데, '세는 것'은 필수적인 요건이 아니며 오히려 1대 1 대응이라는 견지에서 본 '같은 크기'의 개념이 '세는 것'보다 더 기초적인 개념이라는 것이다. 그래서 칸토르는 ‘두 집합이 있을 때 어떤 일정한 법에 의하여 상호간의 둘 중 어느 한 집합에 속한 각 원소에 다른 집합의 유일한 원소가 대응되는 것’을 두 집합의 크기가 같다라고 정의 하고 집합의 크기를 나타내는 수를 기수(cardinal number)라고 이름 붙였다. 그리고 자연수와 같은 기수를 가지는 집합을 가부번이라고 하였다. 하나 예를 들자면 ‘대각화’ 증명을 통해 자연수 전체와 유리수 전체 사이에는 일대일 대응이 존재한다는 것을 알 수 있으므로 유리수 전체의 집합과 자연수 전체의 집합의 기수는 같고 따라서 유리수 집합은 가부번이라는 것을 알 수 있다
칸토르는 다시 실수집합이 가부번인지 아닌지에 의문을 가졌다. 결과적으로 실수는 비가부번이라는 것을 증명해 냈는데 이것은 (0,1) 사이의 모든 실수와 자연수 사이에는 일대일대응 대응이 존재한다고 가정했을 때 자연수에 대응되지 않는 실수가 존재한다는 것을 보임으로써 증명하였다. 칸토르가 이것을 증명하기전까지는 수직선에서 무리수와 유리수는 둘 다 조밀하게 분포되어 있다고 여겨져 왔으나 이로써 유리수보다 무리수가 훨씬 밀도가 높다는 것이 밝혀지게 된 것이다.
1874년에 더 놀라운 내용을 발표하였다. 실수 구간이 가부번인 것을 보이고 난후 칸토르는 초월수의 존재에 대해 관심을 가지게 되었다. 당시에는 알려진 초월수가 그리 많지 않아 실수에서 특이점 정도로만 여겨졌다. 칸토르는 임의의 구간에 포함되어 있는 대수적 수가 가부번임을 보이고 그 구간에 포함되어 있는 초월수가 가부번이면 실수가 가부번이 되어 모순이라는 것을 보임으로써 초월수는 비가부번이고 대수적 수보다 월등히 많다는 결론을 얻게 되었다.
이제 칸토르는 실수집합보다 더 큰 초한기는 없을까하는 의문을 품게 된다. 공간을 R*R과 같은 2차원으로 확대해 보기도 했지만 R^n공간 역시 R과 같은 기수를 가진다는 것을 알아낸다. 이에 칸토르는 멱집합을 생각해 내고 집합 X와 멱집합 2^x 사이에는 일대일 대응이 존재하지 않고 따라서 무한 집합 X의 기수보다 멱집합의 기수가 크다는 것을 증명해 낸다. 칸토르는 무한 초한기수의 제일 작은 수를 찾아내는 문을 열고 이보다도 큰 기수 c를 찾아냈을 뿐 아니라 마침내 끝없이 더 큰 기수를 만들어 내는 방도를 제시했다.
3. 집합론의 모순
하지만 집합론에는 칸토어 자신도 해결하지 못한 몇 가지 중요한 문제점들이 있다. 그 중에 하나가 러셀의 패러독스로 이름 붙여진 유명한 패러독스이다.
러셀은 1902년에 다음과 같은 집합 그 자체에만 관계되는 역설을 발견하였다. X를 임의의 집합이라 하고 N을 자기 자신을 원소로 갖지 않는 모든 집합의 집합이라고 하면
이제 X가 N이라고 하면 다음과 같은 모순을 얻는다.
이것은 1919년 러셀 자신에 의하여 자기 스스로 면도하지 않는 사람들만 면도해 준다고 말한 어떤 이발사에 관한 이야기로 알려졌다. 이 이야기의 역설적 특성은 "이발사는 스스로 면도하는가?" 라는 물음에 답을 하려고 할 때 나타난다. 만일 그가 스스로 면도를 한다면 자신의 주장과 일치하지 않으며, 그가 스스로 면도하지 않는다면 그는 자신의 주장에 따라야 한다. 집합론에서의 역설의 발견이 논리의 기초를 철저하게 고찰하도록 만들었다.
4. 칸토르를 괴롭혔던 문제
칸토르는 집합론의 창시자로 당대에 유일하게 무한집합에 대해 관심을 가지고 역사적인 성과를 얻어 낸 수학자였다. 무한집합과 무한집합간의 크기를 비교한다는 것과 서로 다른 크기를 가진 무한집합이 존재한다는 칸토르의 주장은 당시로서는 이해하기 받아들여지기 어려웠을 것이다. 그래서 수많은 비판자들과 맞서야 했다. 그 때문이기도 했겠지만 칸토르가 정신병원을 오고 갈 수 밖에 없었던 이유는 연속 공리에 지나치게 매달렸기 때문이라는 게 중론이다. 연속 공리란 ‘자연수의 기수보다는 크고 실수 기수보다는 작은 초한기수는 존재하지 않는다’는 것이다. 이것은 자연수와 실수의 기수가 각각 정수의 0과 1과 같은 역할을 한다는 뜻이다. 이 두 정수 사이에 들어가는 정수가 없듯이 자연수와 실수의 기수 사이도 그러하다는 것이다.
칸토르는 이 문제로 평생을 씨름하였다. 그러나 결국 증명해내지 못하고 생을 마감하게 된다. 이 문제는 이후에 괴델과 코헨에 의해 다른 방식으로 증명되었는데 즉 집합론의 공리로는 연속공리를 성립한다고도 성립하지 않는다고도 할 수 없다는 것이 증명되었다. 결국 이 공리는 집합론의 다른 공리로부터 독립이라는 것이다. 결국 칸토르는 답이 없는 문제를 푸느라 생의 많은 시간을 바친 것이다. 하지만 칸토르가 세운 집합론의 기초는 이 후 힐베르트가 “수학적 사고의 가장 놀랄 만한 성과임과 아울러 순수 지성적인 영역에서 인간이 구현해 낸 가장 아름다운 업적의 하나”라고 평가할 만큼 의미있는 성과였다.
참고 문헌
양영오.조윤동 역, 수학의 역사 下, 경문사
오승재 역, 수학의 천재들, 경문사
http://bald.nalove.cc/math/man/Cantor.htm