363년 동안의 수수께끼

□Fermat 의 마지막 정리□ 마침내 해결!

김 명 환 (서울대학교 수학과 부교수)

지난 6월 23일 영국 Cambridge 대학의 한 학술회의에 모인 수학자들은 수학사에 길이 남을 사건을 목격하고 있었다. 정확히 363년 동안 수많은 천재 수학자들의 도전을 물리치고 수학사의 가장 유명한 미해결의 문제로 남아 있던 □Fermat 의 마지막 정리(이후로는 FLT로 표기)□가 미국 Princeton 대학 수학과의 Andrew Wiles 에 의하여 증명되는 순간이었다. 이 소식은 곧, New York Times, le Monde 등의 세계 주요 일간지에 의하여 전세계에 알려 졌고, 시사 주간지 Time 등도 이 소식을 특집으로 다루었다. 그 후, 두 달 가량이 지난 지금 까지도 전세계 수학계는 놀라움과 감동으로 술렁이고 있다. Wiles 의 증명을 요약한 내용들이 아직도 electronic mail 을 통하여 세계 각국의 수학자들 사이를 홍수처럼 흐르고 있다.

물론, Wiles 의 증명은 아직 검증의 단계가 남아 있다. 200 쪽이 넘는 그의 논문은 지금 전문가들에 의하여 검증되고 있으며, 이러한 검증 작업은 상당한 시간을 요할 것으로 보인다. 실은, FLT를 증명하였다고 주장한 것은 Wiles가 처음이 아니다. 1847년에 Lame와 Cauchy가 증명하였다고 주장하였으나 틀린 것이 발견되었으며, 최근에는 1988년에 일본의 Miyaoka가 그들의 전철을 밟았다. 그럼에도 불구하고, Wiles 의 증명이 완전히 검증되기도 전에 전세계적으로 이러한 놀라움과 감동이 일고 있는 것은 그가 이 문제의 해결에 가장 가까이 접근하고 있던 몇 안되는 수학자중 하나였고 그의 증명 방법에 많은 전문가들이 고개를 끄덕이고 있기 때문이다.

그러면 도대체 Fermat는 누구이며 그의 마지막 정리란 어떤 것인가? Pierre de Fermat(1601-1655)는 France 의 Toulous 지방의 의원이자 판사였다. 그는 여가 시간에 수학을 공부한 아마추어 수학자였지만, Decartes와 함께 해석기하와 미적분 분야의 개척자로, Pascal 과 함께 확률론의 창시자로, 그리고 특히 정수론 분야에서는 현대 정수론의 아버지로 불리울 만큼 위대한 업적을 남긴 17세기 최고의 수학자중 한사람으로 여겨지고 있다. 그는 항상 Greece 의 Diophantus가 A.D.250년경에 쓴 □Arithmetika□의 Latin 번역판을 가지고 다니며 시간이 날 때마다 그 책에 소개된 수많은 미해결 문제를 증명하였으며, 또한 새로운 의문들을 제시하였다.

그는 이 모든 것을 그 책의 여백에 기록하거나, 다른 수학자들에게 보낸 편지에 기록하였다. 그가 죽은 후, 1670년에 그의 아들은 아버지가 들고 다니던 □Arithmetika□의 여백에 쓰여진 내용들을 원문에 추가하여 □Diophantus□라는 제목의 첫 번째 유고집을 출판하였고, 1679년에는 다른 수학자들에게 보낸 편지에 기록된 내용들을 모아서 □Varia Opera Mathematica□라는 제목의 두 번째 유고집을 출판하였다.

1800년대 초반에 이르러서, Euler, Lagrange, Gauss 등에 의하여 Fermat가 제기한 새로운 의문들은 하나만 남기고 모두 해결되었다. 마지막으로 남은 하나가 바로 □Fermat의 마지막 정리□이다. 마지막이란 수식어가 붙은 이유는 이 때문인 듯하다. 이 정리의 내용을 알아보자.

방정식 xn + yn = zn 에서 n = 2 이면 x = 3, y = 4, z = 5 가 방정식을 만족시키는 정수해가 된다. 이 경우, 사실은 이러한 정수해 x, y, z 가 무한히 많으며 그러한 해를 다 구할 수 있는 공식도 알려져 있다. (또한 이 경우, x, y, z 는 직각삼각형의 세 변의 길이가 된다는 것을 배운 기억이 나는 독자들이 있을 것이다.)

그러면 n 이 3 이상이면 어떠한가?  만약, x = 0 이면, y, z 를 아무 정수나 같은 것으로 놓으면 방정식의 해가 된다. y = 0 일 때도 마찬가지로 정수해가 존재한다. 이렇게 x, y, z 중에서 어느 하나라도 0 인 정수해를 자명한 해라고 부르자. FLT는 3 이상의 정수 n 에 대하여, 방정식 xn + yn = zn   이 자명한 해 이외에는 정수해를 가지지 않는다는 것이다. 즉, x, y, z 가 모두 0 이 아닌 비자명 정수해는 있을 수 없다는 뜻이다. 쉽게 알 수 있는 다음의 두 가지 사실을 주목하자.

(1) 방정식에 나타난 지수 n 이 3 이상의 소수인 경우에만 증명하면 된다.

(2) x, y, z 가 서로 소인 비자명 정수해가 존재할 수 없음을 보이면 된다.

Fermat는 지니고 있던 □Arithmetika□의 한 여백에 다음과 같이 기록하고 있다.

□... 나는 이러한 사실에 대한 아름다운 증명을 발견하였다. 그러나

이 책의 여백이 너무 좁아서 나의 증명을 다 담을 수가 없다. ...□

이것이 1630년에 쓴 것으로 알려진 유명한 □Fermat의 여백 기록(marginal notes)'이다. 그의 위대한 업적들을 감안할 때, 그의 주장을 거짓이라고 일축할 수 없었던 후세 수학자들은 그가 주장하고 있는 명제를 □Fermat의 마지막 예측(Conjecture)□이라고 부르는 대신 그가 증명하였음을 인정한다는 의미로 □Fermat의 마지막 정리(Theorem)□로 부르고 있다. 실제로 그는 n = 3,4 인 경우의 증명을 다른 곳에 기록하고 있으며, 이들 경우의 증명에서 사용한 방법이 일반적인 n = 5,6,7,.. 의 경우에 항상 적용될 것으로 생각했던 것으로 추측된다. 그러나 그의 방법은 일반적인 경우에 적용되지 않는다.

이제 FLT에 도전하여 부분적이나마 문제 해결에 기여한 수학자들과 그들의 업적을 연도별로 간략하게 알아보자.

1816 : France 학술원이 FLT의 증명에 상금을 걸다.

1825 : Dirichlet와 Legendre가 n = 5 인 경우를 증명하다.

1839 : Lame 가 n = 7 인 경우를 증명하다.

1847 : Lame 와 Cauchy가 틀린 증명을 발표하다.

Kummer가 소수를 정규 소수와 비정규 소수로 분류한 후, n 이

정규 소수인 경우를 증명하다. (예를 들어서, 100 이하의 소수

중에서 37,59,67 만 빼고는 모두 정규 소수이다.)

1850 : France 학술원이 FLT의 증명에  두 번째 상금을 걸었다가 취소하고

Kummer에게 메달을 수여하다.

1908 : FLT 증명에 수여할 Wolfskehl 상을 제정하다.

1920 : Vandiver 가 Kummer의 비정규 소수에 대한 연구를 발전시켜서,

특히, 37,59,67 의 비정규 소수의 경우를 증명하다. 따라서, 100

이하의 모든 소수에 대하여 증명되다.

1976 : Wagstaff이 125000 이하의 모든 소수에 대하여 증명하다.

(최근에는 컴퓨터를 이용 4000000 이하의 모든 소수에 대하여 증명)

1983 : Faltings가 Mordell의 예측을 증명함으로서, n 이 4 이상인 경우,

x, y, z가 서로 소인 정수해가 존재한다면 유한 개 밖에는 존재할 수

없음을 증명하다.

1988 : Miyaoka가 틀린 증명을 발표하였다가 취소하다.

위의 list 중에서 Kummer와 Faltings에 대하여는 약간의 언급이 덧붙이고자 한다. Ernst Kummer(1810-1893)는 평생을 바쳐서 FLT를 연구한 수학자였다. 결국 완전한 증명에 성공하지는 못하였으나 그가 증명을 위하여 개발한 이론은 대수적 정수론, 류체론 등의 분야의 발전에 결정적인 기여를 하였다. 그리고 Gerd Faltings는 Mordell 예측의 증명으로 1986년 전세계 수학계의 가장 권위 있는 상인 Fields 메달을 수여하였다. (Nobel 이 Nobel 상을 제정할 때 자신의 연적인 Mittag-Leffler가 수상할 것을 우려하여 수학 분야의 상을 제외하도록 하였다는 소문이 있다. 어쨌든, 수학계에서는 그 대신 4년에 한번씩 열리는 국제수학자대회에서 지난 4년 동안 가장 뛰어난 연구업적을 보인 수학자에게 Fields 메달을 수여하고 있다.)

그러면 Wiles 의 증명이 탄생하기까지의 과정을 간략히 소개하자. Wiles 는 타원 곡선을 연구하던 수학자로서, 특히, Shimura-Taniyama-Weil의 예측 (이후로는 STW 예측으로 표기) 의 일부를 증명함으로써, 363년에 걸친 FLT의 역사에 종지부를 찍었다. STW 예측은 1955년에 처음 제기된 예측으로 모든 타원 곡선에 modular 형식을 대응시킬 수 있다는 내용이다. FLT와는 관련이 없어 보이는 이 예측이 FLT와 밀접한 관련이 있을 것으로 생각한 것은 Frey였다. 그는 1980년대 초반, 3 보다 큰 소수 p 에 대하여, 방정식 xp + yp = zp 이 서로 소인 비자명 정수해 a, b, c 를 가진다면 a □ 3 (mod 4), b 는 짝수라고 가정할 수 있으므로, 이러한 정수해에 대하여, Frey 곡선이라고 불리는 타원곡선 y2 = x(x - ap)(x + bp) 를 대응시켰고, 1985년에 Serre와 함께 STW 예측과 Serre의 예측을 증명하면 FLT가 해결된다는 사실을 밝혀 내었다. 그리고 다음해에 Ribet이 Serre의 예측을 증명하였다.

Serre의 예측은 Galois Representation 과 관련된 내용으로서 이를 증명함으로써 Frey 곡선에는 modular 형식을 대응시킬 수 없음을 알게 되었다. 이제, STW 예측을 증명하게 되면, Frey 곡선도 타원 곡선이므로 modular 형식이 대응되어야 하는데 이는 앞서의 주장과 서로 모순이 되므로, Frey 곡선은 존재할 수 없게 된다. 그러므로, xp + yp = zp 이 서로 소인 비자명 정수해 a, b, c 를 가질 수 없고, 따라서 FLT가 증명된다. (Fermat가 발견했을 지도 모르는 증명 방법이 이 방법과 같은 것일 가능성은 매우 희박하다.)

Wiles 는 1986년 Ribet의 결과가 나온 이후부터 7년 동안 semi-stable한 타원 곡선에는 항상 modular 형식을 대응시킬 수 있음을 보이는 연구에 몰두한 끝에 증명에 성공한 것이다. 이것은 STW 예측의 부분적인 증명에 지나지 않으나 Frey 곡선도 semi-stable한 타원 곡선이므로 FLT를 해결하기에는 충분한 결과인 것이다. Wiles 의 증명에는 STW 예측과 관련한 Mazur, Kolyvagin, Rubin, Tunnel, Langlands 등의 연구 결과가 이용되었다.

결국, Wiles의 증명에 대한 검증이 끝나면 □Fermat의 마지막 정리□의 증명에 대한 spot light는 모두 그에게 돌아가고, 그는 내년에 열리는 국제수학자대회에서 영광의 Fields 메달을 수상하게 될 것이 거의 확실하다. 하지만, 그의 업적은 위에서 본 것과 같이 많은 수학자들의 합작품이라고 할 수 있다. 전세계의 수학자들은 Wiles를 비롯한 이들의 쾌거에 감동에 찬 찬사를 보내고 있다. 363년간 버티고 서서 모든 수학자들의 도전을 뿌리쳐 오던 도저히 정복될 것 같지 않던 □Fermat의 마지막 정리□라는 거대한 산이 마침내 정복되었다. 인간의 지적 능력이 이룩한 또 하나의 금자탑을 바라보면서 앞으로 남은 □Riemann 가설□, □Poincare 예측□, □Goldbach 예측□ 등의 산을 정복할 즈음엔 우리의 젊은이들이 주역이 되어 주기를 기대해 본다.

인재제일(삼성물산 사보) 1993. 9-10월호, pp.72-73.