Fermat의 마지막 정리

김 명 환 (서울대학교 수학과 부교수)

지난 1993년 6월 23일 영국 Cambridge 대학의 한 학술회의에 모인 수학자들은 수학사에 길이 남을 사건을 목격하고 있었다. 360 여년 동안 수 많은 수학자들의 도전을 물리치고 수학사의 가장 유명한 미해결의 문제로 남아 있던 □Fermat의 마지막 정리(Fermat's Last Theorem - 이후로는 FLT로 표기)□가 미국 Princeton 대학 수학과의 Andrew Wiles 교수에 의하여 증명되는 순간이었다. 이 소식은 곧 Daily News, New York Times, Le Monde 등 주요 일간지에 의하여 전세계에 알려 졌고, 시사 주간지 Time, Newsweek 등도 이 소식을 특집으로 다루었다. 그 후로도 Wiles의 증명에 gap이 발견되고 다시 증명이 보완되어 마침내 1995년 5월 세계 최고의 권위를 자랑하는 수학전문 학술지인 Annals of Mathematics(141권 3호)에 130쪽에 달하는 FLT의 완전한 증명이 활자화되기 까지 약 2년간 전세계 수학계는 놀라움과 감동으로 술렁이며 FLT의 정복 여부에 촉각을 곤두세웠고 이에 관한 소식들이 electronic mail 을 통하여 세계 각국의 수학자들 사이에 홍수 처럼 흘러 넘쳤다.

대부분의 권위있는 수학 전문학술지는 투고된 논문에 대하여 해당분야의 전문가들에 의한 검증의 단계를 거쳐 논문에 오류가 없음을 확인한 연후에 게재승인을 하고 활자화한다. 특히 Annals of Mathematics와 같은 학술지는 세계 최고의 전문가들이 철저한 검증을 하기 때문에 Wiles의 증명이 옳음을 의심하는 수학자는 아무도 없다. 더구나 Wiles의 증명이 활자화된 후 지금까지 약 2년 반 동안 전세계 수학계의 주시하에 많은 전문가들이 검증을 하였지만 아무도 오류를 찾을 수 없는 완벽한 증명으로 인정받고 있다.

FLT를 증명하였다고 주장한 것은 Wiles가 처음은 아니다. 1847년에 Lame와 Cauchy가 증명하였다고 주장하였으나 틀린 것이 발견되어 주장을 철회하였으며, 최근에는(1988년) Miyaoka가 그들의 전철을 밟았다. 실은 그들도 모두 당대의 저명한 수학자들이었으나 그들이 FLT의 증명을 주장하였을 때 대부분의 다른 전문가들은  별로 믿는 분위기가 아니었다.

그러나 1993년에 Wiles의 FLT 증명에 관한 소식이 처음 알려졌을 때에는 아직 그의 증명이 검증되지 않았음에도 불구하고 - 실제로 큰 gap이 있었음은 앞서 언급하였다 - 전세계가 놀라움과 감동으로 주시하였던 것은 그가 FLT의 해결에 가장 가까이 접근하고 있던 몇 안되는 전문가 중 하나였고 그의 FLT에의 접근 방법에 많은 전문가들이 고개를 끄덕이고 있었기 때문이다.

그러면 도대체 Fermat 는 누구이며 그의 마지막 정리란 어떤 것인가? Pierre de Fermat(1601-1655)는 France 의 Toulous 지방의 의원이자 판사였다. 그는 여가 시간에 수학을 공부한 아마추어 수학자였지만, de Cartes 와 함께 해석기하와 미적분 분야의 개척자로, Pascal 과 함께 확률론의 창시자로, 그리고 특히 정수론 분야에서는 현대 정수론의 아버지로 불리울 만큼 위대한 업적을 남긴 17세기 최고의 수학자중 한사람으로 여겨지고 있다. 그는 항상 Greece 의 Diophantus 가 A.D.250년경에 쓴 □Arithmetika□의 Latin 번역판을 가지고 다니며 시간이 날 때마다 그 책에 소개된 수많은 미해결 문제를 증명하였으며, 또한 새로운 의문들을 제시하였다. 그는 이 모든 것을 그 책의 여백에 기록하거나, 다른 수학자들에게 보낸 편지에 기록하였다. 그가 죽은 후, 1670년에 그의 아들은 아버지가 들고 다니던 □Arithmetika□의 여백에 쓰여진 내용들을 원문에 추가하여 □Diophantus□라는 제목의 첫 번째 유고집을 출판하였고, 1679년에는 다른 수학자들에게 보낸 편지에 기록된 내용들을 모아서 □Varia Opera Mathematica□라는 제목의 두 번째 유고집을 출판하였다.

1800년대 초반에 이르러서, Euler, Lagrange, Gauss 등에 의하여 Fermat 가 제기한 새로운 의문들은 하나만 남기고 모두 해결 되었다. 마지막으로 남은 하나가 바로 □Fermat의 마지막 정리□이다. 마지막이란 수식어가 붙은 이유는 이 때문인 듯하다. 이제 이 정리의 내용을 알아 보자.

□Fermat의 마지막 정리□ : n □ 3 인 임의의 자연수 n 에 대하여,

방정식 xn + yn = zn 은 0 아닌 정수해 x, y, z 를가질 수 없다.

Fermat 는 지니고 있던 □Arithmetika□의 한 여백에 다음과 같이 기록하고 있다.

□... 나는 이러한 사실에 대한 아름다운 증명을 발견하였다. 그러나

이 책의 여백이 너무 좁아서 나의 증명을 다 담을 수가 없다. ....□

이것이 1630년에 쓴 것으로 알려진 유명한 □Fermat 의 여백 기록(marginal notes)'이다. 그의 위대한 업적들을 감안할 때, 그의 주장을 거짓이라고 일축할 수 없었던 후세 수학자들은 그가 주장하고 있는 명제를 □Fermat 의 마지막 예측(Conjecture)□이라고 부르는 대신 그가 증명하였음을 인정한다는 의미로 □Fermat 의 마지막 정리(Theorem)□로 부르고 있다. 실제로 그는 n = 3,4 인 경우의 증명을 다른 곳에 기록하고 있으며, 이들 경우의 증명에서 사용한 방법이 일반적인 n = 5,6,7,.. 의 경우에 항상 적용될 것으로 생각했던 것으로 추측된다. 그러나 그의 방법은 일반적인 경우에 적용되지 않는다.

먼저, 쉽게 관찰할 수 있는 다음의 두 가지 사실을 주목하자.

(1) 방정식에 나타난 지수 n 이 3 이상의 소수 p 인 경우에만 증명하면 된다. (소수 p 와 0 아닌 정수해 x, y, z 에 대하여, xyz 가 p 의 배수가 아닌경우를 첫번째 경우, 배수인 경우를 두번째 경우라고 한다. 두번째 경우가 훨씬 어려운 것으로 알려 져 있다.)

(2) x, y, z 가 서로 소인 0 아닌 정수해가 존재할 수 없음을 보이면 된다. (이제 부터 정수해는 항상 0 아닌 정수해를 뜻하는 것으로 간주한다.)

이제 FLT 에 도전하여 부분적이나마 문제 해결에 기여한 수학자들과 그들의 업적을 연도별로 간략하게 알아 보자.

1816 : France 학술원이 FLT 의 증명에 상금을 걸다.

1820 : Germain 이 2p + 1 도 소수가 되는 p 에 대하여 FLT 의 첫번째 경우

를 증명하다.

1825 : Dirichlet 와 Legendre 가 n = 5 인 경우를 증명하다.

1839 : Lame 가 n = 7 인 경우를 증명하다.

1847 : Lame 와 Cauchy 가 틀린 증명을 발표하다.

Kummer 가 소수를 정규 소수와 비정규 소수로 분류한 후, n 이

정규 소수인 경우를 증명하다. (예를 들어서, 100 이하의 소수

중에서 37,59,67 만 빼고는 모두 정규 소수이다.)

1850 : France 학술원이 FLT 의 증명에  두번째 상금을 걸었다가 취소하고

Kummer 에게 메달을 수여하다.

1908 : FLT 증명에 수여할 Wolfskehl 상을 제정하다.

1909 : Wieferich 가 Fermat 몫 (2p-1 - 1)/p 가 p 의 배수가 아닌 p 에

대하여 FLT 의 첫 번째 경우를 증명하다.

1920 : Vandiver 가 Kummer 의 비정규 소수에 대한 연구를 발전시켜서,

특히, 37,59,67 의 비정규 소수의 경우를 증명하다. 따라서, 100

이하의 모든 소수에 대하여 증명되다.

1976 : Wagstaff 이 125000 이하의 모든 소수에 대하여 증명하다.

(최근에는 컴퓨터를 이용 4000000 이하의 모든 소수에 대하여 증명하

였으며, 이것을 이용하면, FLT 가 틀릴 확률은 1/1024000000 보다 작음

을 보일 수 있다.)

1983 : Faltings 가 Mordell 의 예측을 증명함으로서, n 이 4 이상인 경우,

x,y,z 가 서로 소인 정수해가 존재한다면 유한 개 밖에는 없음을

증명하다. (그는 이 업적으로 1986년 Fields 메달을 수상하였다.)

1988 : Miyaoka 가 틀린 증명을 발표하였다가 취소하다.

그러면 Wiles 의 증명이 탄생하기 까지의 과정을 간략히 소개하자. Wiles 는 타원 곡선 (y2 = ax3 + bx2 + cx + d (a □ 0) 꼴의 곡선) 을 연구하던 수학자로서, 특히, Shimura-Taniyama-Weil 의 예측 (이후로는 STW 예측으로 표기) 의 일부를 증명함으로써, 363년에 걸친 FLT 의 역사에 종지부를 찍었다. STW 예측은 1955년에 처음 제기된 예측으로 모든 타원 곡선에 소위 modular 형식을 대응시킬 수 있다는 내용이다. FLT 와는 관련이 없어 보이는 이 예측이 FLT 와 밀접한 관련이 있을 것으로 생각한 것은 Frey 였다. 그는 1980년대 초반에, 3 보다 큰 소수 p 에 대하여, 방정식 xp + yp = zp 이 서로 소인 정수해  u, v, w 를 가진다면  u □ 3 (mod 4), v 는 짝수라고 가정할 수 있는데, 이러한 정수해에 대하여, Frey 곡선이라고 불리는 타원곡선 y2 = x(x - up)(x + vp) 를 대응시켰고, 1985년에 Serre 와 함께 STW 예측과 Serre 의 예측을 증명하면 FLT 가 해결된다는 사실을 밝혀 내었다. 그리고 다음해에  Ribet 이 modular Galois Representation 과 관련된 Serre 의 예측을 증명함으로써 Frey 곡선에는 modular 형식을 대응시킬 수 없음을 알게 되었다:

복소수평면에서 허수 부분이 양수가 되는 영역에서 정의된 미분가능한 복

□ a b □

소함수 F(z) 가, 어떤 자연수 N, k 와 임의의 행렬         □ SL2(□) 에 대하

□ c d □

여 (단, c 는 N 의 배수), F((az + b)/(cz + d)) = (cz + d)k F(z) 의 변환공식을 만족시킬 때, F(z) 를 무게 k, 수준 N 인 modular 형식이라고 한다 (정의에서 cusp 에 관한 조건은 생략).

만약, Frey 곡선에 modular 형식을 대응시킬 수 있다면, 그것은 무게 2, 수준 N = □  q  (q 는 소수)[eqn: `]인 modular 형식으로서 모든 cusp 에서 값이 0 이

q□abc

되는 소위 cusp 형식이어야 한다. 그런데 Ribet 이 증명한 바에 의하면 수준 N 을 2 로 줄일 수 있게 되므로 (b 가 짝수이므로 N 은 2 의 배수이다), 무게 2, 수준 2 인 cusp 형식이 생긴다. 그러나 이러한 cusp 형식이 존재하지 않는다는 것이 이미 잘 알려 져 있으며 따라서 모순이다.

이제, STW 예측을 증명하게 되면, Frey 곡선도 타원 곡선이므로 modular 형식이 대응되어야 하는데, 이는 앞서에의 주장과 서로 모순이 되므로, Frey 곡선은 존재할 수 없게 된다. 그러므로, xp + yp = zp 이 서로 소인 정수해 u, v, w 를 가질 수 없고, 따라서 FLT 가 증명된다. (Fermat 가 발견했을 지도 모르는 증명 방법이 이 방법과 같은 것일 가능성은 매우 희박하다.)

타원 곡선의 판별식 (세 근의 차이들의 제곱의 곱) 을 나누는 각각의 소수 q 에 대하여, 타원 곡선에 y = 0 을 대입하여 생기는 x 의 서로 다른 세 근 중 정확히 두 개가 (mod q) 로 같아 질 때, 이러한 타원 곡선을 semistable 하다고 한다. Frey 곡선의 경우 판별식은 (uvw)2p 이고 u, v, w 가 서로 소이므로 Frey 곡선이 semistable 임은 당연하다 (q = 2, 3 일 때는 정의와 증명이 약간 더 복잡하지만 생략). Wiles 는 1986년 Ribet 의 결과가 나온 이후부터 7년 동안 semistable 한 타원 곡선에는 항상 modular 형식을 대응시킬 수 있음을 보이는 연구에 몰두한 끝에 증명에 성공한 것이다. 이것은 STW 예측의 부분적인 증명에 지나지 않으나, Frey 곡선이 semistable 한 타원 곡선이므로 FLT 를 해결하기에는 충분한 결과인 것이다.

Wiles 의 증명에는 타원 곡선이론과 관련한 Mazur, Kolyvagin, Rubin, Tunnel, Langlands, Ribet, Flack, Hida 등의 연구 결과가 중요한 역할을 한 것으로 알려 지고 있는데, 그 내용에 대한 것은 필자도 아직 outline 정도 만을 이해하고 있을 뿐이며, 그나마 설명을 하자면 많은 지면이 필요할 것으로 생각되어 다른 기회로 미루고자 한다.

결국, Wiles의 증명에 대한 검증이 끝나면 □Fermat의 마지막 정리□의 증명에 대한 spot light는 모두 그에게 돌아 가고, 그는 내년에 열리는 국제수학자대회에서 영광의 Fields 메달을 수상하게 될 것이 거의 확실하다. 하지만, 그의 업적은 위에서 본 것과 같이 많은 수학자들의 합작품이라고 할 수 있다.

전세계의 수학자들은 Wiles를 비롯한 이들의 쾌거에 감동에 찬 찬사를 보내고 있다. 363년간 버티고 서서 모든 수학자들의 도전을 뿌리쳐 오던 도저히 정복될 것 같지 않던 □Fermat의 마지막 정리□라는 거대한 산이 마침내 정복되었다. 인간의 지적 능력이 이룩한 또 하나의 금자탑을 바라보면서 앞으로 남은 □Riemann 가설□, □Poincare 예측□, □Goldbach 예측□ 등의 산을 정복할 즈음엔 우리 수학자들의 업적이 당당한 몫을 차지할 수 있기를 기대해 본다.

대우재단소식 제 45호(1993년 가을), pp.11-14.