촘스키와 인공지능 언어 모델의 충돌: 과거의 실패와 현재의 비판

noam w:100

최근 ChatGPT에 대한 Noam Chomsky의 불편한 심기

세계 최고 권위의 언어 학자 촘스키가 최근 NYTimes 등 주요 매체를 통해 근래 대규모 언어 모델의 성과를 비하하는데 열을 올리고 있다. 언어 학자로써의 관심 이상의 이러한 일관된 부정적 태도는 그가 과거의 유사한 노력을 했다는 것 그리고 그러한 그의 노력이 큰 빛을 보지 못했다는(정확히는 실패했다는) 것에서 어렵지 않게 이해 될 수 있다.

언어에 대한 구조적 해석에 대한 그의 연구 노력

chomsky_hierarchy W:100

촘스키는 1956년 Chomsky Hierarchy를 제안하고 언어를 복잡도에 따라 Type-0 ~ Type-3로 유형화 하여 각 유형에 대응되는 복잡도를 다루기 위한 Automata를 정의하였다. Type-3에서 Type-0로 갈 수록 복잡해 지며 Type-0의 무제한 문법의 경우 이를 다루기 위해서는 Turing Machine과 같이 자유로운 연산이 가능한 Automata가 필요하다고 주장한다.

안타까운 실패와 그 이후

하지만 이러한 이론적 기반이 자연어 처리나 인공지능과 같은 분야에서 실제적인 적용을 얻기에는 한계가 있었다. 가장 중요한 이유는 Chomsky Hierarchy가 인간의 언어의 복잡성과 다양성을 충분히 반영하지 못했기 때문이다.

그래서 이후 그는 1957년 Syntactic structure를 발표하면서 Transformational Grammar라는 새로운 이론을 도입하며 자연어의 문장 구조를 생성하는 규칙과 변형하는 규칙을 구분하고, 언어의 의미와 표현의 관계를 설명하려고 하였다. 그는 이러한 과정에서 선험적 지식의 필요성을 주장하였다. 촘스키는 언어 습득 능력이 생물학적으로 내재되어 있으며, 언어 구조에 대한 선험적 지식이 언어 경험과 학습에 영향을 미친다고 생각하였다.

불편한 타인의 성과 - GPT-3

그러나 최근에는 인공지능 기술의 발전으로 대규모 언어 모델이 등장하였다. 대규모 언어 모델은 인터넷에서 수많은 텍스트 데이터를 학습하여 다양한 언어 작업을 수행할 수 있다. 이러한 언어 모델은 촘스키가 제안한 언어 이론에 기반하여 설계된 것이 아닌 무수히 많은 텍스트 데이터로부터 통계적으로 패턴을 학습하는 방식이다. 대규모 언어 모델은 촘스키 계층에 따른 언어의 복잡도를 구분하지 않고, 몇 가지 프롬프트를 통해 다양한 언어를 이해하고 생성할 수 있다. 예를 들어, GPT-3은 1750억 개의 파라미터를 가진 언어 모델로, 텍스트 생성, 번역, 요약, 질의응답 등 다양한 작업을 할 수 있다. GPT-3은 촘스키가 간과하거나 비판했던 언어의 의미와 맥락, 화자의 체험과 의도 등을 고려하여 자연스러운 텍스트를 생성할 수 있다.

그의 비판과 반론

촘스키는 대규모 언어 모델에 대해 비판적인 입장을 표명하였다. NYTimes에 실린 인터뷰에서 그는 “GPT-3은 사이비 과학일 뿐이다”라고 말했다. 그리고 GPT-3이 단지 통계적으로 예측하는 것일 뿐이며, 언어의 실제 의미와 관련이 없다고 주장했다. 즉, 인간의 언어능력과 비교할 수 없다고 생각하는 것이다.

그러나 촘스키의 비판에는 다음과 같은 반론이 있다. 첫째, GPT-3은 통계적으로 예측하는 것이 아니라, 대규모의 언어 데이터를 바탕으로 언어의 패턴과 규칙을 학습하고 적용한다. 따라서 GPT-3은 언어의 의미와 관련이 있으며, 인간의 언어능력과 비교할 수 있다고 볼 수 있다. 둘째, 인간의 선천적인 언어능력이라는 촘스키가 주장하는 것은 과학적으로 입증되지 않았다. 심지어 촘스키 자신도 그 정의와 범위에 대해 명확하게 밝히지 않았다. 따라서 그의 주장은 논리적으로 타당하지 않다고 할 수 있다. 셋째, GPT-3에서도 촘스키가 간과하거나 비판했던 언어의 의미와 맥락, 화자의 체험과 같은 요소들을 고려하고 반영한다. 예를 들어, GPT-3은 다양한 도메인과 장르에 맞게 텍스트를 생성할 수 있으며, 화자의 목적과 태도를 표현할 수 있으며, 독자의 반응을 예측할 수 있다. 따라서 GPT-3은 촘스키가 주장하는 것보다 훨씬 더 복잡하고 다양한 언어능력을 갖고 있다고 할 수 있다.

이렇게 보면, 촘스키의 비판은 GPT-3의 실제 성능과 능력을 과소평가하고 있다고 할 수 있다. 물론 GPT-3이 완벽하거나 문제가 없는 것은 아니다. 그러나 GPT-3은 언어의 의미와 관련이 있으며, 인간의 언어능력과 비교할 수 있는 대단한 기술이라는 것을 인정해야 한다.

Transformer & Turing Complete

turing w:100 Chomsky Hierarchy에 따르면 Type-0에 해당하는 무제한 문법은 모든 문자열을 생성하는 가장 상위(다루기 어려운 문법)의 언어 형식 유형이다. 이러한 언어를 다루기 위해서는 Turing Machine이 필요하다고 그는 주장한다. 그리고 이러한 Turing Machine의 여부를 판별하는 주요한 기준이 바로 Turing 완결성(Completeness)이다. 그리고 최근 연구를 통해 GPT의 근간 Architecture인 Transformer가 Turing 완결성을 갖추고 있음을 연구자들이 밝힌바 있다. 따라서 초기에 Chomsky가 정의한 Hierarchy에 따라서도 GPT는 인간의 언어를 다루는데 문제가 없다. 물론 이후 인간의 선천적 언어 능력 등 기계가 언어를 다루는데 존재하는 한계를 주장하고 있으나 최소 그의 초기 이론에 대입하여 이를 다시 해석해 볼 여지는 그에게 충분히 존재한다.

단순한 비판? 그 어두운 이면

하지만 어떠한 현상에 대한 비판적 자세를 취하는 것은 학자로써 매우 적합하며 권장되는 자질이다. 그렇기 때문에 위에 논의한 것 처럼 그의 주장에 많은 헛점에도 불구하고 바람직한 모습으로 비춰질 수 있다.

하지만 우리는 이러한 그의 행동을 그의 삶의 여정이라는 보다 거시적인 맥락에서 파악할 필요가 있다.

철학과 반증가능주의

그는 언어의 논리 구조를 분석하는 앞서 언급된 연구에서 큰 성과를 거두지 못하였다. 그리고 이후 그는 인간의 언어 능력에 대해 선험적 지식과 같은 기계가 습득할 수 없는 개념을 도입함으로써 마치 이러한 자신의 연구 실패가 필연적인 것이었음으로 귀결되는 언어 이론을 수립하였고 이러한 그의 모습은 그가 과거를 합리화하고 Dogmatize하려한다는 인상을 쉽게 지울 수 없게 끔 만드는 것은 사실이다.

철학이라는 분야는 경험과 그 너머의 형이상학적 대상을 다루기 때문에 반증가능주의를 항상 적용하기 어렵다. 그러나 선험적 지식과 같은 개념을 오용하거나 인식론적 문제를 무시하는 것은 세계적인 철학자라 할지라도 용납할 수 없다. 나는 촘스키가 이런 실수를 한 것이 단순한 오해일 뿐이라고 믿고 싶다. 학문의 영역에서 형이상학적 개념을 악용하거나 타락한 동기로 행동하는 것은 중세 암흑기의 그림자를 되살리는 것과 다름없다. 나는 촘스키가 이런 의도가 없다는 것을 보여주기 위해 새로운 변화와 대화에 열린 자세로 임할 것이라고 소망한다.