GPT(Generative pre-trained transformer)

GPT-1(Generative Pre-trained Transformer 1)은 2017년 Google의 트랜스포머 아키텍처 발명에 이은 OpenAI의 첫 번째 대규모 언어 모델입니다. 2018년 6월, OpenAI는 "Improving Language Understanding by Generative Pre-Training"이라는 제목의 논문을 발표했으며, 이 논문에서 생성형 사전 훈련된 트랜스포머의 일반적인 개념과 함께 초기 모델을 소개했다. 

Improving Language Understanding by Generative Pre-Training

그 시점까지 가장 성능이 좋은 신경망 NLP 모델은 주로 수동으로 레이블링된 대량의 데이터로부터 지도 학습을 사용했다. 지도 학습에 대한 이러한 의존은 주석이 잘 작성되지 않은 데이터 세트의 사용을 제한했을 뿐만 아니라 매우 큰 모델을 훈련시키는데 엄청나게 많은 비용과 시간이 소요되었다. 많은 언어(예: 스와힐리어 또는 아이티 크리올어)는 말뭉치 구축에 사용할 수 있는 텍스트가 없기 때문에 이러한 모델을 사용하여 번역하고 해석하기 어렵다. 반면, GPT의 '반(semi-supervised)' 접근 방식은 언어 모델링 목표를 사용하여 초기 매개변수를 설정하는 비지도 생성(unsupervised generative 'pre-training)' 단계와 이러한 매개변수를 대상 작업에 맞게 조정하는 지도 차별적 '미세 조정(minivised discriminative fine-tuning)' 단계의 두 단계로 구성되었다.

 

이 모델은 당시 자연어 처리 분야에서 큰 주목을 받았으며, 이후 GPT 시리즈와 같은 대규모 사전 학습 언어 모델의 발전을 이끄는 중요한 출발점이 되었다.

GPT-1의 핵심 개념 및 아키텍처

1. 트랜스포머(Transformer) 아키텍처: GPT-1은 트랜스포머 모델의 디코더(Decoder) 부분을 사용한다. 트랜스포머는 2017년 "Attention is All You Need" 논문에서 처음 소개된 아키텍처로, 병렬 처리가 가능하고 Self-Attention 메커니즘을 사용하여 긴 문맥을 효과적으로 처리할 수 있다. GPT-1은 이 트랜스포머의 디코더를 이용하여 언어 모델링 작업을 수행한다.
2. 사전 학습(Pre-training)과 미세 조정(Fine-tuning):
   • 사전 학습(Pre-training): GPT-1은 대규모 텍스트 코퍼스를 사용하여 먼저 언어 모델로 사전 학습된다. 사전 학습 단계에서 모델은 주어진 텍스트의 다음 단어를 예측하는 방식으로 학습된다. 이를 통해 모델은 일반적인 언어 패턴과 문법을 학습한다.
   • 미세 조정(Fine-tuning): 사전 학습된 모델을 특정 NLP 작업(예: 텍스트 분류, 감정 분석 등)에 맞게 미세 조정한다. 이 단계에서는 상대적으로 적은 양의 작업별 데이터셋을 사용하여 모델을 특정 작업에 맞추어 조정한다.
3. 단방향 모델링(Unidirectional Modeling): GPT-1은 텍스트 생성 시 이전 단어들만을 고려하여 다음 단어를 예측하는 단방향 언어 모델이다. 즉, 텍스트의 좌측에서 우측으로 단어를 생성해 나가는 방식이다. 이는 모델이 주어진 텍스트의 다음 단어를 예측하고 이어지는 문장을 생성하는 데 매우 유리하다.
4. 모델 크기와 파라미터: GPT-1은 총 1억 1,700만 개의 파라미터를 가지고 있다. 이는 이후의 GPT 모델들에 비해 비교적 작은 규모이지만, 당시에는 매우 큰 모델로 여겨졌다.

GPT-1의 훈련 과정

1. 데이터: GPT-1은 대규모의 북데이터셋(BooksCorpus)을 사용하여 훈련되었다. 이 데이터셋은 약 7천 개의 다양한 책에서 추출된 약 8억 개의 단어로 구성되어 있으며, 매우 다양한 주제와 문체를 포함하고 있다.
2. 사전 학습 목표: GPT-1의 사전 학습 목표는 언어 모델링이다. 구체적으로, 모델은 주어진 문장의 일부를 입력으로 받아 다음에 올 단어를 예측하는 방식으로 훈련된다. 이 과정에서 모델은 언어의 구조와 문맥을 이해하게 된다.
3. 미세 조정: 사전 학습된 모델은 이후 다양한 NLP 작업에 맞게 미세 조정된다. 예를 들어, 감정 분석 작업에서는 모델이 텍스트의 감정을 예측하도록 미세 조정될 수 있다. 이 과정에서 GPT-1은 이전에 학습한 일반적인 언어 지식을 바탕으로 특정 작업에 적응한다.

GPT-1의 성능 및 영향

1. 성능: GPT-1은 다양한 자연어 처리 작업에서 기존의 모델들을 능가하는 성능을 보여주었다. 특히, 사전 학습과 미세 조정이라는 접근 방식을 통해 데이터가 부족한 상황에서도 강력한 성능을 발휘할 수 있다는 것을 입증했다.
2. 기여: GPT-1의 주요 기여는 "Generative Pre-Training"이라는 개념을 도입하여, NLP 모델이 사전 학습된 지식을 바탕으로 다양한 작업에 쉽게 적응할 수 있다는 것을 보여준 것이다. 이 접근 방식은 이후 BERT, GPT-2, GPT-3 등의 모델 개발에 큰 영향을 미쳤다.
3. 한계:
   • 단방향 모델링: GPT-1은 단방향 언어 모델로, 텍스트 생성 시 이전 단어들만을 고려한다. 이는 양방향 문맥을 모두 활용하는 모델(BERT와 같은)보다는 문맥 이해 능력이 제한적일 수 있다.
   • 모델 크기: GPT-1은 이후의 GPT 시리즈에 비해 상대적으로 작은 모델이었으나, 당시의 하드웨어와 계산 자원으로는 여전히 상당한 훈련 시간이 필요했다.

GPT-1은 NLP에서 사전 학습과 미세 조정이라는 새로운 패러다임을 제시한 중요한 모델이다. 이 모델은 트랜스포머의 디코더를 활용하여 텍스트 생성에 뛰어난 성능을 보여주었으며, 이후의 GPT 모델들에 대한 기초를 닦았다. GPT-1의 성공은 대규모 언어 모델의 발전과 NLP 연구의 방향성에 큰 영향을 미쳤다.