인간의 뇌세포 수와 ChatGPT의 파라미터 수

인간의 뇌는 약 860억 개의 신경세포(뉴런)로 구성되어 있다.

그 외에 신경 아교 세포(글리아 세포)라는 중요한 세포들이 많이 존재하며, 이들은 뉴런의 기능을 지원하고 보호하는 역할을 한다. 글리아 세포의 수는 뉴런의 수보다 많으며, 약 1조 개에 달한다고 추정된다.

 

인간의 뇌에는 약 100조 개의 시냅스가 존재하는 것으로 추정된다. 시냅스는 뉴런 간의 연결 부위로, 신경 신호가 전달되는 중요한 역할을 한다. 각 뉴런은 수천에서 수만 개의 시냅스를 형성할 수 있으며, 이는 뇌의 복잡한 네트워크를 구성하고 다양한 기능을 수행할 수 있도록 한다.

 

GPT-3의 경우 약 1750억 개의 파라미터를 가지고 있었다. GPT-4의 매개변수 수는 전례 없는 1조 8천억개에 달할 수 있다.

 

ChatGPT의 파라미터는 인간 뇌의 뉴런보다는 시냅스에 더 비유할 수 있다. 

 

뉴런 vs. 시냅스:

• 뉴런은 정보 처리를 담당하는 기본 단위이다.
• 시냅스는 뉴런 간의 연결 및 정보 전달을 담당한다.

파라미터의 역할:

• 인공지능 모델에서 파라미터는 모델이 학습하는 동안 조정되는 값이다. 이 값들은 입력 데이터와의 상호작용을 통해 모델이 예측을 할 수 있게 만든다.
• 파라미터는 입력과 출력 간의 연결 강도를 나타내며, 이는 시냅스가 뉴런 간의 연결 강도를 나타내는 것과 유사하다.

따라서, ChatGPT와 같은 AI 모델의 파라미터는 뉴런보다는 시냅스에 더 가깝다고 볼 수 있다. 파라미터는 모델이 학습한 정보의 양과 질을 반영하며, 이는 시냅스가 뉴런 간의 정보 전달과 처리의 효율성을 결정하는 것과 비슷하다.

단순 개수로만 보면 ChatGPT4의 파라미터가 인간의 시냅스 개수를 추월했다고 볼 수 있다.

 

물론 뇌의 뉴런은 여러 역할로 구분되어 있고 시넵스는 이러한 뉴런을 유기적으로 연결하는 반면 파라미터는 신경망에서 노드 간의 가중치로만 작용하므로 단순 비교는 어렵다고 할 수 있다.

 

초기 인공신경망에서는 파라미터의 수가 많아 질수록 오히려 학습이 않되는 문제가 있었다. 하지만 빅데이터가 발전하므로서 많은 파라미터에 많은 학습데이터를 넣으므로서 놀라운 학습력을 보여 주고 있다. 놀라운 것은 파라미터 수가 증가하고 학습데이터가 커질수록 우리가 예상하지 못한 학습능력들이 나타나고 있다는 것이다.

 

대표적인 예로는 초기 AI가 만들어낸 동영상들을 재생시간이 길어질수록 앞부분과 다음 부분의 영상의 상관관계의 관계성이 깨지거나 물리법칙을 벋어나는 문제들이 발생하였다. 이에 따라 파라미터를 늘리고 더 많은 동영상을 학습시키므로써 가르치지 않았지만 연관관계나 물리법칙을 스스로 깨닫고 적합한 영상들을 생성하고 있다,

 

GPT관련 연구에서는 인간의 시냅스 수와 같은 100조개의 파라미터를 지원하는 GPT-Ultra에 대한 연구를 진행하고 있다. 이러한 GPT-Ultra는 또 우리가 예상하지 못한 어떤 능력을 보여줄지 모르겠다. 모두 큰 기대를 가지고 열심히 연구를 진행하고 있다고 한다.