인공지능을 감별하는 튜링 테스트(Turing Test)

튜링 테스트(Turing Test)는 인공지능의 지능을 평가하는 실험적 접근 방식 중 하나이다. 이 테스트는 1950년 영국의 수학자이자 컴퓨터 과학자인 앨런 튜링(Alan Turing)에 의해 제안되었다. 튜링 테스트의 기본 아이디어는 컴퓨터와 인간 사이의 대화를 통해 컴퓨터의 지능을 평가하는 것이다.

앨런 튜링

튜링 테스트의 구조

튜링 테스트는 일반적으로 세 참가자가 필요하다: 한 명의 인간 판단자, 한 명의 인간 참가자, 그리고 인공지능을 탑재한 컴퓨터. 이들은 서로 직접적인 접촉없이 오직 텍스트 기반의 메시지를 통해서만 소통한다. 판단자의 역할은 대화를 통해 누가 인간이고 누가 기계인지를 판단하는 것이다.

테스트의 진행 방식

1. 대화 시작: 판단자는 키보드를 사용하여 두 참가자에게 질문을 한다.
2. 응답 분석: 판단자는 두 참가자의 대답을 비교 분석하면서 그들 중 누가 인간이고 누가 기계인지를 추측해야 한다.
3. 결과 판정: 만약 판단자가 기계를 인간으로 오인하거나 판단이 어려워 한다면, 그 기계는 인간 수준의 대화 능력을 가진 것으로 간주된다.

튜링 테스트의 중요성

튜링 테스트는 단순히 기계가 인간처럼 행동할 수 있는지를 판단하는 것 이상의 의미를 가진다. 이 테스트는 인공지능 연구에서 중요한 철학적 질문들을 제기하기 때문이다.  "기계가 사고할 수 있을까?", "인간과 기계의 지능은 어떻게 다를까?" 등. 또한, 튜링 테스트는 인공지능이 인간의 언어와 사고 방식을 얼마나 잘 이해하고 흉내 낼 수 있는지를 평가하는 데 중요한 도구로 활용된다.

비판과 한계

그러나 튜링 테스트는 여러 비판에 직면해 있다. 예를 들어, 특정 기계가 튜링 테스트에서 성공적인 성능을 보인다 해도, 그것이 실제로 '이해'를 가진 것인지, 아니면 단순히 대답을 잘 흉내 내는 것인지 구분하기 어렵다는 지적이 있다. 또한, 튜링 테스트는 감정이나 창의력 같은 인간의 다른 지능적 특성을 평가하지 않기 때문에, 인공지능의 전체적인 능력을 측정하기에는 한계가 있다.

가장 중요한 비판은 이 튜링테스트는 인공지능이 사람을 잘 속여야 높은 점수를 받는다는 것이다. 이는 좋은 성능을 가진 인공지능이 목표가 아니라 자신의 성능을 잘 숨기고 사람의 성능과 아주 유사해야 하다는 것이다. 즉 인공지능이 계산을 잘 할 수 있더라도 인간 정도 밖에 못한다고 해야 한다.

좋은 인공지능 테스트는 인공지능의 최대 성능을 낼 수 있는 테스트여야 할 것이다.

 

튜링 테스트를 '통과'했다고 주장하는 여러 사례 중 가장 유명한 것은 2014년에 진행한 이벤트에서의 '유진 구스트만(Eugene Goostman)'이다. 유진 구스트만은 우크라이나의 13세 소년을 모방하도록 프로그래밍된 컴퓨터 프로그램으로, 개발자들은 이 프로그램이 튜링 테스트를 통과했다고 주장했다.

유진 구스트만의 테스트 세부 사항

• 시행 장소 및 시간: 2014년, 런던에서 개최된 로얄 소사이어티의 행사에서 이루어졌다.
• 성과: 테스트에 참가한 판단자들 중 33%가 유진 구스트만을 인간으로 잘못 판단했다. 튜링의 원래 제안에 따르면, 30% 이상의 판단자를 속일 수 있다면 그 기계는 인간처럼 생각할 수 있다고 간주된다.

비판 및 논란

유진 구스트만이 튜링 테스트를 통과했다는 주장은 광범위한 비판에 직면했다. 비판자들은 몇 가지 주요 문제를 지적했다.

1. 참가자 제한: 유진 구스트만이 13세 소년을 모방하도록 설정된 것은 기대 수준을 낮추어 주는 요소로 작용했다. 예를 들어, 어린 나이 때문에 어떤 주제에 대해 무지하다고 해도 믿을 만하다는 인상을 줄 수 있다.
2. 대화의 질: 일부 대화에서 유진 구스트만의 반응은 매우 기계적이거나 주제에서 벗어난 것으로 보고되었다. 이는 실제 인간의 반응과는 다소 거리가 있다.
3. 테스트의 설계: 튜링 테스트의 전통적인 형식에서 벗어나, 판단자들에게 충분한 시간이나 교차 검증의 기회가 제공되지 않았다는 점도 비판을 받았다.

인공지능(AI)의 능력과 지능을 감별하거나 평가하기 위해 튜링 테스트 외에도 여러 가지 다른 접근 방식이 제안되고 있다. 이러한 테스트들은 AI의 인간적인 대화 능력뿐만 아니라 다양한 지능적 기능을 종합적으로 평가하려고 시도한다. 몇 가지 주요 테스트를 소개하겠다.

1. CAPTCHA

• 목적: 자동화된 프로그램(봇)과 인간을 구분하는 것이다.
• 방식: CAPTCHA는 "Completely Automated Public Turing test to tell Computers and Humans Apart"의 약자로, 사용자가 문자, 이미지, 오디오 등을 해석하여 입력하는 방식을 통해 진행된다. 이는 기계가 해결하기 어려운 과제로 구성되어 있다.

2. Winograd Schema Challenge

• 목적: 기계의 언어 이해 능력과 상황 인식 능력을 평가하는 것이다.
• 방식: 이 테스트는 명확한 대답을 하기 위해 상황적 뉘앙스와 공통 지식을 요구하는 질문으로 구성된다. 예를 들어, "도시에서는 금지되었지만, 제임스는 집에서 계속 거위를 기르고 있었다. 그는 그것들을 좋아했다. 그것들은 무엇인가?"와 같은 질문에서 "그것들"이 무엇을 가리키는지 이해하는 능력을 테스트한다.

3. Visual Turing Test

• 목적: 기계의 시각적 이해와 대응 능력을 평가하는 것이다.
• 방식: 이 테스트는 이미지나 비디오를 보고 인간과 유사한 방식으로 반응하거나 설명하는 AI의 능력을 평가한다. 예를 들어, 주어진 이미지에 대한 질문에 답하거나, 이미지 속의 특정 객체를 식별하도록 요구한다.

4. AI Box Experiment

• 목적: 인공지능이 인간 운영자를 설득하여 자신을 "상자"에서 해방시키려는 시도를 통해 AI의 설득 능력을 테스트하는 것이다.
• 방식: 이 실험에서는 인공지능이 한정된 통신 채널을 통해 인간 운영자를 설득하여 자신을 가상의 "상자"에서 해방시키도록 하려고 시도한다. 이는 AI의 설득력과 인간과의 상호작용 능력을 측정한다.

5. Hutter Prize

• 목적: 압축 알고리즘을 통해 인공지능의 지능을 평가하는 것이다.
• 방식: 이 경쟁에서는 기계가 위키피디아 텍스트를 가능한 한 작은 크기로 압축하는 것을 목표로 한다. 이는 기계가 언어와 정보를 얼마나 잘 이해하고 처리할 수 있는지를 보여준다.

이러한 테스트들은 각기 다른 방식으로 인공지능의 능력을 평가하며, 튜링 테스트가 갖는 일부 한계를 보완하려고 시도한다. 각 테스트는 AI의 다양한 지능적 측면을 다루면서 인공지능 기술의 발전상을 더 잘 이해할 수 있는 통찰을 제공한다.

 

ChatGPT에 대한 튜링 테스트는 의미가 있을까?

확인해 보니 조지아대학교 연구진이 실시한 튜링 테스트 결과, ChatGPT가 내놓은 대답이 인간의 답변보다 훨씬 뛰어나서 결과적으로는 튜링 테스트를 통과하지 못했다고 한다.

출처 : AI타임스(https://www.aitimes.com)

 

SF 영화 중 튜링테스트를 가장 잘 표현한 영화는 엑스마키나(Ex Machina)이다.