AI 챗봇은 높은 창의성을 보이지만, 확산적 사고 테스트에서는 여전히 인간이 우위를 차지한다

획기적인 연구에서 연구진은 인간의 창의성과 인공지능(AI) 사이의 흥미로운 역학 관계를 밝혀냈습니다. AI 챗봇, 특히 ChatGPT4는 뛰어난 창의성을 보여주었지만, 가장 창의적인 인간 참가자들을 일관되게 능가하지는 못했습니다. 오히려 인간은 더 폭넓은 창의적 잠재력을 보여주었으며, 이는 실행 기능과 인지 과정의 차이와 관련이 있을 가능성이 있습니다.

전통적으로 창의성은 상상력, 통찰력, 그리고 겉보기에는 관련 없는 개념들을 연결하는 능력과 같은 복잡한 인지 과정에 뿌리를 둔, 인간 고유의 특성으로 여겨져 왔습니다. 그러나 인공지능 기술이 계속 발전함에 따라,dent 기계가 인간의 업적에 필적하거나 때로는 능가하는 창의적인 결과물을 만들어낼 수 있는 능력을 갖고 있다는

베르겐 대학교의 부교수이자 이번 연구의 저자인 시몬 그라시니는 인공지능과 기계 지능 분야에서 현 시대가 가져오는 변혁적인 특성을 강조했습니다. 그는 사람들이 기계를 어떻게 인식하는지, 그리고 기계가 인간의 능력을 어느 정도까지 모방할 수 있는지에 대한 지속적인 연구가 필요하다고 역설했습니다.

대안적 용도 과제를 통한 창의성 평가

연구진은 널리 인정받는 창의성 평가 도구인 대체 용도 과제(Alternate Uses Task, AUT)를 사용하여 연구를 진행했습니다. 이 과제에서 사람 참가자와 AI 챗봇 모두 밧줄, 상자, 연필, 양초와 같은 흔한 물건에 대한 독창적이고 창의적인 용도를 생각해 내도록 요청받았습니다. 사람 참가자에게는 30초 동안 최대한 많은 창의적인 아이디어를 제시하도록 했고, 챗봇에게는 각 응답당 1~3개의 단어만 사용하여 정해진 개수의 아이디어를 제시하도록 지시했습니다. 각 챗봇은 11번의 테스트를 거쳤습니다.

본 연구에는 ChatGPT3, ChatGPT4, Copy.Ai 등 세 가지 AI 챗봇과 온라인 플랫폼 Prolific에서 모집한 256명의 인간 참가자가 참여했습니다. 참가자들은 모두 영어를 모국어로 사용하는 사람들이었으며, 평균 연령은 30.4세(19세~40세)였습니다.

창의성을 평가하는 두 가지 접근법

연구진은 인간과 AI 챗봇 모두의 창의성을 평가하기 위해 두 가지 서로 다른 접근 방식을 사용했습니다. 의미 거리 점수: 이 자동화된 방법은 응답이 사물의 일반적이거나 예상되는 용도와 얼마나 다른지를 측정하여 응답의 독창성을 평가했습니다.

창의성에 대한 주관적 평가: 인공지능이 생성한 답변인지 알지 못하는 6명의 평가자가 5점 척도로 아이디어의 창의성을 평가했습니다.

AI 챗봇은 창의성 평가에 탁월합니다

연구 결과에 따르면, AI 챗봇, 특히 ChatGPT3와 ChatGPT4는 인간보다 일관적으로 더 높은 의미 거리 점수를 기록했습니다. 이는 AI 챗봇이 인간 참여자보다 더 독창적이고 틀에 박히지 않은 답변을 생성했음을 나타냅니다. 또한, 인간 평가자들은 AI 챗봇, 특히 ChatGPT4를 인간 참여자보다 평균적으로 더 창의적이라고 평가했습니다.

하지만 AI 챗봇이 뛰어난 성능을 보였지만, 가장 창의적인 인간 참가자들을 항상 능가한 것은 아니라는 점에 유의해야 합니다. 어떤 경우에는 인간 참가자 중 창의력이 뛰어난 사람들이 AI와 경쟁하여 참신하고 상상력 넘치는 답변을 내놓기도 했습니다.

그라시니는 인공지능이 특정 창의성 과제에서 거둔 성공을 창의성이 요구되는 복잡한 실제 직업에 미치는 영향에 대해 과대평가해서는 안 된다고 강조했습니다. 그는 인공지능 챗봇이 인간을 완전히 대체하기보다는 창의적인 역할을 보조하는 미래를 envisions했습니다.

AI 챗봇 중에서 ChatGPT4는 주관적인 평가를 고려했을 때 가장 창의적인 것으로 나타났습니다. 의미 거리를 측정하는 알고리즘을 사용한 평가에서는 다른 AI 모델보다 일관적으로 우수한 성능을 보이지는 않았지만, 인간 평가자로부터는 꾸준히 더 높은 창의성 점수를 받았습니다.

한계점 및 향후 방향

본 연구 결과는 한 가지 유형의 창의적 행동에만 국한되어 있으며, 복잡한 현상으로서의 창의성에 광범위하게 적용하기 어려울 수 있습니다. 더욱이, 챗봇의 내부 프로세스가 불투명하기 때문에 인간과 챗봇 간의 프로세스 수준에서의 창의성을 비교하는 것은 여전히 ​​어려운 과제입니다.

그라시니는 챗봇이 인간과 같은 방식으로 창의성을 발휘하지 못할 수 있으며, 창의적인 아이디어를 생성하는 능력보다는 암기된 답변에 의존할 가능성이 있다고 지적했습니다. 이러한 모델의 구조를 고려할 때, 챗봇의 창의적 과정을 완전히 이해하는 것은 여전히 ​​불가능합니다.