'사고의 연쇄' 유도 기능을 통해 AI가 어휘 퍼즐을 해결하는 데 도움을 줍니다

있을까요 인공지능은 ? 그리고 단어 속에 숨겨진 미묘한 단서를 찾아낼 수 있을까요? 뉴욕대학교 탠던 공과대학 연구진은 뉴욕 타임스에서 발표한 논문에서 사람들이 가장 많이 하는 활동이 '커넥션스' 일일 퍼즐 참여라는 사실에 놀라지 않았다고 밝혔습니다. 

AI 언어 모델 평가

이번 조사는 다가오는 IEEE 2024 밀라노 게임 연구 컨퍼런스와 관련 지식 공유에 있어 논란이 될 만한 질문을 제기했습니다. 바로 현대 자연어 처리(NLP) 기술로 언어 기반 퍼즐을 해결할 수 있을까 하는 것입니다 

뉴욕대 탠던 공대 컴퓨터공학과 조교수이자 게임 혁신 연구소 소장인 줄리안 토겔리우스가 공동 저자로 참여한 이번 연구에서 연구팀은 머신러닝과 고수준 표현 학습이라는 두 가지 AI 방법론에 집중했습니다. 첫 번째 방법론에서는 GPT-3.5와 최신 버전인 GPT-4를 활용했는데, 이는 오픈 AI에서 개발한 개방형 도메인과 인간과 유사한 언어 감각을 가진 입니다.

다음 메커니즘은 문장 임베딩 모델, 특히 BERT, RoBERTa, MPNet 및 MiniLM에 의존합니다. 이러한 모델은 의미 데이터를 벡터 표현으로 나타내지만, LLM처럼 완전한 언어 이해 및 생성 능력을 갖추고 있지는 않습니다.

하지만 모든 AI 기계가 Connections와 관련된 일부 작업을 수행할 수 있지만, 그 과제는 거의 극복할 수 없다는 결론이 도출되었습니다. 이는 임베딩 방법이나 GPT-3와 같은 주목할 만한 성과를 포함하여 이전 범주의 다른 AI 기계들보다 우수한 성능을 보이는 경향이 있습니다.

이 연구의 핵심 결과 중 하나는 모델이 퍼즐 난이도를 "단순"에서 "도전적"으로 빠르게 분류하는 인간의 능력과 매우 밀접한 관련이 있음을 보여준다는 것입니다. (LLM)이 사용되고 있으며, 연결 문제와 관련하여 모델이 실패하는 맥락을 면밀히 분석하면 자연어 의미 처리의 일반적인 한계를 드러낼 수 있다"고 덧붙였습니다dent .

GPT-4로 한계를 뛰어넘다

연구진은 GPT-4에게 퍼즐을 단계적으로 풀도록 요청했을 때 퍼즐 해결 능력이 크게 향상되었으며, 특히 39%가 넘는 정확도로 퍼즐을 해결했다는 사실을 관찰했습니다.

이전 연구에서 밝혀졌고 이번 연구에서도 확인된 바와 같이, '사고의 연쇄 촉진'이 어휘에 대한 구조화된 사고를 유도한다는 또 다른 증거가 있습니다. 게임 혁신 연구소의 학부생dent 이trac의 저자 중 한 명인 티모시 메리노 박사는 언어 모델이 작업을 수행하고 결과를 도출하는 데 있어, 모델이 수행하는 작업에 대해 생각하도록 함으로써 더 나은 해결책을 찾을 수 있다고 언급했습니다. 연구진은 2023년 6월 12일부터 2024년 2월 16일까지의 일일 퍼즐 250개가 포함된 온라인 직소 퍼즐 아카이브를 활용했습니다.