[디지털비즈온 송민경 기자] 오픈AI의 공동 창업자 일리야 수츠케버(Ilya Sutskever)가 AI 모델 개발 방식의 근본적인 변화를 예고했다. 그는 캐나다 밴쿠버에서 열린 NeurIPS(Neural Information Processing Systems) 컨퍼런스에서 "사전 학습(pre-training)은 현재의 형태로 더 이상 지속되지 않을 것"이라고 언급하며 AI 산업의 새로운 국면을 암시하여 이에 대해 더버지 등 외신이 보도했다.

사전 학습은 대규모 언어 모델(LLM)이 인터넷 텍스트, 책 등과 같은 방대한 비정형 데이터를 통해 패턴을 학습하는 초기 단계의 과정이다. 그러나 수츠케버는 "우리가 사용할 수 있는 데이터가 고갈되고 있다"며, 기존 방식의 한계를 지적했다. 

일리야 수츠케버는 데이터를 화석 연료에 비유하며, "인터넷에는 유한한 양의 인간 생성 콘텐츠가 있다. 우리는 이미 '데이터의 정점'에 도달했으며, 더 이상 새로운 데이터가 없다"고 말했다.

이러한 한계는 AI 모델 훈련 방식을 변화시키는 주요 원인이 될 것으로 보인다. 수츠케버는 "현재 있는 데이터로 더 멀리 나아가야 한다"며, 새로운 접근 방식이 필요하다고 강조했다.

수츠케버는 미래 AI 모델은 '에이전트적(agentic)'이고 '추론 가능한' AI가 될 것이라는 언급을 했다. 다음 세대 AI 모델이 '에이전트적(agentic)' 특성을 가질 것으로 전망했다. 에이전트형 AI는 자율적으로 작업을 수행하고, 결정을 내리며, 소프트웨어와 상호작용할 수 있는 시스템을 의미한다. 그는 이러한 시스템이 현재의 패턴 매칭에 의존하는 AI와 달리, "단계별로 문제를 해결하는 추론 능력"을 가지게 될 것이라고 말했다.

그러한 단계별 문제해결 추론 능력은 AI의 예측 불가능성을 더욱 키울 것이라고 그는 덧붙였다. 수츠케버는 이와 같은 예측 불가능성을  체스 AI에 비유하며, "가장 뛰어난 인간 체스 플레이어도 체스 AI의 움직임을 예측하기 어렵다"며, 추론형 AI의 복잡성과 가능성을 강조했다. "이들은 제한된 데이터에서도 상황을 이해하고 혼란에 빠지지 않을 것"이라며, 미래 AI의 강점을 언급했다.

수츠케버는 진화 생물학에서의 뇌와 신체 비율 간 관계를 AI 스케일링에 비유했다. 대부분의 포유류가 일정한 패턴을 따르는 반면, 인류의 조상인 호미니드는 뇌 대 신체 비율이 새로운 패턴을 보였다고 설명했다. 그는 "AI도 기존 사전 학습 방식을 넘어 새로운 스케일링 방식을 발견할 가능성이 있다"고 말했다.

이번 발표는 AI의 기술적 한계와 그에 따른 새로운 돌파구를 모색하는 과정을 명확히 보여준다. 수츠케버의 예측대로, 데이터 부족 문제를 해결하고 더 높은 수준의 추론 능력을 갖춘 AI 시스템이 개발된다면, 이는 AI 산업의 판도를 크게 바꿀 중요한 전환점이 될 것으로 보인다.