LLM의 실체는? `디지털 신`과 `모방하는 원숭이` 사이... 그록 투자자의 견해

테슬라 강세론자이자 그록 투자자인 피에르 페라구가 AI 분야의 지속적인 논쟁 속에서 대규모 언어 모델(LLM)의 실체에 대한 자신의 견해를 밝혔다.

주요 내용

지난 주말, 인튜이션 머신의 공동 창업자인 카를로스 E. 페레즈는 X(구 트위터)를 통해 LLM의 능력에 대해 의문을 제기했다.

페레즈는 자신의 게시물에서 LLM이 복잡한 문제는 해결할 수 있지만, 단순해 보이는 논리적 단계에서는 종종 실패한다고 지적했다.

그는 "사전 학습에서의 절차적 지식이 대규모 언어 모델의 추론을 이끈다"는 제목의 연구를 언급했다. 이 연구는 LLM의 추론 능력이 프로그래밍 코드 로직에 크게 영향을 받는다는 사실을 발견했다.

연구진은 EK-FAC 영향 함수를 사용해 특정 쿼리에 대한 모델의 출력에 가장 큰 영향을 미치는 훈련 데이터를 식별했다.

이 연구는 LLM이 사실적 질문과 추론 질문을 처리하는 방식에서 뚜렷한 차이를 발견했다. LLM은 사실적 질문에 대해 주로 검색 기반 접근법을 사용했다.

그러나 추론 질문에 대해서는 LLM이 일관되게 유사한 문제를 해결하는 절차를 보여주는 문서, 즉 알고리즘, 공식, 그리고 특히 코드에 의존했다.

뉴스트리트리서치의 애널리스트인 페라구는 이 게시물을 공유하며 다음과 같이 말했다. "내 좌뇌는 LLM이 디지털 신이라고 말하고, 우뇌는 LLM이 화려한 디지털 모방 원숭이라고 말한다. 시간이 지나면 알 수 있겠지만, 진실은 아마도 그 중간 어딘가에 있을 것이다."

시장 영향

LLM의 능력에 대한 논쟁은 새로운 것이 아니다. 올해 초 알파벳 산하 구글의 한 소프트웨어 엔지니어는 ChatGPT의 모회사인 OpenAI가 AGI의 발전을 5~10년 지연시켰다고 우려를 표명했다.

세일즈포스의 CEO인 마크 베니오프 역시 세계가 ChatGPT와 같은 LLM의 '상한선'에 가까워지고 있다고 경고했다.

그는 AI의 미래가 LLM에 의존하기보다는 독립적으로 작업을 수행할 수 있는 자율 에이전트에 초점을 맞출 것이라고 예측했다.

아이팟의 공동 제작자인 토니 파델 또한 LLM에 대한 우려를 표명했다.

이전에 엔비디아의 CEO 젠슨 황은 인간이 결국 AI 에이전트와 AI 직원과 함께 일하게 될 것이라고 말했다. 엔비디아는 기업에 AI 에이전트를 배치하기 위해 액센츄어와 제휴하기도 했다.

마이크로소프트 또한 2024년 9월 세일즈포스의 에이전트포스 출시에 이어 기업들이 자체 자율 에이전트를 만들 수 있도록 하는 계획을 발표했다.

OpenAI도 내년 1월 새로운 AI 에이전트인 '오퍼레이터'를 출시할 계획인 것으로 알려졌다.