LLM의 실체는? `디지털 신`과 `모방하는 원숭이` 사이... 그록 투자자의 견해

테슬라 강세론자이자 그록 투자자인 피에르 페라구가 AI 분야의 지속적인 논쟁 속에서 대규모 언어 모델(LLM)의 실체에 대한 자신의 견해를 밝혔다.
주요 내용
지난 주말, 인튜이션 머신의 공동 창업자인 카를로스 E. 페레즈는 X(구 트위터)를 통해 LLM의 능력에 대해 의문을 제기했다.
페레즈는 자신의 게시물에서 LLM이 복잡한 문제는 해결할 수 있지만, 단순해 보이는 논리적 단계에서는 종종 실패한다고 지적했다.
그는 "사전 학습에서의 절차적 지식이 대규모 언어 모델의 추론을 이끈다"는 제목의 연구를 언급했다. 이 연구는 LLM의 추론 능력이 프로그래밍 코드 로직에 크게 영향을 받는다는 사실을 발견했다.
연구진은 EK-FAC 영향 함수를 사용해 특정 쿼리에 대한 모델의 출력에 가장 큰 영향을 미치는 훈련 데이터를 식별했다.
이 연구는 LLM이 사실적 질문과 추론 질문을 처리하는 방식에서 뚜렷한 차이를 발견했다. LLM은 사실적 질문에 대해 주로 검색 기반 접근법을 사용했다.
그러나 추론 질문에 ......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................