"What Does ChatGPT Make of Historical Stock Returns? Extrapolation and Miscalibration in LLM Stock Return Forecasts"
연구 배경:
최근 재무 분야에서 대규모 언어 모델(LLM)의 활용이 증가하고 있지만, LLM이 인간의 행동 편향을 얼마나 모방하는지, 그리고 이러한 편향이 LLM의 예측에 어떤 영향을 미치는지에 대한 연구는 부족하다.
특히, 투자자들은 과거 수익률을 과도하게 외삽하고, 비대칭적으로 반응하며, 과도한 자신감을 보이는 경향이 있으며, 이러한 행동 편향이 LLM 예측에 반영될 수 있다.
분석 방법:
OpenAI의 ChatGPT-4를 사용하여 주식 수익률을 예측하고, 인간의 수익률 예측과 비교한다.
LLM에게 과거 수익률 데이터를 제공하고, 주식 수익률 순위를 예측하도록 프롬프트를 작성한다.
인간의 기대치와 LLM 예측의 유사성을 분석하고, LLM이 과거 수익률에 대한 과도한 외삽 경향을 보이는지 확인한다.
80% 예측 신뢰 구간을 요청하여 LLM의 예측 정확도와 편향을 평가한다.
인간과 LLM의 예측에서 나타나는 비대칭적인 반응을 분석하기 위해 긍정적 및 부정적 수익률에 대한 민감도를 비교한다.
캔들스틱 차트와 같은 시각적 재무 데이터를 LLM에 제공하고, 가격 차트가 LLM 예측에 미치는 영향을 평가한다.
기존 연구에서 사용된 인간 투자자 감성 측정 지표를 사용하여 LLM의 시장 심리 측정 지표를 비교한다.
주요 결과:
## 논문 주요 결과 및 근거 상세 설명
본 연구에서는 ChatGPT와 같은 대규모 언어 모델(LLM)이 주식 수익률을 예측할 때 나타내는 행동 편향을 분석하고, 인간의 예측과 비교하는 연구를 수행했다. 각 주요 결과에 대한 상세한 설명과 뒷받침하는 근거는 다음과 같다.
1. LLM은 과거 수익률을 과도하게 외삽하는 경향이 있다.
* 근거: LLM에게 과거 12주 동안의 주식 수익률 데이터를 제공하고 다음 주 수익률 순위를 예측하도록 했을 때, 최근 수익률에 더 높은 가중치를 부여하는 경향을 보였다. 이는 과거 수익률이 좋은 주식은 앞으로도 좋을 것이라는 인간의 일반적인 믿음을 반영한다.
* 선형 회귀분석 결과, 최근 수익률에 대한 계수가 더 크게 나타났으며, 이는 LLM이 최근 데이터에 더 민감하게 반응한다는 것을 의미한다.
2. LLM 예측은 낙관적인 경향을 보인다.
* 근거: LLM에게 과거 수익률 데이터를 제공하고 미래 수익률을 예측하도록 했을 때, LLM 예측은 과거 평균 수익률과 실제 실현 수익률보다 높게 나타났다. 이는 LLM이 학습 데이터에서 과도한 낙관주의를 내재화했을 가능성을 시사한다.
* LLM이 생성한 예측 수익률의 평균은 2.2%로, 제공된 과거 데이터의 평균 수익률(1.4%)보다 훨씬 높았으며, 이는 통계적으로 유의미한 차이를 보였다.
3. LLM은 극단적인 수익률에 대해 비대칭적인 반응을 보인다.
* 근거: LLM에게 80% 신뢰 구간을 요청했을 때, 낮은 분위수(10th percentile)에 대한 예측은 실제 값보다 낮게 나타나는 경향이 있었고, 높은 분위수(90th percentile)에 대한 예측도 마찬가지로 실제 값보다 낮게 나타나는 경향을 보였다.
* 이는 LLM이 비관적인 결과에 대해서는 보수적으로 반응하고, 낙관적인 결과에 대해서는 덜 민감하게 반응한다는 것을 시사한다.
4. 시각적 정보(가격 차트)는 LLM 예측에 영향을 미친다.
* 근거: LLM에게 주식 가격 차트 이미지를 제공했을 때, LLM은 과거 수익률을 기반으로 한 예측과 유사한 방식으로 행동하는 경향을 보였다. 가격 차트 데이터는 LLM이 수치 데이터를 넘어 시각적 정보도 해석하고 예측에 활용할 수 있음을 시사한다.
* 하지만 가격 차트를 사용한 예측은 수치 데이터를 사용한 예측보다 규모가 작았으며, 이는 LLM이 수치 데이터에 더 큰 가중치를 부여한다는 것을 의미한다.
5. LLM의 편향은 인간의 편향과 유사하지만, 위험 평가 능력은 더 뛰어나다.
* 근거: LLM은 인간과 유사하게 과거 수익률을 외삽하는 경향을 보이지만, 예측 정확도는 인간보다 높게 나타났다. 이는 LLM이 학습 데이터를 기반으로 패턴을 인식하고, 더 나은 위험 평가 능력을 갖추고 있음을 시사한다.
* 그러나 LLM은 여전히 과도한 낙관주의와 비대칭적인 반응과 같은 행동 편향에 취약하며, 이러한 편향은 학습 데이터에 내재된 인간의 의사 결정 패턴에 의해 영향을 받을 수 있다.
결론:
본 연구 결과는 LLM이 주식 수익률을 예측하는 데 유용한 도구가 될 수 있지만, 인간의 의사 결정에 영향을 미치는 행동 편향을 내재화할 수 있다는 점을 시사한다. 따라서 LLM을 활용한 금융 의사 결정 시 잠재적인 편향을 인지하고, 모델의 예측을 비판적으로 평가하는 것이 중요하기 시작했다.
[Compliance Note]
· 셀스마트의 모든 게시글은 참고자료입니다. 최종 투자 결정은 신중한 판단과 개인의 책임 하에 이루어져야함을 알려드립니다.
· 게시글의 내용은 부정확할 수 있으며, 매매에 따른 수익과 손실은 거래 당사자의 책임입니다.
· 코어16은 본 글에서 소개하는 종목들에 대해 보유 중일 수 있으며, 언제든 매수 또는 매도할 수 있습니다.
