"ChatGPT and Deepseek: Can They Predict the Stock Market and Macroeconomy?"
본 연구는 ChatGPT와 DeepSeek라는 대규모 언어 모델(LLM)이 월스트리트 저널(Wall Street Journal)의 뉴스 기사를 분석하여 주식 시장과 거시 경제를 예측할 수 있는지 조사한다. 특히, ChatGPT가 긍정적인 뉴스에 대한 투자자들의 늦은 반응을 포착하여 예측력을 가지는 것을 발견한다. 반면, DeepSeek은 ChatGPT보다 영어 학습량이 적어 예측력이 떨어지며, BERT와 같은 다른 LLM도 ChatGPT에 비해 성능이 낮게 나타난다.
주요 연구 방법
데이터: 1996년 1월부터 2022년 12월까지 월스트리트 저널 1면 뉴스 기사 헤드라인을 수집한다.
감성 분석: ChatGPT-3.5와 DeepSeek-R1을 사용하여 뉴스 헤드라인을 긍정적, 중립적, 부정적으로 분류한다.
회귀 분석: 월별 긍정적 뉴스 비율(NRG)과 부정적 뉴스 비율(NRB)을 독립 변수로, 주식 시장 수익률과 거시 경제 지표를 종속 변수로 설정하여 회귀 분석을 수행한다.
Robustness 점검: 다양한 프롬프트, fine-tuning, ChatGPT-4를 사용하여 결과의 견고성(robustness)을 확인한다.
주요 연구 결과:
1. ChatGPT-3.5의 시장 예측 능력:
* 긍정적 뉴스 비율(NRG)의 유의미한 예측력: ChatGPT-3.5가 긍정적으로 분류한 뉴스 기사의 비율(NRG)이 높을수록, 해당 월의 주식 시장 수익률뿐만 아니라 향후 6개월까지의 수익률을 유의미하게 예측할 수 있음을 발견했다. 1개월 후 시장 수익률에 대한 회귀 분석 결과, NRG의 계수는 0.53%로 5% 유의수준에서 통계적으로 유의미했으며, R-squared 값은 1.37%였다. 예측 기간이 길어질수록 R-squared 값은 증가하여 1년 후에는 8.52%에 달했다.
* 투자자들의 정보 비효율성 시사: 긍정적 뉴스에 대한 이러한 예측력은 인간 투자자들이 언론 매체의 좋은 소식을 효율적으로 포착하지 못하고 있으며, 이로 인해 시장에 정보가 반영되는 데 지연이 발생할 수 있음을 시사한다.
* 부정적 뉴스 비율(NRB)의 제한적인 영향: 반면, ChatGPT-3.5가 부정적으로 분류한 뉴스 기사의 비율(NRB)은 현재 시장 수익률과는 음의 상관관계를 보이지만, 미래 수익률에 대한 예측력은 없었다. 이는 투자자들이 나쁜 소식에는 신속하게 반응하여 가격에 즉시 반영하기 때문일 수 있다.
2. 경제 상황 및 뉴스 유사성과 예측력의 관계:
* 경제 침체기의 NRG 예측력 강화: 경제 활동이 저조한 시기에는 NRG의 주식 시장 예측력이 더욱 두드러지게 나타난다. 이는 투자자들이 경제가 어려울 때는 긍정적인 소식을 상대적으로 덜 신뢰하거나, 긍정적인 정보의 가치를 제대로 평가하지 못하기 때문일 수 있다.
* 뉴스 내용의 참신성: ChatGPT가 파악한 뉴스 내용이 기존 정보와 차별화될수록, NRG의 예측력이 강화된다. 이는 투자자들이 새로운 정보에 더 민감하게 반응하며, ChatGPT가 이러한 참신한 정보를 추출하는 데 강점을 가지고 있음을 시사한다.
* 경제 정책 불확실성 (EPU)과의 상호작용: 경제 정책 불확실성이 높은 시기에는 NRG의 예측력이 더욱 강화된다. 이는 불확실한 환경에서 투자자들이 정보 해석에 어려움을 겪고, ChatGPT와 같은 도구의 도움을 받아 시장을 분석하려는 경향이 있기 때문일 수 있다.
3. 다른 언어 모델과의 비교:
* DeepSeek의 한계: ChatGPT와 유사한 구조를 가진 DeepSeek 모델은 주식 시장 예측력이 ChatGPT에 비해 떨어진다. 이는 DeepSeek이 중국어 데이터에 더 많이 학습되어 영어 기반의 금융 뉴스 분석에 적합하지 않기 때문일 수 있다.
* BERT의 한계: 전통적인 단어 목록 기반 접근 방식이나 BERT와 같은 작은 규모의 언어 모델은 ChatGPT만큼 효과적으로 금융 시장 정보를 포착하지 못한다.
4. 방법론적 측면:
* 프롬프트 엔지니어링: 긍정적/부정적 뉴스 식별을 위한 프롬프트가 결과에 영향을 미칠 수 있다.
* 데이터 기간: 1996-2022년이라는 특정 기간에 대한 분석 결과이므로, 다른 기간에서는 다른 결과가 나올 수 있다.
전체적인 의미:
이 연구는 ChatGPT와 같은 LLM이 금융 뉴스 데이터를 분석하고 주식 시장을 예측하는 데 유용한 도구가 될 수 있다는 것을 보여준다. 특히, 긍정적인 뉴스에 대한 투자자들의 비효율적인 반응을 포착하는 능력이 뛰어나며, 이는 긍정적 뉴스 비율(NRG)을 기반으로 한 예측 전략이 효과적일 수 있음을 시사한다. 또한, 연구 결과는 LLM의 성능이 모델 규모, 학습 데이터, 프롬프트 엔지니어링 등 다양한 요인에 의해 영향을 받을 수 있다는 점을 강조한다. 다만, 이 연구는 과거 데이터를 기반으로 수행되었으므로, 실제 투자에 적용하기 전에 신중한 검증이 필요하다.
