Chronologically Consistent Large Language Models(시계열적으로 일관된 대형 언어 모델)
연구 배경
* 대형 언어 모델(LLMs)은 사회 과학 분야에서 점차 활용되고 있지만, 학습 데이터에 포함된 미래 정보(lookahead bias 또는 training leakage)로 인해 문제가 발생할 수 있습니다.
* 특히 실시간 정보가 중요한 분야(예: 금융 예측)에서는 이러한 편향이 실증 분석 결과를 왜곡시킬 수 있습니다.
* 시간 제약을 준수하면서도 정확도를 유지하는 시계열적으로 일관된 언어 모델을 구축하는 것은 데이터 제약과 계산 능력 문제로 인해 어려운 과제입니다.
연구 방법
연구진은 시계열적으로 일관된 대형 언어 모델 시리즈인 *ChronoBERT**와 ChronoGPT를 개발했습니다.
* 이 모델들은 특정 시점까지 사용 가능한 텍스트 데이터만을 학습에 활용하여 lookahead bias를 방지합니다.
* 모델은 고품질의 다양한 시계열 데이터(1999년 이전 데이터로 초기 모델 학습 후, 2000년부터 2024년까지 매년 데이터로 증분 학습)를 사용하여 훈련되었습니다.
* 계산 효율성을 위해 최신 언어 모델 아키텍처와 효율적인 학습 기법을 활용했습니다.
* 모델 성능 평가는 다음과 같이 수행했습니다.
* 언어 이해 능력: GLUE 벤치마크(ChronoBERT) 및 HellaSwag 작업(ChronoGPT)에서 평가하고 기존 모델(BERT, GPT-2, Llama 3.1, FinBERT, StoriesLM)과 비교했습니다.
* 시계열 일관성 검증: 모델의 지식 마감 시점 이후의 사건에 대한 예측 능력을 테스트하여 학습 데이터의 누출 여부를 확인했습니다. (예: 미국 대통령 취임 예측 마스크 언어 모델링)
* 자산 가격 결정 응용: 금융 뉴스를 이용해 다음 날 주식 수익률을 예측하고, 모델 임베딩을 활용한 롱숏 포트폴리오의 성과(Sharpe Ratio)를 분석하여 lookahead bias의 영향을 측정했습니다.
주요 발견
* 개발된 ChronoBERT 및 ChronoGPT 모델은 엄격한 시간 제약 조건 하에서도 뛰어난 언어 이해 능력을 보여주었습니다. ChronoBERT는 BERT를 능가하고 StoriesLM 및 FinBERT보다 훨씬 우수한 성능을 보였으며, Llama 3.1과도 경쟁력 있는 GLUE 점수를 기록했습니다. ChronoGPT는 HellaSwag에서 GPT-2를 능가했습니다.
* 시계열 일관성 검증 결과, ChronoBERT 모델은 지식 마감 시점 이후에 처음으로 취임한 대통령을 정확히 예측하지 못하여 학습 데이터에 미래 정보가 누출되지 않았음을 확인했습니다.
* 금융 뉴스 기반 주식 수익률 예측 응용에서 ChronoBERT 및 ChronoGPT의 실시간 출력을 사용한 포트폴리오는 StoriesLM, FinBERT 및 BERT를 능가하는 높은 Sharpe Ratio를 달성했습니다.
* ChronoBERT의 포트폴리오 성능은 최신 대규모 모델인 Llama 3.1과 통계적으로 유의미한 차이가 없었습니다.
* 금융 예측 맥락에서 lookahead bias의 영향은 '온건한' 수준이며, 실시간 정보 흐름을 이해하는 것만으로도 상당한 예측 성능을 달성할 수 있음을 시사합니다.
시사점
* 본 연구는 시계열적 일관성을 유지하는 LLM을 구축하기 위한 확장 가능하고 실용적인 프레임워크를 제시합니다.
* Lookahead bias 없는 LLM이 금융 및 기타 사회 과학 분야에서 더 신뢰할 수 있는 백테스트 및 예측을 가능하게 하여 모델 적용의 타당성을 높일 수 있음을 보여줍니다.
* Lookahead bias의 영향은 모델 및 응용 분야에 따라 다를 수 있으며, 다운스트림 예측 모델이 언어 이해의 제약을 보완하여 경제적, 통계적으로 유의미한 성과를 달성할 수 있음을 시사합니다.
* 개발된 ChronoBERT 및 ChronoGPT 모델을 공개하여 연구 커뮤니티의 활용을 지원합니다.
* 향후 연구 방향으로 시간 제약 데이터를 위한 최적의 스케일링 법칙 개발 등을 제안합니다.
[Compliance Note]
• 셀스마트의 모든 게시글은 참고자료입니다. 최종 투자 결정은 신중한 판단과 개인의 책임 하에 이루어져야함을 알려드립니다.
• 게시글의 내용은 부정확할 수 있으며, 매매에 따른 수익과 손실은 거래 당사자의 책임입니다.
• 코어16은 본 글에서 소개하는 종목들에 대해 보유 중일 수 있으며, 언제든 매수 또는 매도할 수 있습니다.
