홈게시글서비스요금제소개

"Large Language Models for Semantic Monitoring of Corporate Disclosures: A Case Study on Korea’s Top 50 KOSPI Companies"

본 논문에서는 OpenAI의 GPT-3.5-turbo와 GPT-4와 같은 대규모 언어 모델(LLM)을 활용하여 한국 KOSPI 상위 50대 기업의 공시 자료에 대한 감성 분석을 자동화하는 가능성을 탐색한다.

1. 주요 목표:

* LLM이 기업 공시 자료의 감성을 분석하는 데 얼마나 효과적인지 평가한다.

* GPT-3.5-turbo와 GPT-4 모델의 성능을 비교한다.

* LLM을 사용한 감성 분석의 과제와 한계를 파악한다.

2. 연구 방법:

* 2023년 6월 28일 기준으로 KOSPI 상위 50대 기업을 선정한다.

* 2022년 1월 1일부터 2023년 5월 31일까지의 월별 공시 요약 자료를 수집한다.

* GPT 모델에 기업의 재무 건전성, 시장 점유율, 성장 잠재력 등의 요소를 평가하도록 지시한다.

* GPT 모델과 금융 전문가가 생성한 감성 평가를 1(매우 부정적)에서 5(매우 긍정적) 척도로 비교한다.

* Cohen's Kappa 통계량과 단순 합치율을 사용하여 평가자 간의 일치도를 측정한다.

* 스피어만 상관계수(Spearman correlation coefficient) 및 켄달 순위 상관계수(Kendall)를 사용하여 GPT 모델과 인간 평가 간의 상관관계를 분석한다.

3. 주요 결과:

• GPT-4의 우수한 성능: 모든 조건에서 GPT-4 모델은 GPT-3.5-turbo 모델보다 높은 상관관계를 보여주었다. 이는 GPT-4가 더 복잡한 재무 언어를 이해하고 평가하는 능력이 뛰어나다는 것을 의미한다.

• 최적의 조건: GPT-4 모델은 긍정적인 평가를 다소 줄이는 조정을 적용한 조건 2에서 모든 측정 기준에 걸쳐 가장 높은 성능을 보였다.

• 평가 편향: GPT 모델은 긍정적인 공시 내용을 과대평가하는 경향이 있는 것으로 나타났다. 이는 GPT 모델이 모든 공시 자료를 긍정적으로 해석하는 경향이 있음을 시사하며, 추가적인 연구를 통해 완화할 필요가 있다. 하지만, 본 연구는 LLM의 한계를 인식하고 이를 개선하기 위한 추가적인 조정을 통해 편향을 해결할 수 있음을 제시한다.

• 전문가 의견과의 일치율: Cohen's Kappa 통계량은 0.352, 단순 합치율은 68%로 나타나, 전문가 의견과 비교적 일치하는 것으로 판단된다.

4. 한계점 및 과제:

* LLM은 분석 대상 기업에 대한 배경 지식이 부족하여 분석의 깊이와 문맥 이해 능력이 제한적이다.

* 재무 데이터 표 또는 뉴스 기사 등 외부 데이터 소스를 활용하지 못한다.

* 복잡한 재무 공식이나 고급 통계 분석을 이해하고 수행하는 데 제한적이다.

* LLM은 변경될 수 있으며, 이는 일관성 없는 성능으로 이어질 수 있다.

5. 결론:

본 연구는 LLM(특히 GPT-4)이 한국 기업의 공시 자료에 대한 감성 분석을 수행하는 데 잠재력이 있음을 보여준다. 하지만 LLM의 한계와 편향을 해결하고, 문맥적 이해를 개선하며, 외부 데이터 통합, 수학적 분석 능력을 향상시키는 등 추가 연구가 필요하다. 이 연구는 실시간 감성 모니터링 분야에서 LLM의 기능과 한계에 대한 이해를 높이는 데 기여하고, 학계와 산업 실무자 모두에게 귀중한 정보를 제공한다.