经济与社会科学2024papers.ssrn.com
使用大语言模型进行财务报表分析
Financial Statement Analysis with Large Language Models
进阶 · 约 60 分钟读完前置知识：财务报表分析基础、机器学习基础、GPT/思维链提示
导读
这篇论文研究大语言模型能否直接阅读财务报表并完成基本面分析，例如预测企业未来盈余变化；方法是将标准化财务报表和思维链提示输入 GPT-4，并与分析师及传统量化模型比较。作者报告 LLM 能提取出有价值的财务信号，但 HN 评论指出，论文中的对比显示其相对一个使用 1989 年 59 个变量的三层神经网络并无统计显著优势。
HN 关注点：LLM 在金融分析中的真实能力边界：它是否真的优于简单传统模型，以及会带来怎样的透明度与操纵风险。
HN 评论精选
这几条评论里：质疑 2 补充 1
质疑批评：GPT+CoT 相对 1989 年 59 变量的简单神经网络没有统计显著优势，削弱了 LLM 增量价值的说法。
论文第 40 页的图 3 似乎显示，他们基于 LLM 的模型在统计上并没有显著优于一个使用 1989 年那 59 个变量的三层神经网络。该图比较了 GPT 和基于机器学习的量化模型的预测表现。Stepwise Logistic 遵循 Ou and Penman (1989) 的结构，使用其 59 个财务预测变量。ANN 是一个三层人工神经网络模型，使用与 Ou and Penman (1989) 相同的一组变量。GPT（带 CoT）则向模型提供财务报表信息和详细的思维链提示。我们报告每种方法的平均准确率（左）和 F1 分数（右）。我们通过随机抽取 1000 个观测值 1000 次获得 bootstrap 标准误，并给出 95% 置信区间。
antimatter15查看英文原文
Figure 3 on p.40 of the paper seems to show that their LLM based model does not statistically significantly outperform a 3 layer neural network using 59 variables from 1989. This figure compares the prediction performance of GPT and quantitative models based on machine learning. Stepwise Logistic follows Ou and Penman (1989)’s structure with their 59 financial predictors. ANN is a three-layer artificial neural network model using the same set of variables as in Ou and Penman (1989). GPT (with CoT) provides the model with financial statement information and detailed chain-of-thought prompts. We report average accuracy (the percentage of correct predictions out of total predictions) for each method (left) and F1 score (right). We obtain bootstrapped standard errors by randomly sampling 1,000 observations 1,000 times and include 95% confidence intervals.
补充应用前景：LLM 可降低普通人审阅地方政府月度财报的门槛，弥补监督和媒体报道不足。
我认为这项技术带来最具变革性的领域，是让普通公民能够就本地政府的财政状况提出有意义的问题。在伊利诺伊州库克县，有数百个地方市镇和民选机构，它们都在编制月度财务报表。公民监督严重不足，除了最恶劣的案例（例如最近伊利诺伊州多尔顿市的闹剧，市长在市民眼皮底下窃取数百万美元），媒体也很少关注。
primitivesuave查看英文原文
The area where I see this making the most transformational change is by enabling average citizens to ask meaningful questions about the finances of their local government. In Cook County, Illinois, there are hundreds of local municipalities and elected authorities, all of which are producing monthly financial statements. There is not enough citizen oversight and rarely any media attention except in the most egregious cases (e.g. the recent drama in Dolton, IL, where the mayor is stealing millions in plain view of the citizens).
质疑质疑：若 LLM 用于财报分析，可能催生事实无误但刻意误导模型的新型报表操纵。
如果这真能成立，那是不是会出现一门学问：如何写出一种“投毒”报表——它能误导 LLM，但内容仍然符合事实？
davidw查看英文原文
If that's a thing, does it become a thing learning how to write a "poisoned" statement that misleads an LLM but is still factual?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖573 分 · 208 评
同领域还值得读
一切的回报率，1870–2015
The Rate of Return on Everything, 1870–2015
利用1870–2015年多国的长期数据，估算股票、住房等各类资本的回报率，并将其与经济增长率进行比较。
经济与社会科学2019 · 487 分 · 260 评进阶 · 约 100 分钟编辑精选一切资产的回报率，1870–2015
The Rate of Return on Everything, 1870–2015
构建了 1870–2015 年 16 个国家的长周期资产回报数据集，覆盖股票、住房、政府债券和短期票据，系统比较各类资产的真实回报与波动性。
经济与社会科学2018 · 215 分 · 151 评进阶 · 约 120 分钟编辑精选一切资产的回报率，1870–2015（2019）
The Rate of Return on Everything, 1870–2015 (2019)
这篇发表于《经济学季刊》的论文构建了 1870–2015 年间 16 个主要发达国家的股票、债券、房地产等资产收益率的长周期数据库。
经济与社会科学2024 · 190 分 · 148 评进阶 · 约 80 分钟编辑精选想法是否越来越难找？
Are ideas getting harder to find?
探讨“想法是否越来越难找到”：通过衡量多个领域的“研究生产率”，发现维持相同的增长需要投入指数级增长的研究资源，即研究效率在持续下降。
经济与社会科学2016 · 182 分 · 106 评入门 · 约 60 分钟编辑精选比特币与区块链的经济极限
The Economic Limits of Bitcoin and the Blockchain
芝加哥大学 Eric Budish 的论文从经济学角度分析比特币与区块链的根本限制：核心论点是只要攻击网络（双花或砸盘做空）的收益超过挖矿成本，51% 算力攻击就有利可图，而挖矿…
经济与社会科学2018 · 176 分 · 37 评进阶 · 约 90 分钟编辑精选