编者语：
本工作笔记是由巴曙松教授发起的“连线华尔街”第115期内部会议纪要，不代表任何机构的意见。本期会议由巴曙松教授主持，罗崟博士主讲。随着近年来大数据、机器学习的快速发展，其应用范围也越来越广，预测公司财务质量、进行股票投资便是其中的一项。本次会议着重讨论了这一应用的的原理，并且探讨了发展大数据和机器学习的动机。本期报告由巴曙松教授和牛播坤博士共同整理，仅供内部参阅，请勿对外提供，未经书面同意，不得以任何形式摘录和发表。本纪要未经主讲嘉宾本人审阅。敬请阅读。
主持
/
巴曙松；主讲
/
罗崟（沃尔夫投资银行副董事长）
主讲人简介
罗崟先生目前在华尔街独立投资银行沃尔夫（
Wolfe Research
）担任董事会副董事长，负责量化投资，宏观经济和投资策略，以及全球股票交易业务。在
2016
年
6
月之前，罗崟在德意志银行担任董事总经理，负责全球量化及宏观策略（执委会成员）。罗崟和他的团队连年在全球最为权威的美国、欧洲和亚洲的《机构投资人》杂志的卖方研究员的量化投资、投资策略、会计与税务研究行业中名列前茅。罗崟本科毕业于中国人民大学投资经济系，在加拿大多伦多大学获得
MBA
，现兼任人民大学汉青经济与金融学院兼职教授。罗崟是特许金融分析师（
CFA
）美国注册会计师（
CPA
）。
会议纪要
今天演讲的主题是大数据和机器学习在会计财务质量和选股模型中的应用。演讲的内容主要是基于《
Quant CSI
》这篇研究报告，第一部分讲做大数据和机器学习的动机；第二部分介绍如何将大数据和机器学习应用到公司财务质量和股权投资之中。
一、为什么做大数据和机器学习
十年前即使在欧美，大数据和机器学习的应用也是很有限的，但这两年大数据、人工智能、机器学习逐渐成为非常流行的趋势。十几年前我们做机器学习的时候，市场上几乎没有人感兴趣，因为当时市场认为数据挖掘是比机器学习和人工智能更好的方式。量化投资三十年的历史，从媒体报道的角度，
2007
年夏天可能对量化投资和分析来说是第一个危机时期，七月份和八月份前两周，传统的价值投资和量化投资都损失了
5%-10%
，这在媒体中是一个为人熟知的量化危机。在行业内来说，
2009
年
3
月至
5
月和
2007
年相比，损失大概是后者的
5-10
倍，其实在欧美市场，
2009
年的损失是要远远高于
2007
年的。
就传统的因子模型来说，尤其是在如美国和日本等比较发达的市场中，其收益率在不断降低接近于零（图
1
）。蓝色柱形是传统因子投资策略在上世纪
80
年代到
90
年代的平均收益，红色柱形是
2000-2007
年，绿色柱形是从
2008
年到现在平均的收益。可以看到在日本和美国市场最近十年的收益接近于零。在欧洲市场收益大概下降了一半，在亚洲市场下降了三分之一左右。
图
1
：
Average Factor Returns in the three Periods, Global
因子间相关性（
Factor Correlation
）上升和下行风险（
Downside Risk
）的增强对传统因子投资造成了挑战。因子间的平均相关性在不同的时期、不同的国家和地区不会是完全一样的。将全球市场分成美国、加拿大、日本、英国、澳大利亚等九个区域，可以看到从
80
年代到
90
年代，
2000-2007
年，
2008
年至现在，对动量投资（
price momentum
）和低风险投资（
low risk
）而言，地区间的相关性上升现象尤为显著，从
30%
上升了到
60%
左右，但同样的现象也能在成长型投资（
value
）、盈利预测因子（
earning revision
）上观测到（图
2
）。下行风险（
downside risks
）在美国市场更加严重，但在其他市场也是一样（图
3
）。
图
2
：
Average Pairwise Correlation, among Regions
图
3
：
Maximum Drawdown (Avg of all Factors), Global
风险追逐（
risk-on
）和风险规避（
risk-off
）市场情绪的影响。现在的市场中，尤其在
2008
年以后，市场上的风险追逐和风险规避情绪呈周期性变动，对于选股模型来说，无论是对基本面分析还是量化分析，情况都变得更为复杂。对量化投资来说，风险追逐其实比风险规避更具有挑战性，在风险追逐情绪中，投资人对市场更加乐观，倾向于买进风险资产，而量化投资总体来说是买高质量、高价格动能、低风险因子的资产，会在风险追逐情绪中遇到更多困难。在风险追逐（
risk-on
）和风险规避（
risk-off
）两种情绪下因子的波动率，可以看到在风险追逐情绪中，所有因子的波动率都要比风险规避时高（图
4
）。
图
4
：
Factor Volatility in Risk-on and Risk-off Regimes
对传统分析方式和量化投资的第三个挑战，是预测因子与股票收益的非线性关系越来越强。从价格动量与股票平均年收益率的关系，根据价格动量将美国市场的股票分成五组，第一组价格动量最弱，第五组价格动量最强。
80
年代到
90
年代，可以看到是一个拟合度很高的线性关系，价格动量强，则股票收率高；
2000-2007
年，二者已经不再符合线性模型了，但还保持着价格动量强股票收益率高的大致趋势；从
2008-2015
年则可以看到，线性关系发生了很大变化，价格动量最弱和最强的收益率都很低，而处于中间位置的收益率较高；到
2016
年，之前的线性关系完全反转，价格动量最弱的股票收益率最高，而价格动量最强的股票收益率最低（图
5
）。
图
5
：
Average annual returns by price momentum
（
US
）
这不仅仅在美国市场，在其他很多市场上我们也越来越能观察到这种现象。比如日本市场的盈利预测因子与收益率的关系。在
80
年代到
90
年代，呈现出明显的线性关系；到了
2000-2007
年，二者不再为线性关系；
2008
年以后呈现为
U
型曲线，非线性关系越来越强（图
6
）。
图
6
：
Earnings revision factor in Japan
总结以上三点，传统的投资方式，无论是与公司管理层的交流还是传统因子投资分析，在高度发达的市场上不再很好地发挥作用了，这就是为什么要做大数据和机器学习。
因此，投资理念发生了根本性转变。做投资主要有三种模式，第一种模式是金融理论指导应该如何做。首先建立假设，假设某种投资方式，比如说如果一家公司财务质量很高而市场没有意识到这一点，那么股票可能会有高收益率，比如理论认为现金流比利润更可靠，那么如果一家公司现金流状况比其他公司好，财务质量就高，否则就低。于是收集数据，接着建立模型，进行样本内数据和样本外数据的检验，观察样本外数据结果是否与假设矛盾，如果与最开始的假设一致，就发表这一研究成果。这是根据传统的金融理论进行投资。但是实际操作中很少有人这么做，几乎所有人采用的都是第二种模式。这种模式也建立假设，收集数据，定义样本内和样本外数据，并做检验，如果模型不奏效，结果与最初的假设不一致，几乎没有人会推翻假设，而是会一遍又一遍的修改模型，变换样本数据和研究方法，直到得到理想的结果再得出研究报告。而在第三种模式机器学习中，我们训练机器和电脑，使其能够执行投资方法。实际上，更应该鼓励机器学习的发展。在机器学习中，选择模型时没有说哪个金融理论比另一个更好，所有因素都是由实证决定的。更重要的是要确保得到的结果满足理想的迭代过程，如果不满足，就再回到抽样步骤。机器学习中有专门的设计来解决结果的波动问题，这一点与传统的投资方法差异很大。
二、怎样运用大数据和机器学习预测公司财务质量和股票投资
这一部分讲怎样运用大数据和机器学习来预测公司财务质量和进行股票投资，它比传统的投资方法为什么更好。但在此之前，我会介绍传统的利用财务质量进行分析和投资的方法。如何确定公司的财务质量，怎么知道管理层在披露会计信息的时候是诚实的？在当下的环境中，越是想要量化财务质量，就越需要收集大量的数据。
1
、传统财务质量分析方法——
The Accruals Anomaly
财务分析的基准模型，即
Sloan
教授提出的应计异象，是
Sloan
教授在
1996
年发表的文章。应计项目并不是真的确认了收入，没有现金流入；而在需要支付费用时，又没有现金流出，因此可以判断哪家公司的现金流情况和经营情况更好。
Sloan
对盈余组成部分中的应计项目、现金流量的持续性及定价进行检验，发现应计项目持续性低于现金流量持续性，美国市场高估应计项目、低估现金流量，采用买入低应计公司、卖出高应计公司的投资组合，可获得超额收益。公司管理层的目标是创造净收入，不能控制现金流，但是可以通过控制应计项目控制净利润。
从目前有多种方式定义权责因子，其中最简单也是最流行的方法是测算加回折旧后的净利润与经营现金流量的差异。
Sloan
权责因子在美国市场的年回报率，按照财务质量将公司分为十个层级，
Q1
是财务质量最好的一类公司，
Q10
是财务质量最差的一类公司，可以看到最好与最差公司之间回报率的差异可以达到接近
9%
（图
7
）。
图
7
：
Annual decile return of Sloan
’
s [1996] accruals factor
从时间上来看，
2009
年以前的大部分时间，收益率都比较稳定，但是过去几年中，这种稳定的表现消失了（图
8
）。注意
Sloan
的论文发表于
1996
年（在那之前以
working paper
的形式已公开数年），论文发表之前，这个权责因子的表现非常强，论文发表后
10
到
15
年依然表现不错，但在那之后则不能获得稳定的收益。如同第一部分的分析，市场渐渐呈现出非线性的模式，传统线性模型的收益逐渐消失。市场不见得是完全有效，尽管确实是在逐渐变得更加有效。
图
8
：
Performance has decayed significantly in recent years
2
、数值分布特征——
the Benford
’
s Law
本福特定律（
Benford's law
），是一个关于数值型数据概率分布的数学定理，与金融本来没有任何关系，主要应用于自然科学领域，我们希望在金融领域运用这一定理。从美国公司中雇员数量的分布图，如果只看雇员总数的第一位数字（比如
1000
个雇员的第一位数字是“
1
”
,900
个雇员的第一位数字是“
9
”），这张图描述了雇员总数的第一位数字的分布。大多数人可能认为，第一位数字出现的概率应该是相同的，但现实却非常不同，数据
1
出现的频率要远远高于
2
，
2
出现的频率要远远高于
3
，这样的频率递减到
9
。同样的现象在中国、日本以及几乎所有国家的数据中也可以观察到。对于几乎所有的会计项目，如销售额、销货成本、总资产、经营现金流量等，它们几乎完美地符合这一定律（图
9
）。
图
9
：
The Benford
’
s Law
既然许多公司的数字的分布符合本福特定律，那么会计项目不符合这一定律的公司可能存在会计质量问题。下面给出一个具体的例子，这是一个公司的资产负债表，现金资产是
210000
美元，则它的第一位数字是
2
，统计每一个会计科目的第一个数字，计算每一个数字出现的频率分布，可以看到这个公司的会计信息很好得符合了本福特定律，大多数公司都符合这一定律，不符合的公司则可能存在某些会计质量问题（图
10
）。
图
10
：
Example of Benford
’
s law applied to an individual company
下面是两个具体的例子，迪士尼公司和曾爆发会计问题的安然公司。一般而言，多数公司是能够非常好得符合本福特定律，但安然公司却很不符合。安然公司的问题是公司管理层曾操纵财务造假，使他们的债务数字看起来比真实情况好很多。将安然公司的数字分布与本福特定律的分布作对比可以发现，高位数字如
8
和
9
占比较高，而低位数字
2
、
3
、
4
、
5
则占比较低，因此安然公司财务造假的可能性要比迪士尼公司高（图
11
）。
图
11
：
Visually conforming to the Benford
’
s distribution: Disney& Enron
如果把所有公司的会计信息都使用这种规则计算一下，发现美国市场中
95%
的公司符合这一定律，只有
5%
不符合，不符合的公司股票的表现要远远差于其他公司。将这一方法应用到全球，会发现相似的规律（图
12
）。图中红线表示不符合本福特定律的公司，绿色表示其他公司，会发现不管在哪个区域，红线公司的表现都要弱于绿线，其中亚洲市场中符合定律的公司表现尤为突出。也就是说，潜在会计信息质量符合本福特定律这个因素贡献了超过
50%
的公司市场表现。我们在参考文件中提供了更加深入的内容，比如目前主要使用的是资产负债表、利润表和现金流量表中的一种来衡量，在文件中我们考虑了使用哪一种或者多种财务报表是更好的选择。值得注意的是，相比较资产负债表，多数企业难以操纵现金流量表。
图
12
：
Global Performance
3
、大数据：
logit vs machine learning techniques
首先要介绍一个大数据公司
Audit Analytics
（简称
AA
），很多投资人可能不是特别的熟悉，这个公司已经成立超过
10
年了，他们的服务对象主要是会计师和律师，在投资领域并没有很多人知道这家公司。拥有其他人并不了解的数据供应商，这对我们来说是一件好事。
这家公司提供许多种数据集合，比如审计意见、审计员的变动、审计员佣金、审计的程序等，我们主要关注一个特别的元素，财务重述（
Financial Restatement
）。可以从多个来源获得企业财务重述的数据，但是时间和准确性可能存在差异。
AA
公司提供的数据是文字型的而非数值型的，所以实际在使用过程中，应该更加注意数据处理和解释，而非仅把数据放在一起做回归。
AA
公司提供一些高质量的细节，例如可以看到财务重述中的审计师来源分布，按来源分类的财务重述种类，在美国市场上的来源可以是
10-K
、
8-K
、
10-Q
等文件，其中最重要的来源是
8-K
文件。按照多种不同标准分类的财务重述，例如按原因将财务重述分为三类，第一类是由于财务欺诈、违规和虚假陈述，这是最主要的类型，反映了企业内部控制的问题。
有很多种投资方式来处理财务重述，最简单的方式是一种经典的事件研究法，基于公司事件发生的交易策略，具体而言，当某些重要的公司事件发生，投资者不会立刻对每一条信息作出反应，他们会有所滞后，或者说他们对于新消息存在滞后反应。一个非常简单的事件研究，把财务重述事件按照影响的正面和负面分类，但实际上正面与负面并不重要，其实二者存在很大的相似性，都会造成公司股价表现不佳。中间的竖线是事件发生期（
event date
），将该时点的收益率标准化为
0
。在事件发生
2
到
3
个月后，公司的股票价格将普遍表现不佳，但财务重述正面的公司股价下行程度较小。所以基于这种公司财务重述事件的卖空交易策略可能盈利，但这种策略存在一个问题，这种交易方式的样本非常少，实际上在某一给定时点很少有公司进行财务重述，所以没有很多交易机会，更为重要的是，这种交易策略会错失股价在事件发生前以及事件发生时的走低。事实上，在事件发生前的
3
个月，股价已经开始下行（图
13
）。
图
13
：
Event study on all restatements
公司发生财务重述的一个主要原因是存在财务欺诈、违规和虚假陈述，说明其会计信息质量较差，所以我们考虑能否做出一个模型来预测公司的财务质量。从会计信息的角度看，一个宣布财务重述的公司往往财务质量较差，交易量较低，杠杆率较高，股价更高，信用状况较差，公司规模较小以及股价波动性更强（图
14
）。但是我们并非只使用这些传统的指标来做预测，这还是一种线性模型，在逐渐有效的市场上可能不会那么有用。
图
14
：
Fundamental characteristics of restating firms
预测财务重述最常用的模型，是做一个
logit
模型或者说
logit
回归，因为要预测的是一个二值变量（公司在接下来的几天或一个月是否会财务重述）。其中最大的难题在于，预测的是一个非常罕见的事件（
rare event
），只有不超过
1%
的公司会发生重要的财务重述事件，因此预测这类事件的模型与预测公司发生并购或者破产事件的模型比较相似。如果是预测哪些公司不会发生财务重述，那会有
99%
以上的高成功率，但那样做并没有意义，因为需要预测的是哪些公司会发生财务重述。传统的计量方法告诉我们，如果要预测一件罕见的事件，应该使用
match sample
，对于每一个发生事件的公司，需要选择另一同行业样本公司，没有发生事件但有着类似的估值和规模。
我们给出了模型中更有可能预测财务重述事件的因素，其中预测性最强的因素是应计项占比，该项越低则越有可能存在会计质量问题，另外较快的债务增速、过多的无形资产同样可能降低会计质量甚至存在财务造假，比如一个企业有着较高的账面市值比但同时有较低的有形资产账面市值比（过多的无形资产），或者一个企业有较高的每股资产增速同时有较低的总资产增速（现实中不造假是难以实现的）（图
15
）。
图
15
：
Most predictive factors of restatements
