第9章　研究

研究蓝图：科学的方法，以及它为何在市场里要”续订”#

本章开篇用爱因斯坦那句关于”从简”的题记定调，随即给出全章的定位：研究是量化交易的核心，最优秀的宽客的荣誉很大程度上来自精心设计的、严格的、孜孜不倦的研究项目。作者说本章主要谈阿尔法模型方面的研究，但其内容适用于整个黑箱——风险模型、交易成本模型、投资组合构建、执行算法、监视工具的研究都遵循同一套逻辑。

研究的目的是”审查周密思考的投资策略”。作者的类比很宽：癌症治疗、篮球比赛、战争、法庭、财务计划，每一种情境都有无数可选方案，问题永远是如何选。量化交易的答案是——基于研究来选，而研究是自然科学的基础。

接着作者把科学方法拆成四步，并用万有引力串起来：第一步，观察到世界上可解释的事物（无支撑的物体会落向地面）；第二步，形成理论去解释观察（物体之间有相互吸引的固有特性）；第三步，从理论推断出可检验的结论（行星轨道应可预测）；第四步——作者强调这是最重要的一点——检验理论，但不是去”证明”它，而是恰当地寻找推断结论的反例，即设法推翻它。牛顿理论曾据以预言海王星的存在（天王星轨道无法被当时已知天体解释），但这至多是支持，不是证明。作者点名卡尔·波普尔，把这种方法称为证伪：尚未被反驳的理论只是暂时被认为正确。牛顿定律从未被”证明”，事实上已被爱因斯坦的广义相对论取代；而广义相对论同样没有被证明——宇宙加速膨胀、银河系外围星球的高速度，都需要别的理论。

对应到市场：一个研究者观察到市场分阶段上行、下行，提出”趋势存在”的理论——无论原因是什么，市场未来的表现会与近期历史表现同向；她用第 3 章提过的移动平均线交叉点之类的度量去测试，发现确实优于随机预测，但她不能完全确定，至多是”有足够的自信认为测试足够严格，以至于可以承担理论有效性的一些风险资本”。

这里作者插入了宽客与科学家的关键区别：自然科学中一个被证据支持、应用广泛的好理论（如相对论）不需要为了继续有效而修正，因为自然相对稳定；市场不是。监管变化、投资者与交易者聚集心理的诡异变化、交易者追逐阿尔法的持续竞争，都说明市场是高度动态的过程。所以量化研究必须持续进行——初始策略开发时有多严谨深谋远虑，后续就得一直有多严谨。

思想从哪里来：四个来源#

作者列出四个共有来源。

一、观察市场，最直接体现科学方法精神。举的是趋势跟随之父理查德·唐奇安：他最先做股票，1948 年创建期货公司，第一次公开地持有商品基金；1960 年 12 月在时事通讯上发表《商品趋势择时》。他观察到许多市场（人们称之为牛市或熊市）存在彻底的运动方向，假定可以构建一个系统探测趋势的开始与持续，规则简单到不可思议：价格高于过去两周最高收盘价则做多，低于过去两周最低收盘价则做空，其间持有头寸。1950~1970 年他靠这个系统做出了成功的业绩记录，并催生了如今管理数千亿美元资产的行业。

二、学术文献。量化金融与更广的金融论文里全是可用的题材。作者举了一类：许多论文讨论 CFO 用各种聪明方法编造盈利和其他财务数据以维持股东信心；量化公司注意到了，已有几家据此构建交易机会，宽客可以找财务报表管理相关的文献并检验其中的思想。最经典的例子是哈里·马科维茨的《投资组合选择》——如第 6 章所述，其中提出的”最优”投资组合算法即均值方差优化，几十年后它及其变异型仍是量化工具箱中最主要的组合构建工具。宽客也常借用天文学、物理学、心理学等其他科学领域的文献。

三、人员在量化公司之间迁移。虽然非竞争条款和保密协议让这变难，但思想仍会被带走，这是意料之中的。作者给的例子密集：高盛创造了用于全球策略性资产配置和全球股票市场中性策略的 AQR 量化方法；理查德·丹尼斯训练了一组毫无交易经验的新交易者（“海龟”）实施趋势跟随策略，这是与朋友威廉·埃克哈特打赌的一个社会实验；肖氏公司是其创立者在摩根士丹利的统计套利交易平台被撤职之后创建的，并进一步发展出 Two Sigma 和 Highbridge 量化股票基金经理等同行。文艺复兴科技以留住人才著称，部分靠”铁证如山”的非竞争协议——但曾有两名研究员流失到千禧年合伙公司，文艺复兴为此起诉千禧年，最终却证明这两人在文艺复兴工作时莫名其妙地并没有签非竞争协议；而这两名交易者最终被千禧年终止合约，理由是雇用他们带来的麻烦大于价值。此外，投资者背后窥探量化公司再与其他投资者分享，也是思想传播的载体。

四、向成功的主观判断型交易者学习。老谚语”亏损时要止损，盈利时要让利润奔跑”很容易形成并被检验，即止损策略。但并非所有编纂尝试都成功：技术交易者主观解读价格图形，按”头肩模式""上三角模式”之类形状暗示的准则决策；许多量化基金来来往往试图把这些模式重新做进系统化规则。作者给了两种可能解释——要么思想本身缺乏有效的理论基础，要么如一些人所认为的，是因为人工操作本就不基于规则。但可吸取的教训很明确：不是所有成功交易者都有技巧，识别真正有用与无用因素的有效方式，是把思想放进研究过程，看它能否存活到最后。

检验的骨架：样本内是”答案要点”#

检验是研究的中心。最常见的版本初看很简单：构建模型，在样本内数据上训练，再到样本外数据上看是否盈利。但作者立刻警告：研究是充满风险的活动，研究员总是因为痴心妄想而丢弃严谨性。

样本内测试即训练。作者用”便宜股票跑赢贵股票”举例：用收益率（earnings/price）度量便宜，但收益率高到什么水平才算未来表现优秀、低到什么水平才算昂贵？这些水平就是参数——定义模型某些方面并影响其表现的变量，改变它们，模型就变了。随后是全章最贴切的类比之一：你雇顾问帮你买”最优”房子，顾问列出可能影响你决定的变量（大小、房况、地理位置、学区），如果你不告诉他理想值，他就观察你对不同房子的反应来推断——你不喜欢穷社区的大房子，更喜欢富人社区的小房子，于是他推断社区比房子大小更重要，反复”实验”直到找到你最满意的那套。量化模型的最优参数同理：训练就是通过测试许多组数据集、并希望至少有一组结果具吸引力，来找出最优参数集。

作者点破样本内的本质：真实世界里模型不断被新信息和不可预知事件挑战，但样本内的历史数据对模型是已知条件，没必要预测已知条件。“样本内数据就像小学生测试的答案要点”——这是模型表现最好的区间，因为它根本不必做任何预测。

样本内还包含一个重要决策：什么构成拟合样本？样本有宽度和长度两个特征。设想一个研究员要基于美国约 5000 只上市股票、1990 年至今的数据建策略：宽度上，他要决定用多少只股票、如何选（宽跨行业？窄跨行业？全部？）；长度上，他要决定拟合窗口（最近的数据还是更古老的？小窗口的随机数据集还是 1990 年以来的整个数据集？）。宽客通常喜欢用某一时间段的全部金融工具数据，但这绝不通用，因为要权衡：数据越多，模型见过的情景与市场环境越广、越稳健；但允许使用的数据越多，被调整时构建出”仅仅能对过去做很好解释”的模型的风险也越大。因此许多宽客用交叉数据做样本内检验和拟合检验。

十个”好坏”度量，与一个作者亲手否掉的策略#

作者用一个真实策略贯穿全部指标：预测标准普尔 500 指数、期限一天，用股票风险溢价方法调整——每天算标普 500 与 10 年期国债收益率之差，标普高于债券则做多信号，低于则做空信号。他在 20 世纪 90 年代中期建立这个策略用于战略性资产配置，但从未交易过，因为用下面这些指标一量就知道不该交易。结果基于 1982 年 6 月至 2000 年 12 月的日收盘价。

1. 累积盈利图（图 9-1）。作者称它是检验过程最有力的输出，一图胜千言：能看出能否盈利、平稳性、下行风险、适用情形。此策略在测试阶段持续盈利，但回报流波浪起伏，很长时间（有时持续几年）不够活跃，时而大亏时而巨盈。从 1989 年后期到 1995 年早期几乎以旁观者身份不交易——确定几年不盈利现实吗？

2. 平均收益率。测试阶段效果不佳的策略，实际不可能奏效。此策略仿真总累积盈利 746%，未扣交易成本和佣金前年化 12.1%。作者提醒：测试常让研究者误以为盈利极其容易，这种错觉主要归因于大量致命陷阱。

3. 收益率随时间的变异性。描述平均收益的不确定性。年均 20%、年标准差 2% 的策略（67% 的时间里年收益在 18%22%）优于年均 20%、标准差 20% 的策略（67% 的时间里在 040%）。作者提到自家公司关注的一个统计量：块度（lumpiness），即显著高于平均收益的时间段内的收益占总收益的比例，是另一种测量收益一致性的方法；但他也说一致性并不总是主要目标，重要的是知道预期是什么、并能识别策略行为改变的时点。此策略整个测试期日收益的年化标准差是 21.2%。

4. 波峰波谷间的最大降幅。盈利 10%、亏 15%、再盈 15%，整体约 7.5%，但回撤 15%——即为了 7.5% 的盈利要承担 15% 的风险。许多宽客不只看一个回撤，而是看多个，以了解极端和常规下行风险；下跌后的恢复时间同样重要，恢复期长意味着一旦大亏就会长期停在负值。此策略最大降幅 -39.7%，源于 1987 年夏天做空标普 500——实际上 1987 年 10 月崩盘之前，策略看上去表现不错。

这里作者展开了两个更深的点。其一是样本偏差：1990~1997 年（对冲基金里已算长的跟踪记录）的可转换债券套利策略数据显示降幅很有限，但 1998 年这些策略表现极差；所谓”最坏”降幅的样本并不是全部可能结果的良好代表，回测期虽”长”却恰好覆盖了有利于策略的整段时间，会低估潜在下行风险。解决方案不多：样本要么大到能覆盖很大范围的市场体制与有利/不利环境，要么就是覆盖不了；覆盖不了时，宽客只能对环境恶化时的最坏亏损做判断——高度依赖研究员判断，且最多是粗略估计。其二是重复采样（resampling）：把历史收益分布想成一副纸牌，按原顺序翻牌得到历史时间序列，重新洗牌翻牌就得到另一条时间序列；反复成千上万次，可从一段真实历史得到许多可能结果，再算每种情况的最大下行，对潜在下行风险的估计更稳健。作者的说法是，这有助于识别牌里”可能某一天置我们于死地”的情况——我们担心牌里 A 和 K 太多，而 2 和 3 不多。

5. 预测力。R² 表示预测模型解释被预测量变异的程度，取值 01，用 Excel 等统计包就能算。在量化金融里，试图预测价格/收益率/趋势而让 R² 达到 1 是不可能的，除非方法错了。事实上这个行业里 R² 为 0.05 就是极好的（针对样本外）。作者引了一位前员工的话：如果没犯错误而 R² 高于 0.15，就该换个方式重新处理，因为证监会会认为是内幕交易而逮捕你——R²=0.15 意味着模型描述了目标未来变异的 15%。另一位量化交易者的说法是，人们认为 0.02 的 R² 就是很好的模型。图 9-2 显示 19822000 年该标普 500 策略的 R² 低于 0.01。

另一种衡量预测力的方法是分位数分组：把预测收益按十分位（或其他分位）分组，可靠的模型应当让最坏的实际收益出现在最坏的预测组里，且每一个更高预测组的表现优于前一组；如果实际收益不随预测改进，说明策略只是偶然起作用。图 9-3 用五分位展示了该策略：最左端信号对应标普 500 平均 -2.35% 的收益，确实是所有分组中最坏；第二组 -0.19%；越向牛市信号移动收益越改善，与预期一致。每组高于前一组，表明阿尔法信号（经修正的股票风险溢价信号）与预测目标（第 2 天标普 500 收益率）之间存在单调关系。作者的评价是”至少在这个研究中，策略看上去是合理的”——这是全套指标里少数给出正面读数的一项。

6. 胜率或盈利时间占比。一致性的另一种度量：告诉研究者盈利是来自小比例的偶发大赢，还是来自很多笔各贡献微利的交易；也可用盈利周期占总周期的比例简单度量。此策略有点不寻常，因为它并非每天产生信号，只在模型察觉机会足够有吸引力时才发信号：65% 的时间产生 0 信号，19% 的时间盈利交易，16% 的时间亏损交易；在非零信号的交易时间里约 54% 盈利——作者说这对一个策略而言”也不是太糟糕的结果”。

7. 风险调整收益的各种比率。典型是夏普比率（1990 年威廉·夏普与哈里·马科维茨同获诺贝尔经济学奖），等于某周期内高于无风险利率的平均收益率与收益率波动率之比，越高越好；夏普为 2 即每承担 1 单位风险获得 2 单位超额收益，能做到已相当好。信息比率与之相近，只是公式中去掉无风险利率。此策略的信息比率仅 0.57——每承担 1% 风险获得 0.57% 收益，且这还是在扣除交易成本和其他实施费用之前。此外还有斯特林比率（平均收益率与低于平均收益率的波动率之比）、Calmar 比率（平均收益率与最大波峰波谷回撤之比）、Omega 比率（正收益之和与负收益之和之比）。1982~2000 年该策略斯特林 0.87、Calmar 0.31、Omega 1.26；最让人失望的是 Calmar——承担 1% 的回撤风险只产生 0.31% 的收益。

8. 与其他策略的关系。宽客常同时跑几个策略，实际上是在管理策略组合，与其他投资组合一样要分散风险，因此要频繁衡量新策略如何嵌入已有策略、是否真的增加价值——不能改进组合的好思想最终也没用。算新策略与现有组合的相关系数是常规做法，但许多宽客更进一步：比较”现有策略的结果”与”加进新思想后的结果”，显著改进说明新旧之间存在协同关系。

9. 时间延迟。策略对信息及时性有多敏感？预测效果在市场中能持续多久？做法是假设收到信号后延迟一天、两天、三天再交易，看收益如何。这既能判断敏感度，也能得到策略拥挤程度的信息——越拥挤，向新均衡的运动越激烈，潜在盈利衰减越快。作者举了一个设想：按华尔街分析师推荐数量交易股票的策略，推荐越多越做多、越少越做空；这类策略很流行、被许多宽客和主观交易者追随，因而效应非常短暂、对及时性极敏感。图 9-4 用 2006 年 410 月的微软（MSFT）数据说明：2006 年 4 月 28 日 MSFT 相对标普 500 低了 11.4%，而实际上开盘时 MSFT 就已下跌约 11.1%，因为开市前的降级已经发生。所以仿真系统绝不能假设能尽早捕捉那 11.1%；保守做法是测试评级发生后的几天再开始交易的两周表现。若真这么做会发现：在 4 月 27 日闭市（宣布评级改变的前一晚）之后的任何时间卖出 MSFT，收益其实相当平庸——4 月 28 日、5 月 1 日、5 月 2 日收盘卖出能盈利，但 5 月 312 日交易则不能盈利。

有意思的是，延迟实施并不总是坏事。作者的标普 500 策略倾向于”尽早”交易——即使市场随后确实按预测方向运行，建仓也为时过早。因此延迟一天入市能把总收益从 746%（年化 12.1%）显著提高到 870%（年化 12.9%）。作者说这对策略的使用者而言”必定不是好兆头”：交易者不会舒服地接受这样一个信号——它不仅让你晚一会儿交易而不亏，反而让你在收到信号至少一天之后再交易才盈利。

10. 特定参数的敏感性。用一个基于 P/E 的策略举例：认为 P/E 高于 50 或为负（因负盈利）算昂贵，低于 12 算便宜，检验后得到 10% 的年化收益与 15% 的年化波动。现在把参数微调成：低于 11 算便宜、高于 49 算昂贵——结果发生很大变化。作者的判断是：两个结果都该怀疑，任何一个都不予采用，因为模型被证明对参数微小改变过于敏感，在现实世界没有使用价值。P/E 10 和 11、50 和 49 之间应该明显不同吗？参数的近邻集应得到极为相似的结果，否则就该怀疑存在过度拟合。

过度拟合：这一章真正的主角#

作者说，在判定量化策略优度时还有一个”极其重要的指导原则”，就是过度拟合。它的本质是研究员使用了过多的数据；最经典的定义是：建立了一个能很好解释过去、却对未来解释性较差的模型。它有几个入口。

入口一：模型复杂度——预测因子的数量。 研究员可以用数千个因子来解释资产价格过去的波动，模型或多或少都能精确解释过去。但量化模型的目的（如同任何寻找阿尔法的交易者的目的）是预测未来，不是解释过去。我们期望过去能提供一些指导，但必须理解过去最多是未来的不完美指南——能完美解释过去的模型，在预测未来时并不一定起作用。

入口二：条件堆叠出的复杂度。 一个简单模型可能只要求”价格高于过去 10 天价格一定数量时做多”；一个复杂模型可能要求”过去 1 天下跌、过去 10 天上涨、过去 20 天下跌、过去 100 天上涨才做多”。作为人类我们擅长为任何确定奏效的策略给出合理解释，但这里面塞了太多”如果”语句，策略因此极其脆弱。

对此的解药是节约（parsimony）——来自拉丁词 parsimonia，意为”节俭”与”俭省”。对宽客而言，节约意味着做假设时保持谨慎；作者说这处在研究过程的绝对中心位置。节约型模型使用较少假设、尽可能简洁地解释未来，因此对有许多参数或因子的模型通常要持怀疑态度。节约的源头是方济会化缘修士与逻辑学家威廉·奥卡姆的奥卡姆剃刀准则，其拉丁原文大意是**「如无必要，勿增实体」**（本节”过度拟合”）。1992 年，卡尔·波普尔指出越简单的理论越好，因为它们极容易被检验，这意味着它们包含更多的经验值。但作者立刻用章首的爱因斯坦名言反向配平：过于简单化的解释也是没有用处的。

买房顾问的例子在这里被反用了一次，而且是双向的：如果顾问增加大量因素（客卫瓷砖的颜色、屋顶材料类型），在事前没有理由的情况下，他的分析将是混乱的——复杂模型能很好解释过去，却不可能预测你是否喜欢没见过的房型，因为它不可能穷尽你喜欢的全部因素；但如果顾问只考虑房子大小和学区两个因素，同样预测不好，因为漏掉了卧室数、卫生间数、财产情况等太多重要变量。所以量化研究员工作的一个重要部分，就是在”尽力过于完美地解释过去”和”尽力简单地解释过去”之间权衡——倒向任何一边都是失败。

入口三：交易太少而统计量不显著。 这类过度拟合只出现在交易极不频繁的策略里。想象一个模型：标普 500 至少下跌 40% 之后的任何时间买入，触及新高时卖出。回测结果会很强——巨大盈利、相对小的回撤。但过去 40 年里只看到 3 个交易信号，每 13 年出现一次交易信号着实很难令人兴奋。作者的评语是：让任何资本承担这种策略带来的风险，本身就具风险。

入口四：参数的具体设定。 第 3 章讨论过许多模型都有参数。构建趋势模型时，研究员认为过去一段时间的价格变化特征可能暗示趋势会延续——那么”价格变化所处的历史阶段”（量化领域称为 lookback）该取多长？这些问题不是模型的中心问题，但不同答案对收益率影响重大：对同一个趋势模型，回测两天的趋势与回测过去 6 个月的趋势产生的收益会完全不相关。

固定参数有两条路。一是主观设定：基于市场先前的运行规律直接定值，回测只是看效果如何。优点是根本不用拟合——策略要么起作用，要么不起作用；缺点是严重依赖研究员判断，最优参数值可能与设定值相去甚远。作者提到用贝叶斯预测方法（第 3 章讨论过）的研究员可能倾向于这样设参数。二是扫参数：用各种参数值回测，选结果最优的，决策可以是主观的，也可以交给算法。

图 9-5 是这一节的核心示意（书中为参数值与表现的曲线图，正文给出了 A、B、C、D 四个点的完整解读）。A 点显然不优，因为该参数下策略表现较差；C 点看起来较优，是平稳阶段的最高点，但它距离”悬崖边”很近，不能确定是否处在不明智选择的风险中；D 点看上去最优，却相当不可靠，因为邻近区域表现普遍较差；于是 B 点胜出——不是稳定阶段的最高点，而是相对安全的参数值。

作者随后解释为什么”安全”重要。图中唯一的峰值点 D，很可能是拟合阶段一些伪造点造成的偶然结果，昙花一现；选 D 就是在打赌未来会与过去完全相似。你熟悉那句标准免责声明”过去的表现不能代表未来亦是如此”，但我们判断交易者是否成功时至少部分依靠业绩，这说明我们其实认为过去可能是未来的一些暗示。所有量化交易（确切地说，包含科学本身）都隐含假设过去发生的事情有助于理解未来——这正是科学方法从观察世界开始的原因。但思考过去最合适的方式是把它当作未来的一般性指引，而不是完全复制。模型本身就是对这种一般性指引的概括性描述，这样表述之后就很清楚：我们宁愿模型更谨慎一些、不要犯错。所以谨慎的宽客宁取 B 而非 D，因为 B 对应的策略”更优的机会更多”，而不是把样本里的偶然当成最优。

最后一个注意点是参数究竟只适用于过去，还是随市场数据更新而可以在未来重复使用。这适用于参数拟合的每一个实例。但作者指出：重复拟合参数本身会增加模型的复杂性；而且取决于重新拟合的实施过程，也可以用尽可能少的数据来拟合，以免出现过度拟合。

关于数据本身，作者补了一段量级：资本市场产生大量数据，文艺复兴科技以每天收集太字节（TeraByte）级数据著称，仅捕捉每个美国股票交易所每天产生的信息就超过 1 太字节。然而数据极为嘈杂。“资本市场为什么是一个噪声过程”是哲学家和经济学家的研究内容，但不可否认的是过去的数据对未来波动的影响很小——这就是大量样本外检验 R² 近似于 0.04 的原因，很少的信号埋藏在噪声里。因此，对”能够近似解释噪声过程”的模型应该持有极度怀疑的态度。

这一节的收尾是全章少见的关于人的判断：评估理论要用大量度量指标和技术，但最终还是依靠大量主观判断；正是对本章提出的这些问题的良好判断力，把成功的研究员区分出来。好的研究员必须有充足的信心和技能去发展与改进理论；至少同样重要的是，必须具备足够的怀疑态度和谦逊，能平静地接受”大部分思想完全失效”这一事实。

样本外检验：撤掉答案要点，以及”加工数据”#

样本外检验是检验流程的第二部分，作用是告知研究员——在拿掉样本内那张”虚拟表格（cheat sheet）“之后，策略在实际中是否还起作用。此时参数已由样本内数据固定，问题是这套参数在全新数据集上是否真的有效。本章描述的许多统计量都可用来判断。

许多宽客还用一个专门的统计量：样本外 R² 与样本内 R² 的比值，作为鲁棒性度量。两者接近（比值大于等于 0.5）被认为是好模型；比值显著更小，研究者就必须对模型的成功应用持怀疑态度。

样本外检验有多种做法。最简单的是把样本内之外的剩余数据拿来检验。有的研究员用滚动样本外方法：丢弃最古老的数据点，用最新的数据点来拟合（样本内）和检验（样本外），重复直至所有可用样本被用完。它的好处是模型能随时间不断更新，不必依赖一个可能已运行多年的单一数据集；缺点是模型不断吸收最近一段时间的信息，可能反而减少鲁棒性。作者坦承这个权衡极其微妙，在任何个例中都可能被争辩，对模型效果做一般性判断是不切实际的。另一种做法是使用不断增长的数据窗口，随时间收集更多数据并持续做样本外检验。

接着是本节最重要的一段警告。样本外检验虽然明显有效，但正确操作相当有技巧。设想：研究员在样本内拟合出一个看上去鲁棒的模型，拿到样本外一测，表现较差；已投入大量时间的他去检查失败原因，发现样本外的亏损交易是因为环境发生了改变；于是他回头修正模型以解释新信息，重新在样本内拟合，再到样本外重测——这次运行得很好。但庆祝之前应当想清楚他做了什么：通过研究样本外数据的信息并用它来重新训练模型，他实际上已经把样本外数据变成了样本内数据集的一部分。作者的判断很直接：在样本内和样本外之间来回切换通常是个可怕的想法。

而更微妙的问题还在后面。我们常常对资本市场发生过的事情知道得太多，于是倾向于建立那种”能在样本外数据集上起作用”的模型、挑选那样的参数集——这扭曲了样本外检验的目的，因为我们在很多方面其实是在期待已知的未来。作者举互联网泡沫：今天回望 20 世纪 90 年代后期，我们知道世界经济其实没有发生改变、长远看那些亏损企业不会被社会广泛肯定；今天建策略，可以知道泡沫会发生并最终破灭——然而 1999 年时对此并不那么确定。新的有趣的事情会混淆我们的理解，因此”检验当前最好的想法优于过去已经存在的情况”是一种痴心妄想。这是前视偏差的一种微妙而可恶的形式，是研究中的重要问题：当研究员对用来检验的样本外数据集越来越熟悉，他很可能正暗中假设自己对未来知道很多——而历史上问同样的问题时，人们并不知道。一些宽客把这种情况称为加工数据（burning data）。

应对办法上，作者说一些量化公司”合理地采取大量措施”：把策略研发功能与策略选择功能分离，扣住研究员的一大部分数据，理论上让研究员甚至不清楚有哪些数据、没有哪些数据，从而减少犯前视偏差的机会。更宽松些的做法是：不允许研究员知道或看见所用的样本外数据；或者样本内与样本外的数据比例被随机修改，且不通知研究员。作者的总结是：检验中的问题是复杂的，想有成功的希望就必须要求有很多构思和考虑。

还有一条替代路线：干脆先判定样本外检验是”有点神秘的”——尤其对有经验、善于观察的研究员而言——于是放弃样本外检验，改用”对样本内结果的额外警惕 + 拟合参数最小化”的组合。这条路上，宽客尽可能少用参数，把参数值设在合理水平，简单地测试策略，寻找有良好表现的参数。

检验中的假设条件：交易成本与做空可得性#

检验流程的另一组成部分是假设条件——那些关于交易策略的、在历史上被检验的假设。作者讨论两个例子。

交易成本，包含佣金和手续费、滑点、市场冲击。作者指出一个有趣的事实：研究过程中，策略在过去被实施实际需要多少成本，是没有经验证据的——因为这笔交易根本没真实发生过，只是在历史数据上被研究。因此研究员必须假设订单因市场冲击造成的成本大小。这些假设对判定策略好坏很重要。极端例子：假设交易完全无成本，会让非常高频的策略显得很有吸引力，因为只要能预测到任何价格变化、无论多小，交易似乎都值得做。具体算：一个模型 55% 的时间交易正确、正确时每股赚 0.01 美元，45% 的时间错误、错误时每股亏 0.01 美元——每 100 股期望收益 0.10 美元。但实施时证明实际交易成本平均每股 0.01 美元，于是 55% 的时间只是收支平衡，45% 的时间每股亏 0.02 美元；每 100 股不是赚 0.10 美元，而是亏 0.90 美元。一般而言，高估交易成本会让宽客持仓时间长于最佳值，低估则会让宽客太频繁地换组合、产生额外成本；如果非要犯错，高估比低估更有意义，但能近似正确估计仍是最受欢迎的。

空头头寸的可得性，只在股票市场中性策略或多头/空头策略中出现。设想一个市场中性交易员，按设计持有与多头数量大致相等的空头；随着时间推移，通过发现被高估的股票，空头规模会显著增加，在市场下跌时盈利，从而降低策略的内在风险。但事实是：空头名单——尤其是最容易成功的那些——常常落在卖空限制（hard-to-borrow）列表里，即经纪商通常限制做空的股票，因为经纪商机械上借不出股票。如果没有真实股票被借出，这笔交易将构成裸卖空，在美国不合法，因此交易不会像回测预期的那样被执行。作者特意加了一句限定：让模型警惕过去发生过的这些问题并不是一件小事，因为这些历史数据很难获得。后果是研究员容易愚蠢地认为空头组合能带来价值，而现实中并不存在——真正建仓时才发现做不了最优的空头交易，只能被迫用较差的空头替代。

小结：鲁棒性与精确性之间没有万全之策#

作者收束全章：研究是量化投资过程中高度敏感的领域，研究员的判断是最重要的影响因素。研究阶段所犯的错误会深深烙进策略的任何部分，而这种错误被系统化实施将是灾难性的。而且研究不是一蹴而就的——宽客必须连续进行有活力的、丰富多产的项目，才能持续获利。

最后是全章的核心权衡：**根据定义，模型是市场过去行为的归纳。**越通用的模型鲁棒性越强，但很可能在任何时点都不够精确；越具体的模型越精确，但市场条件一变就可能整体失败。在普遍性与专一性、鲁棒性与精确性之间权衡，是量化研究员面对的重要挑战。作者明说自己意识到”这个挑战没有万全之策”，只能拿爱因斯坦那句话当最好的准则——任何事都应尽量从简，但不可过简。

至此黑箱的旅行完成（图 9-6　黑箱结构），涵盖模型组件与驱动模型的组件（数据和研究），下一章转向对量化交易者及其策略的评估。

关于本章图表的说明#

本章共有六幅图，正文对它们的依赖程度差别很大，这里就地说明，以免读者误以为笔记省略了内容：

• 图 9-1（标普 500 策略的回测累积盈利图）、图 9-2（该策略的 R²）、图 9-6（黑箱结构）：提取到的文本只有图题，没有图形数据。这三幅图的关键结论正文已用文字给出（图 9-1 对应”持续盈利但波浪起伏、1989 年末至 1995 年初几乎不交易”，图 9-2 对应”R² 低于 0.01”），图形本身的细节无从复述，此处不臆造。
• 图 9-3（五分位数分组）、图 9-4（MSFT 时间延迟）、图 9-5（选取最优参数值）：同样只有图题，但正文对图形内容做了完整的逐点解读（-2.35%/-0.19% 的分组收益、4 月 28 日的 11.1%/11.4%、A/B/C/D 四点的取舍），笔记中的相关叙述均来自这些正文解读，而非对图形的推测。

另有一处存疑：本章在讲参数设定时，把 lookback（价格变化所处的历史阶段）译作”回测”，与前文表示 drawdown/backtest 的”回测”用词重合；同一段还出现”回测两天的趋势”与”回测过去 6 个月的趋势”，从上下文看指的是回溯窗口长度，与”最大回撤”无关。读者遇到”回测”一词时需按上下文区分。