选股公式设计中的过度拟合,指的是公式在历史数据上表现优异,却在实盘或未来数据中大幅失效的现象。避免过度拟合的核心方法,是坚持样本外测试、控制参数数量,并确保公式逻辑有真实的市场或基本面支撑,而非单纯依赖历史数据挖掘出的统计巧合。
过度拟合的识别与危害
过度拟合的典型表现是回测曲线近乎完美,但实盘表现与回测差距巨大。常见原因包括:参数过多(如同时优化十几个指标权重)、反复调整参数直到历史数据“满意”,以及公式捕捉了特定历史时期的偶然规律,而非可持续的市场逻辑。
判断是否存在过度拟合,可以从三个维度观察:
- 样本外表现:将数据分为开发集与测试集,公式在未参与开发的样本上表现是否依然稳定
- 参数敏感度:参数小幅变动时,公式表现是否剧烈波动(敏感度过高通常意味着过拟合)
- 逻辑合理性:公式背后的逻辑能否用常识或基本面解释,而非纯粹的数据巧合
防止过度拟合的核心方法
样本外测试与交叉验证是最直接的防线。 将历史数据按时间分段,用前段数据开发公式,用后段数据验证效果;更严格的做法是采用滚动窗口测试,模拟公式在不同市场环境下的持续表现。
减少参数数量能显著提高公式鲁棒性。 每增加一个参数,公式对历史数据的“拟合能力”都会增强,但对未来的预测能力往往下降。优先选择参数少、逻辑清晰的公式,通常比复杂模型更可靠。
公式逻辑应有基本面或市场结构支撑。 例如,基于估值修复、盈利增长或行业轮动逻辑的选股因子,其有效性有经济原理支撑;而基于“某个月份上涨概率高”等纯统计规律,则容易随市场结构变化而失效。实盘与回测的差异还来自交易成本、滑点、涨跌停限制等因素,回测时应预留足够成本缓冲。
常见问题
回测年化收益达到多少才算合格?
不存在普适的收益阈值。 判断公式是否合格,应综合考察收益稳定性、最大回撤、夏普比率及样本外表现,而非单一收益数字。不同市场环境、不同交易频率下,合理收益区间差异很大。
如何判断公式是否过度依赖某个历史时期?
将公式在不同市场阶段(牛市、熊市、震荡市)分别回测,观察表现是否均衡。 如果公式只在特定行情下有效,在其他阶段明显失效,则大概率过度拟合了该时期的特殊规律。也可将数据按不同起始点滚动测试,检验结果是否稳定。
参数优化到什么程度算“过多”?
没有固定参数数量标准,但应遵循“能用少参数解释,就不用多参数”的原则。 一般经验是,参数越多,需要的样本量越大,否则极易过拟合。当参数数量接近或超过有效独立样本数量时,公式基本失去预测价值。