Overfitting y la significancia estadística de un backtest

¿Por qué y cuándo se usa esto? Se usa cada vez que alguien (incluido tú mismo) te muestra un backtest con resultados espectaculares — antes de creerlo, esta es la pregunta cuantitativa que hay que hacerle: ¿ese Sharpe pudo salir solo por azar?

Con suficientes pruebas, siempre se encuentra una regla que "habría funcionado perfecto" en el pasado. Eso es sobreajuste (overfitting): la estrategia memorizó el ruido, no una relación real. La forma cuantitativa de sospechar de un backtest es preguntar si su Sharpe pudo haber salido por puro azar. El error estándar aproximado de un Sharpe estimado con $n$ observaciones es:

Procedimiento paso a paso (a mano), para dudar de un backtest con criterio:

1. Consigue el Sharpe reportado $\widehat{SR}$ y el número de observaciones $n$ que se usaron para calcularlo.
2. Calcula $SE(\widehat{SR})$ con la fórmula de arriba.
3. Divide $\widehat{SR}/SE$: si el resultado es menor a 2, el Sharpe no es estadísticamente distinguible de cero (pudo salir por azar).
4. Pregunta cuántas variantes/parámetros se probaron antes de llegar a esa regla — si fueron muchas, el t-estadístico real es peor de lo que dice el cálculo simple (comparaciones múltiples).
5. Exige validación fuera de muestra antes de arriesgar dinero real, sin importar qué tan bien se vea el t-estadístico dentro de muestra.

Ahora aplica el procedimiento:

Problema. Un backtest de 60 observaciones diarias da $\widehat{SR}=1.5$ (anualizado, para simplificar asume que ya está en la escala correcta). Calcula $SE(\widehat{SR})$ y el "t-estadístico" $\widehat{SR}/SE$. Usa la regla práctica de que un t mayor a 2 sugiere que el resultado no es puro ruido.

Solución. $SE = \sqrt{(1+0.5(1.5)^2)/60} = \sqrt{(1+1.125)/60} = \sqrt{0.0354}\approx 0.188$. $t = 1.5/0.188 \approx 7.98$ — muy por encima de 2. Pero ojo: este cálculo asume que solo se probó una regla. Si en realidad se probaron 50 variantes de parámetros antes de quedarte con la mejor, la probabilidad real de encontrar un Sharpe así por azar sube muchísimo — el llamado problema de comparaciones múltiples, la razón matemática por la que "fuera de muestra" no es opcional.

Validación fuera de muestra: probar en datos que la estrategia nunca vio durante su diseño, en varios períodos de mercado (alcista, bajista, lateral) y, idealmente, en varios activos parecidos.

Practica tú (resuelve antes de mirar la respuesta). Un backtest de apenas $n=20$ observaciones da $\widehat{SR}=0.4$. Calcula $SE$ y el t-estadístico. ¿Confiarías en este resultado? Respuesta: $SE=\sqrt{(1+0.5(0.4)^2)/20}\approx 0.232$, $t=0.4/0.232\approx 1.72$ — por debajo de 2: no hay evidencia suficiente de que sea real y no ruido, aunque el Sharpe "se vea bien" a simple vista.

🔧 En código libre: QuantEcon publica notas y código abiertos específicamente sobre este tipo de rigor estadístico aplicado a series económicas y financieras.

📌 Para repasar: $SE(\widehat{SR})\approx\sqrt{(1+\tfrac12\widehat{SR}^2)/n}$; un t-estadístico ($\widehat{SR}/SE$) menor a 2 significa que el resultado podría ser puro azar. Más pruebas realizadas = mayor probabilidad de un "falso positivo" por casualidad.