Retester

El Constructor fabrica estrategias que funcionan bien en el pasado. El problema es que muchas funcionan bien solo en ese pasado: se lo han aprendido de memoria, como quien se aprende las respuestas de un examen sin entender la materia. El Retester es la sala de exámenes: coge las estrategias de tu listado y las somete a pruebas que nunca han visto (un año que no usaron, otras temporalidades, otros mercados, costes peores, precios movidos un poco, troceados distintos del histórico…). Las que aprueban tienen muchas más papeletas de comportarse bien en el futuro; las que suspenden las puedes apartar o borrar.

#Paso a paso: pasar 200 estrategias por el Retester y quedarte con las robustas

Supongamos que el Constructor acaba de terminar y tienes 200 estrategias de EURUSD en H1, construidas con datos de 2018 a 2024. El último año de datos (el año reservado) no se ha usado para construirlas.

1. Guarda antes una copia. En el Visualizador de estrategias, marca todas y pulsa el botón del disquete (al pasar el ratón pone «Guardar las marcadas en el Archivo de tu forja») para dejarlas en el Archivo. Así, aunque el Retester borre las que suspendan, no pierdes nada.
2. Abre la sección Retester y pulsa Configuración predeterminada para partir de los valores de fábrica, que ya están afinados para ser exigentes sin ser imposibles.
3. En la pestaña Filtros:
   • Fuera de muestra: déjalo como viene (Rentable y Calidad marcados, umbral 50 %).
   • Otras temporalidades: pulsa + Añadir temporalidad y elige H4.
   • Otros mercados: pulsa + Añadir mercado y elige GBPUSD (un mercado parecido a EURUSD).
   • Data sintética y Correlación: como vienen.
4. Pasa por las pestañas Robustez y Sobreoptimización para ver que las pruebas que quieres están en Ejecutar prueba (interruptor naranja). Las que no quieras, ponlas en Ignorar prueba.
5. Pon el interruptor rojo de cada prueba en Eliminar fallidas. Así cada prueba quita las que suspenden y la siguiente solo examina a las supervivientes (es un embudo: entra mucho por arriba, sale poco por abajo, y cada paso es más rápido que el anterior).
6. Pulsa Iniciar retester en la barra de arriba. Te avisará de que algunas pruebas borran estrategias: acepta.
7. Espera. El avance se ve en la barra de abajo («Retester automático · Fuera de muestra · examinando 120/200…»). Puedes cerrar el navegador: el trabajo sigue en tu forja y al volver ves cómo va.
8. Cuando termine, vuelve al Visualizador de estrategias. Lo que queda en el listado son las supervivientes. Elige una y mira sus pestañas Filtros, Robustez y Sobreoptimización para ver el detalle de cada examen.
9. Si de 200 te quedan, por ejemplo, 6, es un buen resultado. Si no queda ninguna, también es información útil: esa tanda no tenía estrategias sólidas. Vuelve a construir (otro activo, otra temporalidad, otros indicadores) en lugar de relajar todas las pruebas.

#Cómo funciona el Retester

#Tres pestañas, tres familias de pruebas

• Filtros: preguntas de «¿funciona fuera de casa?». Año que no vio, otras temporalidades, otros mercados, tipos de mercado y, al final, quitar repetidas.
• Robustez: pruebas Monte Carlo (repetir la estrategia cientos de veces cambiando un poco algo al azar y quedarse con el peor caso razonable).
• Sobreoptimización: pruebas para cazar estrategias sobreajustadas, o sea, que memorizaron el pasado en vez de aprender algo que se repite.

#Los dos interruptores de cada prueba

Cada prueba tiene, a la derecha de su título, dos interruptores. El texto que ves es el estado actual:

De serie todas las pruebas vienen en Ejecutar prueba y Conservar fallidas. Las pruebas de Otras temporalidades y Otros mercados se saltan solas mientras no añadas al menos una temporalidad o un mercado.

Cuando termina un embudo que ha quitado estrategias, arriba del Retester y del Visualizador de estrategias sale un aviso con el balance: «Retester: pasan 12 de 500; se han quitado las demás». Si no ha pasado ninguna, el aviso sale en rojo y lo dice claro («Ninguna estrategia ha pasado el Retester: se han quitado las 500 del listado»): el listado vacío no es un fallo, es el filtro haciendo su trabajo. También sale si el embudo corrió solo (por ejemplo, al terminar una construcción) mientras tenías la página cerrada. Se quita con Entendido.

#El embudo: «Iniciar retester»

Iniciar retester pasa todas las pruebas activas, una detrás de otra, sobre las estrategias del Visualizador de estrategias. El orden es siempre el mismo:

1. Fuera de muestra
2. Otras temporalidades
3. Otros mercados
4. Las siete pruebas de Robustez (Reordenar, Saltar, Spread, Slippage, Comisión y swap, Barra de inicio, Ruido)
5. Matriz anti-sobreoptimización
6. Sensibilidad de parámetros
7. Data sintética (la penúltima)
8. Correlación (siempre la última, porque compara unas estrategias con otras y solo tiene sentido entre las supervivientes)

Mientras corre puedes usar Pausar retester (la pausa entra al acabar la prueba en curso), Reanudar retester y Parar retester (para al terminar la prueba en curso: lo que ya se borró o marcó se queda así y las pruebas que faltaban no se hacen). Todo ocurre en tu forja, así que funciona aunque cierres el navegador.

#Lanzar una sola prueba

Cada bloque tiene su propio botón Ejecutar prueba (verde, dentro del bloque). Sirve para pasar solo esa prueba a todo el listado, sin el resto del embudo. Mientras trabaja pone «Examinando…», «Simulando…», «Barriendo la matriz…» o «Moviendo perillas…». Solo puede haber un trabajo pesado a la vez en tu forja.

#Probar una sola estrategia

En el Visualizador de estrategias, elige una estrategia y abre la pestaña Filtros, Robustez o Sobreoptimización y la subpestaña de la prueba. Si todavía no la tiene hecha, pulsa Lanzar esta prueba. El resultado se guarda en el expediente de la estrategia (su historial de pruebas): la próxima vez se abre al instante. Con Repetir prueba la vuelves a calcular con la configuración actual del Retester. Si esa estrategia pasó por el embudo, verás además «Último retest en lote (fecha): APROBÓ» o «SUSPENDIÓ — motivo».

#Guardar tu configuración

• Guardar config guarda todos los ajustes del Retester con un nombre, en tu forja.
• Cargar config recupera una guardada (o un fichero de tu ordenador).
• Configuración predeterminada vuelve todo a los valores de fábrica.

Los ajustes también se recuerdan solos en tu navegador entre visitas.

#Retester automático

En el Constructor, pestaña Filtros, el bloque Retester automático tiene el interruptor Ejecutar Retester automático al terminar. Si lo enciendes, cuando la construcción se detenga sola al reunir las estrategias que pediste, se lanza el embudo con la configuración que tengas en el Retester. Es el único interruptor: en esta sección no hay otro, aquí solo eliges qué pruebas se pasan. No se lanza si paras tú la construcción con Parar, si el listado está vacío o si la construcción es de un proceso de la Automatización. También puedes meter un bloque Retester dentro de un proceso de la Automatización.

#Pestaña Filtros

#Fuera de muestra

Qué mide. Hace el backtest (la simulación sobre datos pasados) de cada estrategia en el año reservado: el tramo final del histórico que el Constructor no usó para nada. Es el examen más limpio que existe, porque la estrategia nunca ha visto esos datos.

Opciones:

• Rentable: aprueba si el beneficio en el año reservado es mayor que cero.
• Calidad: aprueba si el Ret/DD (beneficio dividido entre el drawdown, o sea, entre la mayor caída desde un máximo) del año reservado conserva al menos un porcentaje del Ret/DD de un año típico de construcción. Se compara con la mediana de los años de construcción, no con el total, para que la comparación sea justa (un año contra un año).
• Umbral de calidad: ese porcentaje. De serie, 50 %: el año nuevo tiene que conservar al menos la mitad de su calidad habitual.

Si marcas las dos, tiene que cumplir las dos. Si no marcas ninguna, aprueban todas.

Cómo se lee el resultado. En la subpestaña Fuera de muestra del Visualizador ves un gráfico con cuatro curvas superpuestas: el año reservado (naranja, más gruesa), el año medio (gris), el mejor año (verde) y el peor año (rojo) de la construcción. Si la curva naranja se mueve dentro del abanico de los años normales, buena señal. Si cae por debajo del peor año, mala señal.

#Otras temporalidades

Qué mide. Prueba la misma estrategia, con los mismos parámetros, en otras temporalidades (el tamaño de cada vela: M15, H1, H4…). Si su idea es buena, debería funcionar razonablemente también en temporalidades vecinas. Si solo funciona en la suya, probablemente es casualidad.

Opciones:

• + Añadir temporalidad: añade una fila con su selector. Puedes añadir varias y quitarlas con la ✕.
• Rentable: tiene que ganar dinero (más que cero) en todas las temporalidades añadidas.
• Desviación: ninguna temporalidad puede separarse del Ret/DD de la original más de un porcentaje.
• Desviación máxima: ese porcentaje (de 0 a 200 %). De serie, la desviación viene desmarcada y el umbral en 100 %: el Ret/DD cambia mucho entre temporalidades y un umbral estricto suspende casi todo.

Qué dejar si no sabes: añade una o dos temporalidades vecinas (si la estrategia es de H1, prueba M30 y H4) con solo Rentable.

Cómo se lee. La subpestaña Otras temporalidades superpone la curva de la temporalidad original con las demás, con el beneficio y las operaciones de cada una.

#Otros mercados

Qué mide. Lo mismo que la anterior, pero cambiando de mercado: la estrategia, tal cual, en otro activo. Distingue una lógica general de una casualidad del activo donde nació.

Opciones: iguales que en Otras temporalidades (+ Añadir mercado, Rentable en todos los mercados añadidos, Desviación y Desviación máxima). De serie la desviación viene desmarcada y, si la activas, empieza en 75 %.

Qué dejar si no sabes: un solo mercado parecido al original (oro → plata, EURUSD → GBPUSD) con solo Rentable. Pedir que funcione en mercados muy distintos es demasiado exigente para casi cualquier estrategia.

Cómo se lee. La subpestaña Otros mercados compara las curvas del mercado original y de los añadidos.

#Data sintética

Qué mide. Trocea el histórico real del activo según el tipo de mercado que había en cada momento y mira cómo se porta la estrategia en cada trozo. No inventa precios: todo sale de datos reales, agrupados por situación.

Tipos de mercado que puedes marcar (los marcados de serie llevan ✓):

La Serie invertida (espejo) da la vuelta al precio (lo que subía, baja). Sirve para descubrir si una estrategia gana de verdad o solo porque el activo subía todo el rato.

Criterios:

• Rentable: gana dinero en todos los tipos marcados en los que llega a operar (si en un tipo no opera, no cuenta en su contra).
• Desviación y Desviación máxima: ningún tipo se separa del Ret/DD global más de ese porcentaje. Viene desmarcada: cada tipo es solo un trozo del histórico y su Ret/DD se separa mucho del total.

Cómo se lee. La subpestaña Data sintética enseña una tarjeta por tipo de mercado, con una frase que explica qué se comprueba y la curva de la estrategia en ese tipo.

#Correlación

Qué mide. No mira si una estrategia es buena, sino si está repetida. Compara las estrategias de dos en dos según el dinero que ganan o pierden cada día. Si dos ganan y pierden los mismos días con importes parecidos, son gemelas aunque usen indicadores distintos. De cada pareja de gemelas se queda la de mejor nota. Compara todas las del listado del Visualizador construidas con el mismo activo y temporalidad; en el embudo va la última, así que solo compara las que han aprobado las pruebas anteriores.

Opción:

• Correlación máxima: si dos estrategias se parecen más que este porcentaje, se consideran gemelas. De serie, 80 %. Más bajo = más estricto (quedan menos, más distintas entre sí).

Cómo se lee. La subpestaña Correlación enseña una tabla de todas contra todas: rojo = muy parecidas (gemelas), verde = poco parecidas o contrarias. Se puede exportar a CSV.

#Pestaña Robustez (Monte Carlo)

Las siete pruebas de esta pestaña siguen la misma idea: repetir la estrategia muchas veces (las Simulaciones, 200 de serie) cambiando un poco algo al azar en cada repetición. El resultado es una nube de resultados posibles en vez de una sola curva. Y lo que se juzga es el peor caso razonable, no el backtest original, que puede haber tenido suerte.

#Cómo se aprueba (igual en las siete)

Se miran las simulaciones y se toma el peor 5 % (lo que se llama confianza del 95 %). Ahí se calcula cuánto conserva la estrategia de su beneficio y de su control del drawdown:

• Verde (aprueba con holgura): conserva el 70 % o más.
• Amarillo (aprueba justa): conserva entre el 50 % y el 70 %.
• Rojo (suspende): conserva menos del 50 %, o en el peor caso pierde dinero, o su Ret/DD del peor caso baja de 1.

En la subpestaña de cada prueba (Visualizador → Robustez) ves:

• Unas baldosas con el veredicto: Nota (peor caso), Beneficio peor caso, Supervivencia beneficio, Supervivencia drawdown y Ret/DD peor caso, y la palabra APRUEBA o SUSPENDE.
• El abanico de curvas simuladas (gris) junto a la original (naranja). Un abanico estrecho alrededor de la naranja = estrategia estable. Un abanico que se abre mucho hacia abajo = estrategia frágil.
• Un histograma (un gráfico de barras con cuántas simulaciones salieron con cada resultado), con la línea roja del peor caso y la naranja del original.

En todas puedes cambiar Simulaciones: más simulaciones = resultado más fino, pero más lento. 200 está bien para casi todo.

#Reordenar operaciones

Baraja el orden de las operaciones cientos de veces. El beneficio total no cambia (son las mismas operaciones), pero el peor drawdown sí. Revela si la curva bonita fue suerte del orden: por ejemplo, que las pérdidas cayeran repartidas en vez de seguidas. Aquí el histograma enseña el drawdown, no el beneficio. No tiene mando propio.

#Saltar operaciones

En cada simulación descarta al azar un porcentaje de las operaciones. Revela si todo dependía de unas pocas operaciones muy afortunadas.

• Operaciones a saltar: de 5 a 40 %. De serie, 15 %.

#Variar spread

El spread es la diferencia entre el precio de compra y el de venta, lo que te cobra el bróker por operar. Esta prueba recorre toda la gama de spreads reales que ha tenido el activo: cada simulación usa un nivel distinto, del mínimo al máximo visto.

• Spread máximo a probar (% del real): de 50 a 120 %. De serie, 60 %. Por encima de 100 % prueba spreads aún peores de los vistos.

#Variar slippage

El slippage es la diferencia entre el precio al que querías entrar o salir y el que te dan de verdad. Esta prueba mete un deslizamiento en contra al entrar y al salir, distinto en cada simulación. Mide cuánto sufre la estrategia con una ejecución peor.

• Slippage máximo (% del spread real): de 0 a 120 %. De serie, 15 %.

#Variar comisión y swap

Sube al azar la comisión y el swap (el coste por mantener una operación abierta de un día para otro) por encima de los reales. Es un colchón por si tu bróker cobra más de lo previsto.

• Sobrecoste máximo: de +0 a +200 %. De serie, +50 %.

#Cambiar barra de inicio

Empieza el backtest en un punto distinto dentro del primer tramo del histórico, descartando lo anterior. Revela si el resultado depende del día exacto en que arrancó.

• Margen de arranque: de 5 a 50 %. De serie, 20 %.

#Ruido en datos

Mueve un poco los precios al azar y repite el backtest en cada simulación. Detecta si la estrategia se había aprendido los precios exactos del pasado (que nunca se repetirán idénticos).

• Ruido máximo (de la vela): de 5 a 100 % del tamaño típico de una vela. De serie, 5 %.

Es la prueba más lenta, porque repite el backtest entero cada vez. Para ahorrar tiempo empieza con 50 simulaciones por estrategia, y solo las que quedan cerca del límite entre aprobar y suspender siguen hasta el número que hayas pedido.

#Pestaña Sobreoptimización

Sobreoptimizar es ajustar tanto una estrategia al pasado que solo funciona en ese pasado. Estas dos pruebas son las más útiles para detectarlo.

#Matriz anti-sobreoptimización

Qué mide. Hace un walk-forward: trocea el histórico en tramos y, en cada tramo, compara cómo rinde la estrategia en la parte de «entrenamiento» con cómo rinde en la parte siguiente, la de «examen» (fuera de muestra). Pero no lo hace una sola vez: lo repite con 30 troceados distintos (3, 4, 5, 6, 8 y 10 tramos, cada uno con el 20, 25, 30, 35 o 40 % del tramo como examen) y pinta el resultado como un mapa de calor.

Cada casilla del mapa tiene un color:

• Verde: buena eficiencia (en el examen rinde una parte grande de lo que rinde en el entrenamiento), buena consistencia (la mayoría de tramos de examen ganan) y la curva de examen encadenada es rentable.
• Amarilla: justa.
• Roja: se cae en ese troceado.

Cómo se aprueba. Tiene que haber un bloque de 3×3 casillas vecinas con al menos tantas verdes como pidas. No vale con tener verdes sueltas repartidas por suerte: tiene que haber una meseta, una zona firme.

Opciones:

• Verdes mínimas en un bloque 3×3: de 5 a 9. De serie, 6 de 9.
• Solo en modo avanzado (las tuercas de experto; valores de fábrica 70 % · 5 ops · 0,5):
  • Nota para casilla VERDE: de 50 a 90 %. Más alto = cada casilla cuesta más de pintar de verde.
  • Ops mín. por tramo: un tramo con menos operaciones que esto no cuenta (la estrategia apenas opera ahí y no se puede juzgar).
  • Suelo Beneficio/DD (OOS): calidad mínima que debe tener la curva de examen encadenada de cada casilla.

Cómo se lee. En la subpestaña Matriz anti-sobreoptimización ves el mapa (filas = número de tramos, columnas = % de examen) con el mejor bloque 3×3 resaltado y el resto atenuado; las baldosas Mejor bloque 3×3, Verdes, Amarillas y Rojas; el veredicto APRUEBA o SUSPENDE; y un selector para ver la curva de cualquier casilla (la mejor viene marcada con ★).

#Sensibilidad de parámetros

Qué mide. Mueve cada parámetro de la estrategia (periodos de indicadores, stop loss, take profit, umbrales…) un poco a cada lado, de uno en uno, y repite el backtest sobre todo el histórico. Si el rendimiento se mantiene, la estrategia está en una meseta estable. Si al mover un parámetro un paso se desploma, está en un pico afilado: el valor exacto era casualidad.

Cómo se aprueba. Se calcula la estabilidad: el porcentaje de esas variantes vecinas que conservan al menos la mitad del Ret/DD original. Verde si es del 70 % o más; amarillo si supera la estabilidad mínima; rojo por debajo. También suspende si la estrategia original es floja (menos de 20 operaciones o sin beneficio).

Opciones:

• Variación de los parámetros: cuánto se mueve cada parámetro, de ±5 a ±50 %. De serie, ±20 %. Cada parámetro se prueba a la mitad de esa distancia y a la distancia entera, hacia arriba y hacia abajo.
• Estabilidad mínima: de 0 a 100 %. De serie, 60 %.

Cómo se lee. La subpestaña Sensibilidad enseña las baldosas Estabilidad, Meseta (rendimiento medio del entorno comparado con el original: cerca de 100 % = muy plano), Ret/DD centro, Beneficio centro y Más frágil (el parámetro cuyo entorno cae más), y un pequeño gráfico por parámetro. Línea plana = robusto. Pico en el centro = frágil.

#En qué orden usar las pruebas

El embudo ya las ordena de forma sensata, pero conviene saber por qué:

1. Primero lo barato y lo que más descarta: Fuera de muestra, Otras temporalidades y Otros mercados. Quitan muchas estrategias rápido.
2. Después las Monte Carlo: casi todas son rápidas porque trabajan sobre las operaciones ya calculadas. Ruido en datos es la excepción.
3. Luego las de sobreoptimización: Matriz y Sensibilidad repiten muchísimos backtests por estrategia. Cuantas menos lleguen aquí, antes acaba.
4. Data sintética al final de los exámenes.
5. Correlación la última, para quitar repetidas entre las que ya son buenas.

Por eso Eliminar fallidas acelera tanto el embudo: cada prueba trabaja solo con las que siguen vivas.

#Consejos

• No relajes todo para que aprueben más. Si nada sobrevive, el problema suele estar en la construcción, no en el Retester. Prueba otro activo, otra temporalidad u otros indicadores.
• Una prueba que suspende casi todo puede estar demasiado estricta para tu tipo de estrategia (por ejemplo, el ruido con estrategias de muchísimas operaciones). Mírala sola con Conservar fallidas antes de decidir.
• Guarda en el Archivo antes de podar. Lo borrado con Eliminar fallidas no vuelve.
• Guarda tu configuración favorita con Guardar config y úsala siempre igual: así comparas tandas con el mismo listón.
• No mires el año reservado para elegir. Si después de ver el resultado del año reservado cambias la estrategia para que lo apruebe, ese año deja de ser un examen limpio.
• Activa el Retester automático si construyes a menudo: al terminar el Constructor, el embudo arranca solo.
• Aprobar el Retester no garantiza ganancias futuras. Reduce mucho las probabilidades de llevar a real una estrategia que solo funcionaba por casualidad, que ya es mucho.

#Preguntas frecuentes

#¿Por qué no aparece una estrategia en el resultado de la prueba?

Probablemente se construyó con otro activo o temporalidad distintos de los de la última construcción. El Retester solo examina las que encajan con esa data y avisa de cuántas se quedaron fuera.

#¿Puedo pasar el Retester a estrategias que tengo en el Optimizador o en el Portfolio?

No directamente: el Retester trabaja sobre las del Visualizador de estrategias. Llévalas allí con Mover a.

#¿Qué diferencia hay entre «Conservar fallidas» y no pasar la prueba?

Con Conservar fallidas la prueba se hace y el suspenso queda apuntado en el expediente de cada estrategia (lo ves en sus pestañas y en los informes), pero no se borra nada.

#La prueba dice que no hay año reservado. ¿Qué hago?

En el Constructor, deja la fecha de fin antes del final de los datos (de serie ya se deja el último año libre) y vuelve a construir. O prescinde de esa prueba.

#Sigue con

• Optimizador: afina con cuidado los parámetros de las supervivientes.
• Portfolio: junta varias estrategias robustas en una cartera.
• Exportar: lleva las elegidas a MetaTrader o NinjaTrader.