Methodik für Backtest, Replay und Vorwärtstest

Warum diese Seite existiert

Fast jede Aussage über eine Handelsmethode beruft sich auf einen Test. Ob dieser Test etwas belegt, entscheidet sich nicht am Ergebnis, sondern an seiner Dokumentation. Diese Seite beschreibt den Maßstab, den HerzTrading an eigene und fremde Testaussagen anlegt.

Sie enthält keine Methode, keine Parameter und keine Bewertung einer Strategie. Sie beschreibt ausschließlich, wie geprüft und wie formuliert wird.

Drei Testformen und was sie jeweils zeigen

| Form | Was sie abbildet | Was sie nicht abbildet | |---|---|---| | Backtest | Anwendung fester Regeln über viele historische Fälle, schnell auswertbar | Entscheidungsdruck; besonders anfällig für Regeln, die erst nach Kenntnis des Verlaufs entstanden | | Replay | Entscheidung in realer Reihenfolge ohne Kenntnis der Fortsetzung | Ausführungsqualität, echte Kosten und die Wirkung realen Kapitals | | Vorwärtstest | Anwendung auf Daten, die es bei Regelformulierung noch nicht gab | nichts davon systematisch - dafür ist er langsam und liefert wenige Fälle |

Die drei Formen ersetzen einander nicht. Ein Backtest erzeugt Fälle, ein Replay prüft die Anwendbarkeit unter Unsicherheit, und erst ein Vorwärtstest liefert Fälle, die nicht durch Rückschau beeinflusst sein können.

Der wichtigste Befund aus der Fachliteratur

Die von der CME Group bereitgestellte Arbeit „Backtesting“ von Campbell R. Harvey (Duke University, NBER) und Yan Liu (Texas A&M University) in der Fassung vom 28. Juli 2015 beschreibt ein Problem, das jede Testaussage betrifft.

Die Autoren halten fest, dass es gängige Praxis ist, berichtete Sharpe-Verhältnisse aus historischen Backtests um 50 Prozent abzuwerten. Der Grund sei einfach: Es finde unvermeidlich Data Mining statt - durch den Forschenden selbst und durch alle, die zuvor an denselben Daten gearbeitet haben. Ihr Beitrag entwickelt einen statistischen Rahmen, der diese Vielfachtests systematisch berücksichtigt, schlägt ein Verfahren für den angemessenen Abschlag („Haircut“) eines berichteten Sharpe-Verhältnisses vor und benennt eine Ertragshürde, die eine Strategie überschreiten muss, um als signifikant zu gelten.

Für die Praxis folgt daraus eine unbequeme Regel: Je mehr Varianten du getestet hast, desto weniger bedeutet dein bester Test. Wer zwanzig Parameterkombinationen ausprobiert und die beste berichtet, berichtet nicht das Ergebnis einer Methode, sondern das Ergebnis einer Suche.

Vier Verzerrungen, die Ergebnisse entwerten

| Verzerrung | Wie sie entsteht | Gegenmaßnahme | |---|---|---| | Rückschauwissen | Regeln werden formuliert, nachdem der Verlauf bekannt ist | Regeln vor dem Test schriftlich fixieren und datieren | | Überanpassung | Parameter werden verändert, bis das Ergebnis gefällt | Parameterwahl auf einem Datenbereich, Prüfung auf einem anderen; Zahl aller getesteten Varianten nennen | | Auswahlverzerrung | Unangenehme Fälle werden ausgelassen oder zur Ausnahme erklärt | Ausschlussregeln vorab definieren und ausgeschlossene Fälle zählen | | Kostenblindheit | Spread, Kommission und Slippage fehlen in der Rechnung | Kostenannahme je Ausführung dokumentieren und abziehen |

Diese vier Punkte erklären, warum ein beeindruckender Backtest und ein enttäuschender Realverlauf gut zusammenpassen können, ohne dass jemand getäuscht hat. Sie sind strukturelle Fehler im Aufbau, keine Charakterfrage.

Was ein Test dokumentieren muss

Ohne die folgenden Angaben ist ein Ergebnis nicht reproduzierbar und damit kein Beleg:

1. Datensatz – Anbieter, Instrument, Auflösung, Zeitraum, Zeitzone und bekannte Lücken.
2. Regeln im Wortlaut – datiert vor Beginn der Auswertung, unverändert über die gesamte Reihe.
3. Getrennte Bereiche – welcher Zeitraum diente der Parameterwahl, welcher ausschließlich der Prüfung.
4. Zahl der getesteten Varianten – wie viele Parameterkombinationen oder Regelfassungen wurden insgesamt betrachtet.
5. Kostenannahme je Ausführung – einschließlich einer Slippage-Annahme über null.
6. Auswahl- und Ausschlussregeln – vollständig, mit Zählung der ausgeschlossenen Fälle.
7. Behandlung von Sonderfällen – nicht ausgelöste Setups, nicht handelbare Fälle, Feiertage, Zeitumstellungen, Rollzeitpunkte.
8. Stichprobengröße – Zahl der ausgewerteten und der ausgeschlossenen Fälle nebeneinander.

Fehlt eine dieser Angaben, ist die richtige Formulierung nicht „die Methode erreicht X“, sondern „in dieser Stichprobe wurde X beobachtet“.

Was ein Test grundsätzlich nicht abbildet

Auch ein methodisch sauberer Test bleibt eine Rechnung auf Vergangenheitsdaten. Mehrere Faktoren wirken erst in der Ausführung, und die BaFin beschreibt sie unabhängig von jeder Teststatistik:

• Eine Stop-Limit-Order wird gelöscht, wenn sich zum festgelegten Limit kein Gegenüber findet.
• TeilausführungenTeilausführung Bei einer Teilausführung wird eine Order nur teilweise ausgeführt; ob dabei mehrfach Gebühren anfallen, entscheidet das jeweilige Institut. sind systembedingt möglich; im Börsenhandel gilt Preis-Zeit-PrioritätPreis-Zeit-Priorität Im Börsenhandel werden zuerst die besten Limits berücksichtigt; bei gleichem Limit wird zuerst ausgeführt, was früher im System eingestellt wurde..
• Ob bei Teilausführungen mehrfach Gebühren anfallen, entscheidet das jeweilige Institut.
• Der Handel mit einem Finanzinstrument kann ausgesetzt werden, wenn es zur Sicherung eines ordnungsgemäßen Handels oder zum Schutz der Anlegerinteressen erforderlich erscheint.

Ein Test, der diese Punkte nicht als Annahme benennt, beschreibt eine idealisierte Welt.

Wie HerzTrading eigene Aussagen behandelt

• Auf dieser Website steht derzeit keine quantitative Aussage über eine Handelsmethode. Es werden keine Trefferquoten, Erwartungswerte, Sharpe-Verhältnisse oder Renditeangaben veröffentlicht.
• Das Strategie-Playbook „Trend und Pullback“ ist ausdrücklich ein unvalidierter Forschungsentwurf: Regeln und Prüfverfahren sind beschrieben, eine quantitative Auswertung wurde nicht durchgeführt.
• Wo Lehrmaterial anderer Herausgeber Erwartungsbehauptungen enthält, werden diese als Beispiel für eine prüfbedürftige Aussage gekennzeichnet und nicht als Tatsache übernommen.
• Jede Lektion zeigt getrennt, ob ihre Quellen technisch geprüft sind und ob eine externe Fachfreigabe vorliegt.

Prüfblatt für fremde Testaussagen

Wenn dir jemand ein Testergebnis zeigt, frage der Reihe nach:

• Welcher Datensatz, welcher Zeitraum, welche Auflösung?
• Standen die Regeln vor dem Test fest, und sind sie im Wortlaut nachlesbar?
• Wie viele Varianten wurden insgesamt getestet, bevor diese berichtet wurde?
• Wurden Parameterwahl und Prüfung auf getrennten Daten durchgeführt?
• Welche Kosten je Ausführung sind abgezogen, inklusive SlippageSlippage Slippage ist die Differenz zwischen dem erwarteten und dem tatsächlichen Ausführungskurs einer Order und gehört in jede Kostenannahme.?
• Wie viele Fälle wurden ausgeschlossen, und aus welchen vorab definierten Gründen?
• Ist das Ergebnis nach der in der Fachliteratur beschriebenen Praxis abgewertet worden?

Bleibt eine dieser Fragen offen, ist die Aussage nicht widerlegt - sie ist unbelegt. Das ist ein Unterschied, aber kein kleiner.